< Back
< Back

FlyData Sync Agentの使い方

  • Version 0.6 以上
  • Version 0.3 – 0.5
  • Version 0.2
< Back

このドキュメントでは、FlyData Agent のいくつかの使い方を説明します。この章では、FlyData Agent version 0.6 以上を対象としています。

※ このドキュメントはFlyData Agentモードをご利用のユーザ(FlyData Agentをサーバにインストールしてご利用のユーザ)を対象としています。FlyData Sync Direct(FlyDataコンソールのダッシュボードにFlyData AgentのインストールURLが表示されていない)をご利用のユーザは、FlyData Agentの運用をご自身でしていただく必要はありません。

一般的な機能

$ flydata start
FlyData Agentを起動します。同期されていないテーブルが存在する場合、それらの新しいテーブルの初期同期のためのプロンプトが表示されます。初期同期が中断され、完了していない場合は、初期同期が再開されます。

$ flydata stop
FlyData Agentを完全に停止します。

$ flydata restart
FlyData Agentを停止し、再起動します。同期されていないテーブルが存在する場合、それらの新しいテーブルの初期同期のためのプロンプトが表示されます。

$ flydata status
FlyData Agentが起動しているかどうかを表示します。

$ flydata version
FlyData Agentのバージョンを表示します。

$ flydata sync:generate_table_ddl
新しく追加されたテーブルを作成するのに必要なSQLを出力します。また、このコマンドを最初に実行した時には、FlyData固有のテーブルのSQLも作成します。Redshiftクラスタで実行する際には、こちらのコマンドをファイルに出力し、その実行結果ファイルで実行してください。

$ flydata sync:generate_table_ddl table1 table2
コマンドの後ろにリストアップされたテーブルを作成するのに必要なSQLのみ出力します。Redshiftクラスタで実行する際には、こちらのコマンドをファイルに出力し、その実行結果ファイルで実行してください。

$ flydata sync:generate_table_ddl --all-tables
FlyData固有テーブルを含むすべてのテーブルのSQLを出力します。Redshiftクラスタで実行する際には、こちらのコマンドをファイルに出力し、その実行結果ファイルで実行してください。

$ flydata sync:reset --all
すべてのRedshiftへの同期をリセットし、FlyData Agentを停止します。このコマンドを実行される際には、事前にお問い合わせください。

$ flydata sync:reset table1 table2
リストアップされたテーブルの同期をリセットし、FlyData Agentを停止します。このコマンドを実行される際には、事前にお問い合わせください。

$ flydata sync:reset --init
完了しなかった初期同期をリセットし、FlyData Agentを停止します。初期同期中のテーブルのみがリセットされ、既に同期中の他のテーブルには影響を与えません。このコマンドを実行される際には、事前にお問い合わせください。

その他の機能とヒント

テーブル追加

同期するテーブルを追加する手順について説明します。

  1. FlyData Consoleにログインし、データエントリにテーブルを追加してください。
  2. 起動しているFlyData Agentを停止します。
    $ flydata stop
  3. 下記のように、スペース区切りで追加したいテーブルを入力してください。下記のコマンドを実行すると、Redshiftクラスタでテーブルを作成するためのクエリが生成されます。
    $ flydata sync:generate_table_ddl test_table
  4. 実行結果のSQLをRedshiftクラスタで実行し、テーブルを作成してください。
  5. 下記のように、スペース区切りで追加したテーブルを入力してください。下記のコマンドを実行すると、リストにあるテーブルの初期同期を実行します。完了後、Redshiftクラスタに登録されているすべてのテーブルについて、データアップロードの定期同期が実行されるようになります。
    $ flydata start
Redshiftテーブルキーの変更

flydata sync:generate_table_ddl で生成されたテーブル作成のSQLにはお客様にアサインされたdistkeyやsortkeysは設定されていません。実行結果のSQLをお客様自身で変更していただく必要があります。しかし、もしテーブルをすでに作成してしまった場合でも、下記の手順でテーブルの変更を行うことができます。

  1. 起動しているFlyData Agentを停止します。
    $ flydata stop
  2. “test_table” という名前のテーブルを作成するSQLを生成します。
    $ flydata sync:generate_table_ddl test_table
  3. 下記のようなクエリをRedshiftクラスターで実行してください。”CREATE TABLE”クエリではdistkeyとsortkeysの変更が必要となりますのでご注意ください。
    ALTER TABLE test_table RENAME TO old_test_table;
    CREATE TABLE new_test_table([new table columns]);
    INSERT INTO new_test_table (SELECT * FROM old_test_table);
    ALTER TABLE new_test_table RENAME TO test_table;
    DROP TABLE old_test_table;
  4. FlyData Agentを再起動し、データフローを再開します。
    $flydata start
既存のFlyData Syncアカウントで、Redshiftクラスタを変更する方法

手順は以下の通りです。

  1. FlyData Syncをリセットする
    $ flydata sync:reset
  2. FlyDataコンソールにログインし、Redshift Clusterの情報を更新して保存します。
  3. 次のコマンドを実行し、Redshiftクラスタに新しいテーブルを作成するためのSQLを生成します。次に、生成されたSQLをRedshiftクラスタ上で実行します。さらに、同じSQLを新しいRedshiftクラスタで実行します。
    $ flydata sync:generate_table_ddl > create_table.sql
  4. 次のコマンドを実行し、FlyData Agentを起動し、データフローを再開します。
    $ flydata start
< Back

このドキュメントでは、FlyData Agent のいくつかの使い方を説明します。この章では、FlyData Agent version 0.3 以上を対象としています。

一般的な機能

$ flydata start
FlyData Agentを起動します。同期されていないテーブルが存在する場合、それらの新しいテーブルの初期同期のためのプロンプトが表示されます。

$ flydata stop
FlyData Agentを完全に停止します。

$ flydata restart
FlyData Agentを停止し、再起動します。同期されていないテーブルが存在する場合、それらの新しいテーブルの初期同期のためのプロンプトが表示されます。

$ flydata status
FlyData Agentが起動しているかどうかを表示します。

$ flydata version
FlyData Agentのバージョンを表示します。

$ flydata sync
登録されたMySQLテーブルの初期同期を開始します。

$ flydata sync:generate_table_ddl
新しく追加されたテーブルを作成するのに必要なSQLを出力します。また、このコマンドを最初に実行した時には、FlyData固有のテーブルのSQLも作成します。Redshiftクラスタで実行する際には、こちらのコマンドをファイルに出力し、その実行結果ファイルで実行してください。

$ flydata sync:generate_table_ddl table1 table2
コマンドの後ろにリストアップされたテーブルを作成するのに必要なSQLのみ出力します。Redshiftクラスタで実行する際には、こちらのコマンドをファイルに出力し、その実行結果ファイルで実行してください。

$ flydata sync:generate_table_ddl --all-tables
FlyData固有テーブルを含むすべてのテーブルのSQLを出力します。Redshiftクラスタで実行する際には、こちらのコマンドをファイルに出力し、その実行結果ファイルで実行してください。

$ flydata sync:reset
すべてのRedshiftへの同期をリセットし、FlyData Agentを停止します。このコマンドを実行される際には、事前にお問い合わせください。

$ flydata sync:reset table1 table2
リストアップされたテーブルの同期をリセットし、FlyData Agentを停止します。このコマンドを実行される際には、事前にお問い合わせください。

その他の機能とヒント

テーブル追加

同期するテーブルを追加する手順について説明します。

  1. FlyData Consoleにログインし、データエントリにテーブルを追加してください。
    起動しているFlyData Agentを停止します。

    $ flydata stop
  2. 下記のように、スペース区切りで追加したいテーブルを入力してください。下記のコマンドを実行すると、Redshiftクラスタでテーブルを作成するためのクエリが生成されます。
    $ flydata sync:generate_table_ddl > create_new_table.sql
  3. 実行結果のSQLをRedshiftクラスタで実行し、テーブルを作成してください。
  4. 下記のように、スペース区切りで追加したテーブルを入力してください。下記のコマンドを実行すると、リストにあるテーブルの初期同期を実行します。完了後、Redshiftクラスタに登録されているすべてのテーブルについて、データアップロードの定期同期が実行されるようになります。
    $ flydata start
Redshiftテーブルキーの変更

flydata sync:generate_table_ddl で生成されたテーブル作成のSQLにはお客様にアサインされたdistkeyやsortkeysは設定されていません。実行結果のSQLをお客様自身で変更していただく必要があります。しかし、もしテーブルをすでに作成してしまった場合でも、下記の手順でテーブルの変更を行うことができます。

  1. 起動しているFlyData Agentを停止します。
    $ flydata stop
  2. “test_table” という名前のテーブルを作成するSQLを生成します。
    $ flydata sync:generate_table_ddl test_table
  3. 下記のようなクエリをRedshiftクラスターで実行してください。”CREATE TABLE”クエリではdistkeyとsortkeysの変更が必要となりますのでご注意ください。
    ALTER TABLE test_table RENAME TO old_test_table;
    CREATE TABLE new_test_table([new table columns]);
    INSERT INTO new_test_table (SELECT * FROM old_test_table);
    ALTER TABLE new_test_table RENAME TO test_table;
    DROP TABLE old_test_table; 
  4. FlyData Agentを再起動し、データフローを再開します。
    $flydata start
既存のFlyData Syncアカウントで、Redshiftクラスタを変更する方法

手順は以下の通りです。

  1. FlyData Syncをリセットする
    $ flydata sync:reset
  2. FlyDataコンソールにログインし、Redshift Clusterの情報を更新して保存します。
  3. 次のコマンドを実行し、Redshiftクラスタに新しいテーブルを作成するためのSQLを生成します。次に、生成されたSQLをRedshiftクラスタ上で実行します。さらに、同じSQLを新しいRedshiftクラスタで実行します。
    $ flydata sync:generate_table_ddl > create_table.sql
  4. 次のコマンドを実行し、FlyData Agentを起動し、データフローを再開します。
    $ flydata start
< Back

このドキュメントでは、FlyData Agent のいくつかの使い方を説明します。この章では、version 0.2以下を対象としています。

一般的な機能

$ flydata start
FlyData Agentを起動します。 警告: FlyData Syncにおいては”$ flydata sync”を参照してください。このコマンドは初期同期をスキップします。

$ flydata stop
FlyData Agentを完全に停止します。

$ flydata restart
FlyData Agentを停止し、再起動します。 警告: FlyData Syncにおいては”$ flydata sync”を参照してください。このコマンドは初期同期をスキップします。

$ flydata status
FlyData Agentが起動しているかどうかを表示します。

$ flydata version
FlyData Agentのバージョンを表示します。

$ flydata sync
登録されているすべてのMySQLテーブルの初期同期を開始します。

$ flydata sync table1 table2
This command will start the initial sync with your listed registered MySQL tables.

$ flydata sync:generate_table_ddl
登録されているすべてのテーブルを作成するのに必要なSQLを出力します。また、このコマンドを最初に実行した時には、FlyData固有のテーブルのSQLも作成します。Redshiftクラスタで実行する際には、こちらのコマンドをファイルに出力し、その実行結果ファイルで実行することをおすすめします。

$ flydata sync:generate_table_ddl table1 table2
コマンドの後ろにリストアップされたテーブルを作成するのに必要なSQLのみ出力します。Redshiftクラスタで実行する際には、こちらのコマンドをファイルに出力し、その実行結果ファイルで実行することをおすすめします。

$ flydata sync:reset
すべてのRedshiftへの同期をリセットし、FlyData Agentを停止します。このコマンドを実行される際には、事前にお問い合わせください。

$ flydata sync:reset table1 table2
リストアップされたテーブルの同期をリセットし、FlyData Agentを停止します。このコマンドを実行される際には、事前にお問い合わせください。

その他の機能とヒント

テーブル追加

同期するテーブルを追加する手順について説明します。

  1. FlyData Consoleにログインし、データエントリにテーブルを追加してください。
  2. 起動しているFlyData Agentを停止します。
    $ flydata stop
  3. 下記のように、スペース区切りで追加したいテーブルを入力してください。下記のコマンドを実行すると、Redshiftクラスタでテーブルを作成するためのクエリが生成されます。実行結果のSQLをRedshiftクラスタで実行してください。
    $ flydata sync:generate_table_ddl table1 table2 > create_new_table.sql
  4. 下記のように、スペース区切りで追加したテーブルを入力してください。下記のコマンドを実行すると、リストにあるテーブルの初期同期を実行します。完了後、Redshiftクラスタに登録されているすべてのテーブルについて、データアップロードの定期同期が実行されるようになります。
    $ flydata sync table1 table2
Redshiftテーブルキーの変更

flydata sync:generate_table_ddlで生成されたテーブル作成のSQLにはお客様にアサインされたdistkeyやsortkeysは設定されていません。生成されたSQLをお客様自身で変更していただく必要があります。しかし、もしテーブルをすでに作成してしまった場合でも、下記の手順でテーブルの変更を行うことができます。

  1. 起動しているFlyData Agentを停止します。
    $ flydata stop
  2. “test_table”という名前のテーブルを作成するSQLを生成します。
    $ flydata sync:generate_table_ddl test_table
  3. 下記のようなクエリをRedshiftクラスターで実行してください。”CREATE TABLE”クエリではdistkeyとsortkeysの変更が必要となりますのでご注意ください。
    ALTER TABLE test_table RENAME TO old_test_table; 
    CREATE TABLE new_test_table([new table columns]); 
    INSERT INTO new_test_table (SELECT * FROM old_test_table); 
    ALTER TABLE new_test_table RENAME TO test_table; 
    DROP TABLE old_test_table;
  4. FlyData Agentを再起動し、データフローを再開します。
    $flydata start
既存のFlyData Syncアカウントで、Redshiftクラスタを変更する方法

手順は以下の通りです。

  1. FlyData Syncをリセットする
    $ flydata sync:reset
  2. FlyDataコンソールにログインし、Redshift Clusterの情報を更新して保存します。
  3. 次のコマンドを実行し、Redshiftクラスタに新しいテーブルを作成するためのSQLを生成します。次に、生成されたSQLをRedshiftクラスタ上で実行します。さらに、同じSQLを新しいRedshiftクラスタで実行します。
    $ flydata sync:generate_table_ddl > create_table.sql
  4. 次のコマンドを実行し、FlyData Agentを起動し、データフローを再開します。
    $ flydata sync