ReckonerでSalesforceからBigQueryに週次で同期する方法

はじめに

クラウドネイティブなデータ連携サービスReckoner（レコナー）を使うことで、SalesforceからBigQueryへのデータ同期を週次で実施する方法をご紹介します。

ワークフローの全体図

ワークフローの全体図は以下の通りになります

設定詳細: 転送元 Salesforce

次のように設定します。

設定完了後「設定」を選択して完了します。

※設定の詳細は以下のSoure Salesforceのドキュメントを参照ください
https://3-shake.gitbook.io/reckoner_jp/workflow/source/source-salesforce

設定詳細: 変換処理 投影

今回は「投影」の変換処理を使用します。

上述で作成したSalesforceと転送先の投影をデータパイプラインで連携します。
転送元のタスクで抽出したデータから任意の項目（フィールド）を選択します。

設定完了後「設定」を選択して完了します

※設定の詳細は以下のData Transform 投影のドキュメントを参照ください。
https://3-shake.gitbook.io/reckoner_jp/workflow/data-transform-and-analytics/transform-projection

設定詳細: 転送先 Google BigQuery

上述で作成した投影と転送先のGoogle BigQueryをデータパイプラインで連携します。

次のように設定します。

設定完了後「設定」を選択して完了します。

※設定の詳細は以下のSink Google BigQueryのドキュメントを参照ください。
https://3-shake.gitbook.io/reckoner_jp/workflow/sink/sink-googlebigquery

ワークフローの実行について

「名前」と「説明」を入力して「保存」を選択

「実行」を選択します。

ジョブが問題なく完了すると「成功」となります。

Google BigQuery上での確認

以下のようにGoogle BigQuery上に転送データが登録されていることが確認できれば完了です。

ワークフローのスケジュール設定

ワークフローを手動で実行することなく、スケジュールを設定することで定期実行することができます。

時計のアイコンをクリックします。

週次で実行したいスケジュールを選択、入力して設定をクリックします。

※ワークフローを定期的に実行させる詳しい説明は以下ドキュメントをご確認ください。
https://3-shake.gitbook.io/reckoner_jp/tips/workflow-schedule

Reckoner（レコナー）について

Reckoner（レコナー）は、スリーシェイクが提供するオンプレミスからクラウドサービスまで、様々なデータを連携させることが可能なクラウドネイティブなデータ連携プラットフォーム（Data Integration Platform as a Service）です。
データ整備に欠かせないETL/ELTやデータパイプラインなどをノンプログラミングで実現し、従来エンジニアが必要とされていた開発・運用コストを大幅に削減できます。
https://www.reckoner.io/

ETLツールについて詳しく知りたい、ETLツールの選び方を知りたいという方はこちらの「ETLツールとは？選び方やメリットを解説」をぜひご覧ください。