Google BigQueryに連携する前のAccessでのデータ加工における課題

複数ある販売管理システムのデータフォーマットがそれぞれ異なるため、システムからCSVを出力してからAccessでデータクレンジング、1つに統合したのち、BigQueryに入れている。Accessが使える人が社内に限られているため、都度依頼してBigQueryにデータを入れてもらっており、データ加工業務が属人化している。BigQueryとBIツールを連携しており、週次で分析をおこなっているが、スピード感に欠け、また、データ加工の内容がブラックボックス化しているため、メンテナンス性に欠ける。

サービスやデータに関するご質問・ご相談など お気軽にお問い合わせください

Google BigQueryに連携する前のデータ加工をAccessから脱却するメリット

  • データ加工の属人化解消。

    GUI上のマウス操作だけで、BIツールで必要なデータを複数の販売管理システムから自動で抽出し、Google BigQueryに合うかたちで加工ができるため、Accessの知識が無くてもデータ加工がおこなえる。

  • データ加工・連携のブラックボックス化解消。

    Reckonerの画面上でデータ加工・データの流れが可視化されるため、加工条件が変わっても、いつでも誰でもメンテナンスが可能になった。

  • データ品質担保と分析スピードが向上。

    ミスや漏れが無く、データを自動で加工しGoogle BigQueryに連携できることで、正確なデータに基づいた分析ができるようになった。Accessが使える人にデータ加工を依頼する必要がなくなったため、いつでも分析用のデータをGoogle BigQueryに連携できるようになり、分析をおこなう時間が確保できた。

Google BigQueryに連携する前のデータ加工をAccessから脱却する方法

BIツールで分析する際に必要なデータを、複数の販売管理システムからCSVダウンロードしGoogleドライブに格納。Reckonerで取得。分析しやすいデータに加工したのち、必要なデータのみをGoogle BigQueryに連携する。

※データ連携の全体像を図解※=200ピクセルで。
Googleドライブ⇨Reckonerでデータ加工・統合⇨Google BigQueryに連携。

  1. STEP1

    データソースとなるGoogleドライブから必要な販売管理データを取得する

    1. GoogleドライブにReckonerがアクセスできるよう、許可設定をする。

    2. Googleドライブで管理している複数の販売管理システムデータをReckonerが取得する

    3. 指定したフィールドのデータのみ抽出ができる「投影」タスクを選択し、GUI上にマウス操作でドラッグアンドドロップで配置。複数の販売管理システムデータからGoogle BigQueryに連携するデータ(ID、姓名、メールアドレス、最新アクティビティなど)を抽出するよう設定。データソースであるGoogleドライブと「投影」タスクを、マウス操作で線で繋いで、データの流れを作成する。

  2. STEP2

    Google BigQueryに連携後、BIツールで正しく分析できるようにするため、データ加工・データクレンジングをおこなう

    1. 全角と半角を相互に変換する「全角半角変換」タスクを選択し、GUI上にマウス操作でドラッグアンドドロップで配置。「メールアドレス」に全角が存在しないように設定。1つ前のタスクと「全角半角変換」タスクを、マウス操作で線で繋いで、データの流れを作成する。

    2. 2つのフィールドを結合して新しいフィールドを作成する「列結合」タスクを選択し、GUI上にマウス操作でドラッグアンドドロップで配置。「姓」「名」を統合し「姓名」フィールドを新しく作成するように設定。

    3. データを任意のパターンで一括変換する「置換」タスクを選択し、GUI上にマウス操作でドラッグアンドドロップで配置。「郵便番号」表記を「〒」に変更するように設定。

  3. STEP3

    加工した複数の販売管理システムデータを結合し、Google BigQueryに連携

    1. データ連携先のGoogle BigQueryにReckonerがアクセスできるよう、許可設定をする。

    2. 一意のIDで複数の販売管理システムデータを紐づけ結合させ、すべてのタスクを線で繋ぎ、ワークフローを作成。Accessを使わずにReckonerの画面上だけで加工・整形したデータがGoogle BigQueryに連携される。Google BigQueryとBIツール(Looker Studioなど)を連携させれば、ビジュアライズされた状態で可視化・分析が可能。

サービスやデータに関するご質問・ご相談など お気軽にお問い合わせください