データガバナンスをどう守る？Redshift編
はじめに
データガバナンスは企業で保有しているデータの取得方法、管理、監視、管理方法の評価ルールと仕組み化を社内共通化することをさします。この重要性は保有データの増加や法整備に伴い企業の大小を問わず高まっています。
本ブログではデータガバナンスの説明とReckonerでできることについて紹介していきたいと思います。
データガバナンスとは？
データガバナンスとは ”はじめに” のとおり、データの取得から管理方法に至るまでのルールになります。
ここでのルールはシステムにおける管理方法だけではなく、データ損失をした時に誰が責任を追うのか？プライバシーポリシー通りになっているのか？といった組織から法務にまでいたります。
また一方でシステムに関しては
データを取得する際の取得元(他社や他の事業部)とファイルでもらうのか？それともAPIを介して任意のタイミングでデータをもらうのか？といったものからファイルの形式はどのようにするのか？といった細かい取り決めがまずあります。
次にデータを得られた後にどのようにデータを参照するのか？といった管理方法の取り決めがあります。多くの場合はデータベースにアップロードして任意のアプリからデータを参照することになりますが、エクセルのようなバイナリデータの取り扱いについては単純にデータベースへのアップロードができるわけではないのでデータの取り回しルールが必要になります。
データを参照できるようになった後に果たして取得できたデータには欠損がないのか？といった確認が必要になります。データの欠損は取得元の問題だったり、データを取得する際の通信の問題だったり、データの欠損が起きる箇所は多岐にわたるのでデータが正しく得られたのか確認が必要になります。
データの量や内容の統計値に著しく変化がないことが簡単に確認できるポイントになります。
最後に得られたデータを保管し続けるのはデータベースを逼迫させることで最悪のケースではデータの欠損やデータベースの停止を引き起こします。そのようなことにならないようにデータを定期的に適切な量に落とす必要があり、落としたデータをクラウドストレージなど安価な場所に退避させることが多くの場面で行われます。
このような一連の作業をデータマネジメントといい、データガバナンスの重要な取り決めとなります。このような取り決めに対する実行(=データマネジメント)においてReckonerは多くの役割を果たします。代表的には以下となり、次節にて詳細を述べていきます
- データマネジメントの汎用化。つまりデータの連携方法を都度別個に設計するのではなく共通化させて管理コストを下げるという考え
- データの監視。つまりデータを取得するタイミングで欠損していないかの検知
- プライバシーポリシーに則った適切な処理
Reckonerを使うと便利にできるデータマネジメント
Reckonerでは豊富なデータソースとの接続を行い、データベースなど管理ソフトへと連携できます。
図1の通り、クラウドストレージやKintoneといった業務アプリケーションの他にOffice365との接続によりExcelとの連携も可能になります。
この場合、あたかもExcelファイルが外部データベースかのように扱えるので細かいデータの取り決めの一部をする必要なくデータ活用まで持っていくことが可能になります。
特に企業では部署によって使うアプリケーションが異なるといったことがおき、多くのデータソースが増えていきがちになりますが、Reckonerはそのような問題を吸収し、一つの管理画面上で共通にデータを扱うことが可能になります。
図2のようにデータが正しくえられているのか検証する必要があります。Reckonerでは演算フローを設定することで自動的に取得データの検証をすることが可能となります。
図3では例としてデータを任意のデータベースに取り込む際に個人情報をプライバシーポリシーにのっとり処理しているところとなります。
名前など個人情報になる部分を暗号化するなどして受取手がポリシー違反の処理をしないようにデータ加工をすることは個人情報保護法の観点でも重要になってきます。
例のようにReckonerでは簡単に処理フローを設定できるのでガバナンスにとって有用なツールということができます。この他にプライバシー対応として図2のとこで示した分析ツールによる数的処理により統計値にするなどが代表例としてあげることができます。
まとめ
本記事ではReckonerをつかって具体的にデータガバナンスに則った処理について紹介させていただきました。データガバナンスでは多くの処理を必要となります。そのためそれぞれの処理を開発するのは非常に大変な処理となってきます。
Reckoner 1つで多くのことをカバーしていることをご理解いただけたかと思います。また図には乗り切れないデータソースを扱うことができるので、ご興味をもっていただけましたら幸いです。
Reckonerでは現在、14日間無料トライアルをご提供しておりますので、ぜひご活用ください。
