PROJECT
■プロジェクト名
DataOps PJ
■プロジェクト期間
2022年4月～2024年3月（予定）
■プロジェクト活動目的
-
クラウドサービスではデータパイプライン・ワークフローマネジメントなどのローコードでのデータ処理や再利用性の高いサービスが提供されるようになってきている
-
データ処理をフルスクラッチで実装するのではなく、クラウドサービスのデータ処理フレームワークを利用することで、データマネジメントの省力化・再利用性向上・変化への対応力向上が可能かについて検証をすすめたい
■ 2023年度 活動内容
-
昨今のAI技術(ChatGPTなど)の活用によりDataOpsのプロセス改善や価値向上に資する可能性を模索する
-
事例、ツール、サービス等の調査結果の公開
-
既存ツール検証コード、DataOps × AIシナリオ検証コードの公開
■OOL DataOps PJ で得ようとしている知見
-
どういったデータ処理ツールが最適かを判定できるスキル・ノウハウ
-
データを処理する全体の流れをデザインし、それを運用・管理できるスキル・ノウハウ
-
オープンデータの活用促進のためのアイデア
DataOpsとは
-
データ管理者とデータ利用者が協力・連携してデータおよび処理プロセスを改善していく手法
-
アジャイル的なデータマネジメントを実現できる
Gartner 社の定義
https://www.gartner.com/en/information-technology/glossary/dataops
昨年度(2022年度)までの取り組み
DataOpsのプロセス整理
プロセスに基づいた基盤検証
2022年度版 DataOps 環境のテンプレートを GitHub で公開
【2023年度活動】 1. 既存の事例・技術調査検証
-
1-1. 事例調査
-
DataOpsのプロセスに関係のあるAIを活用した事例の調査
-
成果物
-
事例の一覧
-
-
-
1-2. サービス/ツール調査
-
DataOpsのプロセスに活用できるAI関連サービス/ツールの調査
-
成果物
-
サービス/ツールの一覧(プロセスとのマッピング、想定活用イメージ、セキュリティ観点など)
-
サービス/ツールのカオスマップ
-
-
-
1-3. 既存技術の検証
-
調査したサービス/ツールの検証
-
成果物
-
検証観点
-
検証内容
-
検証コード
-
検証結果
-
-
-
1-4. まとめ・公開
-
成果物を整理し、GitHubに公開
-
【2023年度活動】 2. AI × DataOpsシナリオ検証
-
2-1. 検証計画
-
検証観点を定め、シナリオを策定する
-
成果物
-
検証観点
-
ユースケース
-
検証シナリオ
-
-
-
2-2. 検証シナリオの実装
-
策定したシナリオに基づいて実装を行う
-
成果物
-
実装ソースコード
-
各種手順書(構築、実行等)
-
-
-
2-3. 評価
-
実装したシナリオに対して検証観点に基づいて評価を行う
-
成果物
-
評価結果
-
-
-
2-4. まとめ・公開
-
成果物を整理し、GitHubに公開
-
Project Member
-
TIS株式会社