日本はストリームデータ技術の活用に後れ　データ＆AIの時代に追従できるか：調査レポート

　データストリーミング技術とは、発生したデータをリアルタイムで他のシステムに連携する手法を指す。オープンソースソフトウェアの「Apache Kafka」が代表的なプロダクトだ。今回、調査を発表したConfluentは、Apache Kafkaをベースにエンタープライズシステム向けの機能を拡張し、フルマネージドの商用のデータストリーミングプラットフォーム「Confluent」を提供する。

　通常、システム間のデータ連携は定期的なバッチ処理などでまとめてデータを転送する。データ転送にあたっては、連携対象システム向けに抽出したデータを変換してから送信する手法をとることが多く、「Extract（抽出）→Transform（変換）→Load（格納）」の順で処理することから「ETL」と呼ばれる。

　一方、大量のトランザクションが発生する金融取引などのシステムや、大量のデータが発生するIoTやWebシステムのログデータのように連続的に発生するデータをリアルタイムで処理するには、発生したデータをリアルタイムでロードした後に変換するELT型のデータ連携のアプローチが適している。この仕組みを実現するのがデータストリーミングだ。素早く現状を把握してビジネス判断のスピードを速める目的で使われることが多く、近年は専門的なシステムだけでなく、例えば「SAP S/4HANA」のデータをデータクラウドに送って分析するような、一般的なビジネスアプリケーションのトランザクションの即時把握にも使われる。

　今回、Confluentが発表したレポートによると、日本企業において、全社的に特定のデータストリーミング技術やプラットフォームでデータ処理を標準化している組織は10社中4社で、アジア太平洋地域の平均を下回っていた。ただし、36％はアプリケーションやユースケース間で再利用できるようにデータストリームを設計しており、26％はデータストリームを「プロダクト」として管理している。

　同レポートではこの結果について、「導入が遅れているとはいえ、日本企業が品質と戦略的な導入に重点を置いていることを示唆」していると分析している。

　近年、多くの企業にとって生成AIの活用は最重要課題となっている。しかしながら、AIに適切な結果を生成させるには、信頼性の高いデータを適切なフォーマットで、可能な限りリアルタイムに取得させる必要がある。この課題の克服に、データストリーミング技術が重要な要素となる。

　データストリーミング技術は、ビジネスを支えるシステムからのリアルタイムデータの継続的な送出を可能にし、信頼性が高く、コンテキストに沿ったデータを検索拡張生成（RAG）対応のワークロードに提供することができる。また、AIアプリケーション用のベクトルデータベース*利用できるように、データを効率的かつ適切な形式に変換できる。

　この調査結果について、Confluent Japanのカントリーマネージャーを務める石井晃一氏は、多くの企業においてデータがさまざまなシステムやアプリケーションに分散しているため、「最も重要なビジネス資産を見つけ、利益を生み出すことが難しい状況」だとみている。その上で、システムやアプリケーションを直接接続するデータストリーミング技術を「ビジネスの中枢神経系」として機能させることで、「意思決定やビジネスプロセス、顧客体験の改善のためにリアルタイムデータに簡単にアクセスできるようになる」としており、Confluent Japanは「日本企業が品質重視のアプローチを維持しながらグローバルな競争において他社に遅れを取らないよう、導入を支援する」としている。