2022年末から登場し始めたChatGPTなどの生成系AIサービスのブームで、今までにないほどAIという言葉が注目されるようになっています。

文章の翻訳や生成、画像の補正と生成、合成音声、ゲームプレイなど、さまざまな領域で、さまざまな技術を使ったAIが使われるのが、当たり前の時代となりました。シルバーエッグ・テクノロジーの提供するレコメンドエンジンも、そのひとつです。

ルールに基づき機械的に商品をおすすめするのではなく、顧客の行動を観測・学習し、個人のニーズを予測するAIを開発していくため、当社ではデータサイエンティストのチームがCEOの直下で働いています。今回は彼らの活動の一部をご紹介します。

【INDEX】
・AI企業としてのシルバーエッグ・テクノロジー
・シルバーエッグのデータサイエンティストに求められるもの
・Kaggleでレコメンドエンジン開発の実力を試す

AI企業としてのシルバーエッグ・テクノロジー

シルバーエッグ・テクノロジーは、米国DEC社のAI部門でエンジニアを務めていたトーマス・フォーリーが、1998年に日本で起業しました。当時のさまざまな基礎的な機械学習技術の中から、協調フィルタリングと呼ばれる自動推論の手法に着目し、以降、新たな機械学習の手法が登場するたびに、それらの手法を取り入れ、「顧客のニーズを推し量る」という知的作業を実行するAIを進化させてきました。

シルバーエッグのレコメンドエンジンは、購買履歴や閲覧履歴といった、日々変化する顧客の行動に関わるデータを蓄積し、アルゴリズムに基づいて確率的に最もニーズの高いだろう商品やコンテンツを予測する仕組みです。このコンセプトは、膨大な文字情報から確率的に正しい言葉を探す翻訳や文章生成AIと共通する部分も多く、研究の場では互いに参考にされています。

トーマス・フォーリーが自ら率いるデータサイエンティスト部隊も、レコメンドに限らず幅広い機械学習の知識を研究し、より高性能なアルゴリズムの開発に取り組んでいます。彼らの知識と発想力が、シルバーエッグの価値の泉源だといえるでしょう。

シルバーエッグのデータサイエンティストに求められるもの

データサイエンティストのミッションとは、社会に存在するさまざまなデータに関し、「収集と問題の分析」「仮説の構築」「モデルやアルゴリズムに基づく解決策の実装」を行うことです。

シルバーエッグの場合、データサイエンティストは自社製品であるアイジェント・レコメンダーの予測精度がより良くなる手法を、仮説に基づいて発案し、さまざまなデータを用いて実験しています。

レコメンドのしくみは、非常に幅の広い業界で求められています。当社の顧客だけ見ても、アパレル、家具・インテリア、日用雑貨のような物販ECだけでなく、人材サービス、不動産情報、漫画配信のようなコンテンツサービスなど、多様な業界において、それぞれのトップランナー企業に採用されています。

そのため、シルバーエッグのAIサービスには、業界ごとに異なる目的・KPIに応じて利用できる“柔軟性”と、どんな業界でも容易に導入でき、効果を発揮できる“汎用性”が求められます。シルバーエッグのデータサイエンティストには、単に最先端の数学やアルゴリズムの知識だけでなく、業界の課題に応じた実践的な問題解決能力の両方が求められるのです。

シルバーエッグには、純粋数学や宇宙論といった数学を駆使する分野での研究を行っていた専門家や、新薬開発などの機械学習の技術が積極的に取り入れられている現場で活躍してきた技術者など、国籍を問わずさまざまなデータサイエンティストが参加してきました。彼らの多様なバックグラウンドは、柔軟性と汎用性を兼ね備えたサービスの開発には不可欠です。

Kaggleでレコメンドエンジン開発の実力を試す

レコメンドエンジンの開発能力向上に役立っているのが、Googleが運営する世界最大のデータサイエンスコンペティションプラットフォーム「Kaggle(カグル)」でのコンペ参加です。Kaggleでは、国際的な企業、研究機関、政府などが、リアルな業務課題をデータセットとともにコンペ形式で提示しており、世界中のデータサイエンティスト・機械学習エンジニアたちが課題に取り組み、技術を競い合っています。

シルバーエッグのエンジニアも、頻繁に開催されるレコメンドエンジンに関するコンペティションに参加し、現実の顧客課題に取り組むことで、ソリューション開発の実戦的なテクニックを磨いています。コンペで上位の成績を獲得すること――具体的には、参加者の上位1％圏内に入ることは、データサイエンティストのよい目標となっています。

Kaggle上でのコンペ参加の一例をあげると、2022年末に開催されたドイツ・ハンブルクに本社を置く通信販売事業者オットーグループ（Otto GmbH & Co KG）が主催したレコメンダーシステムの精度を競うコンペティションでの実績が挙げられます。このコンペは約2,500チームが参加した大規模なものでしたが、当社データサイエンティストの１名も単独で参加し、レコメンデーションの精度で上位１％圏内に入る成果を残しました。

コンペでは、主催者の実際のビジネスに関係する課題が出されるため、各課題のユニークな要素を丁寧に紐解き、現実的な手法を見つけ、期限内に実装することが求められます。今回のコンペでは、新規性のあるアルゴリズムを用いるのではなく、データサイエンティストのビジネスの知見に基づいたヒューリスティックな手法でデータを仕分けることが、精度の向上に貢献しました。単に新しい手法でチャレンジするのではなく、古くても現実的な手法を、最適な実装で提供するという判断ができるかどうかが重要なのです。

パーソナライズド・マーケティングを実現するAI搭載レコメンドエンジンは、多くのデジタルサービスで不可欠な存在となっています。今後は、企業ごとのビジネスモデルや顧客体験に応じて、よりカスタマイズされたAIエンジンの導入が求められるようになってくるでしょう。

AIへの期待が高まっているいま、より多くの顧客企業のニーズに応え、収益性の高いサービスを提供するために、シルバーエッグのデータサイエンティストは日々、スキルを磨き続けています。