この記事は 食べログアドベントカレンダー2024 の14日目の記事です🎅🎄
食べログ開発本部 技術部 データサイエンスチームのテックリードをしております富田です。 私は生成AI活用を推進するチーム内のユニットリーダーも兼任しており、私の専門性を活かしたトピックとして生成AI業務活用プロジェクトの立ち上げについての話を書こうと思います。
なぜ業務活用に取り組んでいるのか
まず、生成AI業務活用とは何かについて説明します。 生成AI業務活用は、データサイエンスチームで進めている推進トピックの1つです。 データサイエンスチームは食べログのデータとAIの活用を推進するチームであり、データ基盤とAI基盤の改善やデータ利用の推進をしつつ、AIの導入も推進しています。 AIの導入推進は、①食べログ事業の中での様々な業務の中で生成AIを活用する、②食べログのサービスに生成AIを用いた機能を組み込むという二軸で進めており、①の取り組みを「生成AI業務活用」と呼んでいます。様々な部署へ活用を進めており、「生成AI業務活用」のプロジェクトの一例としては、カスタマーサクセス部署向けであれば、クライアントとの会話ログからレポートや原稿を作成する業務への生成AI活用や、 コード開発での生成AI活用などがあげられます。
基本となる考え方として、我々は企業として生成AIの活用を考えているので、生成AIを活用した結果として企業としての価値を生み出す必要があります。 生成AI業務活用においては、人の業務を生成AIが代替するか支援する形で生成AIが活用されます。 生成AI業務活用の典型的なアウトカムとしては、業務効率が改善される、早く業務が終わる、人とAIが協力することで業務の品質が向上する、人だけでは難しい業務をAIを使うことで実現する、のいずれかになります。 業務効率が改善されるというのが経営的には説明しやすく、AIの支援により業務負担が下がるという形で実務を担っている人たちは恩恵が受けられます。 実務を担っている人たちの負荷を下げる側面ももちろんあり、生成AIが活躍して助かったという話を色々いただきますが、企業活用として行う以上はそれらはあくまで副次的な効果として整理し、経営的な説明を何かしら行う必要があります。
立ち上げの実現にあたり何を明らかにするべきか
生成AI業務活用プロジェクトの立ち上げを実現するために、以下の3点を明らかにする必要があります。
- どこに生成AIを入れるか
- どれくらい導入効果を見込めるか
- どのくらい実現見込みがあるのか
1. どこに生成AIを入れるか
生成AIは、少ない工数で高性能のAIを構築できる、昔からすれば夢のようなツールです。 しかし、依然として人間の業務のすべてを代替できません。 性能が100%になることはないため、非AIのアプリケーションが得意とする処理は存在します。 また、データの管理などはデータベースに任せた方が良く、生成AIにやらせたとしてもそれを指示した人間の責任となります。 例外が多かったり、コミュニケーションが必要な工程は人間が行う方が良い場合も多々あります。 そのため、業務のどの工程で生成AIを活用するかの検討が必要です。
2. どれくらい導入効果を見込めるか
AI導入が実現できても導入効果が全くなければ、そのプロダクトには価値がありません。また、導入効果があっても、それが投資金額に見合った効果が得られなければ投資としては失敗です。さらに、他にAI適用の候補がある場合、効率的に進めるために、効果が大きく見込めるものから取り組みたいです。導入の可否判断、優先順位判断のため、導入効果、投資対効果を試算する必要があります。
3. どのくらい実現見込みがあるのか
導入箇所を決め、効果が得られそうだと分かっても、実際に実現できなければ絵に描いた餅に過ぎません。実現可能性を測る必要があります。
これらが明らかにならないままAI導入を進めると、後からもっと有力なターゲットが見つかる、導入しても効果が小さくペイしない、そもそも導入に失敗する、という形で返ってきます。 どこまで解像度を高めるのかは案件によって異なりますが、ある程度は見積もった上で進められるとプロジェクトの失敗率を下げることが出来ます。
生成AI業務活用プロジェクトの立ち上げを成功に導く三種の神器
では、これらをどのような方法論で明らかにしているかについて、その一例をご紹介します。 この方法論は食べログで統一化されたやり方ではないのですが、我々のチームで採用していることが多いです。
業務フロー分析
まずは、「1. どこにAIを入れるか」を明らかにするための分析ツールです。 以下のような業務フロー図を作成しています。
工程ごとのフローチャートを可視化するとともに、工程ごとのインプット、アウトプット、現在利用しているツールを記載しています。 この業務フロー図があることで、AI化が実現出来そうな工程の特定がしやすくなります。
紹介した業務フロー図はRDRAを参考にしています。私が参考にした資料は下記の発表です。 生成AIを搭載したシステムは所詮システムの1つに過ぎないため、業務のシステム化を行うための要件定義手法で特定が可能であろうと考えました。
https://speakerdeck.com/haru860/yao-jian-ding-yi-tohasomosomohe-ka?slide=28
我々が採用しているフォーマットは、RDRAのエッセンスを参考にしつつ、生成AI適用箇所を特定するのに不要な情報を削除し役に立つ情報を追加するようにしたフォーマットとなっています。
工数削減効果の見積もり
「2. どれくらい導入効果を見込めるか」を明らかにするための分析ツールです。
前述した通り、業務効率が改善されるというのが最も簡単な経営的な説明になり工数削減で説明できることから、ある程度の精度で工数削減を見積もることができると良いでしょう。 そのための算出用のツールを整備しています。 他の説明としては、コスト、工期、計測は困難ですが品質などがありますが、工数削減はコスト削減、工期削減に寄与するので、品質を維持できるのであれば工数削減で説明するのが多くの恩恵をもたらします。
工程は先ほどの業務フロー分析で明らかになっているため、工程ごとの工数を出し、工程の実施回数が出せれば、工程の工数と実施回数の総和で業務の工数を算出できます。 実務を担っている方に下記のようなシートに入力してもらいます。
生成AI導入前と導入後でそれぞれ試算し、その差分を出せば工数削減の見積もりが出せます。 先のシートを元に業務毎に集計した結果が下記のようになります。 削減時間 x 単価 - 生成AIコストで導入効果が出せるため、投資に対する導入効果としてROIを算出し、ROIが見合えば実行判断、ROIが高い順から進めるという判断ができるようになります。
業務毎に算出されていれば、全体の削減効果の見積もりも可能となります。
問題になるのは作業時間が流動的で、人や案件によって増減するということです。 このツールでは工程の作業時間の最低値と最大値を出して平均を取ったものを工程の工数と見積もっています。工程の作業時間の正確性はやや低いものの、この程度であれば実務を担っている人も入力しやすく、このフォーマットで入力してもらっています。 正確性を求めすぎて情報を出してもらえなくなるよりは、クイックに把握して、改善に動けることを重視しています。
部署メンバーの業務時間とその割合を算出することも必要になる場合があります。 ターゲットにしていた業務が、そもそもボリュームゾーンでない可能性もあるためです。 ただし、これを算出するには、大規模なアンケート調査が必要になり、部署の工数を大きく使うことで負担になる恐れが高いため、最初は無理に進めなくてもいいでしょう。 導入を何回か実現し信頼を得てきたら調査させていただいて、より効果的なところを発見して、推進することで導入効果が加速します。
インプット・理想アウトプットサンプルの提供
「3. どのくらい実現見込みがあるのか」を測る考え方として、人間ができるのかを考えるのが王道なのではないかと考えています。プロンプトチューニングの担当者が結局は精度が高くなるように様々なチューニングを行っていくので、彼らがインプットを元にアウトプットを自分で作れそうな感触を持てれば、大体は実現可能です。ということで、インプットとアウトプットをいただいて、そのデータをプロンプトチューニングの担当者に渡せば、できそうかできなさそうかの判断は概ねできます。立ち上げのタイミングで担当者と連携し、インプットと理想的なアウトプットの事例集をもらうようにしています。
例えば、メニューの翻訳を行うタスクを考える場合は、こちらのような事例を担当者に作成してもらいます。
これを担当者にまとめてもらおうとする中で、そもそも渡せるインプットがないのでは？とか、このインプットでは判断仕様もないのでは？とか、アウトプットが人によって判断が揺れるとか、そういうことが明らかになる場合があります。 その場合は一度持ち帰ってもらい、AIで実現可能なインプットとアウトプットに見直していただいてから進めることで成功率を高めることが出来ます。 また、このインプットとアウトプットを受け取っても、プロンプトチューニングの担当者が考えてもわからないということであれば、相応の対策の検討が必要になります。プロンプトチューニングの担当者がわからない理由として、業務に関する知識が不足しているといった理由があり、その知識を埋めるために実務を担っている人たちが受けている教育プログラムを私どもにも受けさせてもらったり、実務を担っている人が実際にどのように進めているか改めて観察させてもらうなどが考えられます。また、インプットが十分でなく判断出来ない場合は、判断をするうえでの有力なインプットが他にもないか探してもらったり、成功率を上げるための効果的な打ち手を模索できます。
以上、立ち上げを支援する3つのツールを紹介しました。上記の3つのツールすべてを必要とするわけではありませんが、実現確率が高く、効率的に工数削減を実現するためには、このような情報整理が必要です。タスクの性質、実務を担っている人たちが所属している組織との関係値や負担を考慮して、必要なレベルの情報を現場組織から提供してもらうようにしましょう。
生成AIツールは何が良いか
生成AI案件ではPoC、実装と進めていくことになりますが、提供するツールはタスクとフェイズによって変わります。 PoCの地点では工数少なく作ることができるツールが有力で、標準的なケースではDifyが便利です。 DifyとはオープンソースのLLMアプリ開発プラットフォームであり、このツールを用いると基本となる生成AIアプリケーションを非常に少ない工数で作成することが出来ます。 カカクコムではDifyを全社の生成AIアプリケーション作成プラットフォームとして採用しており、生成AIのアプリケーションの構築を推進しています。 なお、Difyのコミュニティは弊社がコミュニティの立ち上げに関わらせていただいております (第1回参加レポート、第2回参加レポート)。 実装フェイズではDifyが適切なケースがありつつも業務で使っているツールに直接組み込めるのであれば、そのツールを使う方が効果が大きくでることが多いです。 適切な既製品がなければ、自作する場合もあるでしょう。 ただし、投資対効果へのアンテナを常に張って、投資対効果が十分に出る方式を選ぶことをおすすめします。 個人的には、生成AIは応用におけるAIの性能水準を上げるものというよりは、簡単に高性能のアプリケーションを作れるという側面により開発期間の短縮により投資を減らすものだと思っているので、投資を抑える方を重視するべきと考えています。
今年のAdvent Calendarでは生成AIの実用例に関する記事を多数公開しており、様々なツールの事例が紹介されていますので、ぜひ他の記事もご参考ください。
おわりに
本記事では、食べログにおける生成AI業務活用プロジェクトの立ち上げについて、その意義や具体的な方法論を紹介しました。 生成AIは、業務の効率化や品質向上に大きく寄与し、企業の競争力を高める重要なツールです。 業務への活用を考えている方は、本記事を参考に立ち上げの推進をご検討いただければ幸いです。
食べログは生成AIを業務に直接的に活用できる現場です。データサイエンスチームは提供側の立場で生成AIの利用を積極的に促していますが、データサイエンスチーム以外のメンバーであっても、利用側として関わることができます。職種問わず、生成AIを業務に活用している環境で働きたいとお考えでしたら、ぜひ食べログでのキャリアを検討して頂けると嬉しいです！
明日は@yabon_exeの「趣味のゲーム制作で気づいたこと」です。お楽しみに!
