この記事は 食べログアドベントカレンダー2023 の15日目の記事です🎅🎄
食べログシステム本部 技術部 データサイエンスチーム 先端領域推進ユニットの山﨑です。
食べログでは、食べログChatGPTプラグインをはじめとして、生成AIの活用を積極的に推進しています。 本記事では、生成AIによる記事作成支援を導入した際に、プロジェクトの各ステップで意識したポイントとプロジェクトを通して得た気づきについてお話しします。
目次
- 記事作成支援の取り組み概要
- プロジェクト推進において意識したポイント
- 実施したことの下支えになった、食べログ組織のフラットな関係性
- 生成AIプロジェクトを通して得た気づき
〜生成AIによって、人間はいらなくなるのか？〜 - 最後に
記事作成支援の取り組み概要
今回のプロジェクト概要として、 「1:どのような業務に対して」「2:どのようなソリューションを作り」「3:どのような効果が出たのか」 を簡単にお話させていただきます。
１：どのような業務か？
食べログの店舗トップ画面には、飲食店の魅力を伝えるために 「PR文章」と「こだわり文章」 が存在しています。これらの文章は、一定の契約プラン以上の飲食店様に対して食べログ側が代行して作成しています。
左：PR文章やこだわり文章の例 右：代行作成の枠組み
1店舗あたりの記事作成に2時間〜2時間半、全体で月1000〜1250時間程度の工数がかかっていたため、その業務効率化をすることが本プロジェクトの狙いでした。
２：どのようなソリューションを作ったのか？
作成したツールの概要です。
作成したツールの概要
取材シートの情報を入力すると、既存のPR・こだわり文章のテイストを学習した文章を3件提案してくれます。 その中で最も適切な文章を人間が選定し、品質基準に合うように推敲して完成させます。ツールの実装方法や選定基準ついては、後ほど詳しくご紹介します。
３：どのような効果が出たのか？
ツールによる業務削減効果の検証結果を以下に示します。
PoCでの効果検証結果とインタビュー回答
新人さんは54%、中堅さんやベテランさんでも30~40%程度と、大幅に業務時間を短縮できました。定性面評価でも、改善点はいくつかあるものの、概ね好印象なコメントをいただけました。
結果として、プロジェクト開始から1ヶ月少々で全体導入も決まり、現在ではチーム全体で利用されるツールとなっています。
プロジェクト推進において意識したポイント
本章では、プロジェクトを進めるにあたり意識したポイントを、大きく5つに分けてご紹介させていただきます。
各プロセスにおける意識したポイント
１：キックオフを重要視したこと
プロジェクトの立ち上げは、PMBOKでも非常に重要視される要素です。(参考)
本節では、キックオフで特に意識したポイントである、「信頼関係の構築」 と 「目標や期待値の擦り合わせ」 について話します。
A : 信頼関係の構築
プロジェクトを進めるにあたり、チーム間の信頼関係が構築されていることは不可欠な要素です。だからこそ、プロジェクト開始時点で「この人たちに任せれば大丈夫そう」という印象を与えることを重視しました。
信頼関係の構築のために実施したことは主に2つです。
1つ目はプロジェクトメンバーの自己紹介を実施しました。当たり前のことのようですが、社内プロジェクトだとメンバー紹介が実施されないことも多いです。しかし、人間関係の原則として、よく知らない人のことは信頼に時間がかかるものです。我々は最初に自己開示をする場を設けて、信頼してもらいやすい雰囲気づくりを心がけました。
2つ目は、キックオフ資料の作り込みです。こちらも社内向けだとそこまで資料を作り込まないことが多いと思います。しかし、本プロジェクトでは、何度も役員レビューをしながら2週間ほど時間をかけて、提案資料を作り込みました。
B：目標や期待値の擦り合わせ
前提のズレによる手戻りを発生させないように、プロジェクト初期に関係者全員が進め方や目標についての共通認識を持つことは非常に重要です。
本プロジェクトでは、「プロジェクトの進め方」「生成AIでの業務代替レベル」などを擦り合わさせていただきました。
プロジェクトの進め方や業務代替レベルをすり合わせるための資料
「プロジェクトの進め方」においては、システムを最初から作り込むのではなく、MVP開発や効果検証のサイクルを短く回すPoCフェーズを最初実施することを、チーム全体での共通認識としました。
「生成AIでの業務代替レベル」においては、完全にAI任せの運用になるのではなく、「AIが生成した文章を修正する(レベル4) or AIの生成した文章をうまく組み合わせる(レベル3)」の運用になる可能性が高いことを説明し、期待値コントロールを行いました。
また、その後の進行でも現在の場所を全体で確認しながら進めました。結果として、途中で認識のズレが起きないようにプロジェクト推進できたと感じます。
２：ユーザの声を迅速にもらう推進スケジュールにしたこと
制作物の不確実性が高いため、ユーザからのフィードバックを迅速にもらうことを意識しました。
実際にたてた推進スケジュール案を示します。
プロジェクトの推進スケジュール
最初のMVP1リリースと効果検証を実施まで、1ヶ月程度で到達するスケジュールにしました。
素早く進める意識があったからこそ、 業務分析によって「何を解決すべきか」を明確化する方針が取れました。
実際の推進スケジュールにおいても、プロジェクト開始から１ヶ月少々で効果検証まで進めましたし、結果的に現場導入を2ヶ月程度で実現できました。
３：「何を解決すべきか」を明確化したこと
本プロジェクトは「2~3時間かかってる業務工数をなんとか削減したい」という抽象度の相談から始まったものであり、明確に解決すべきことはが決まっていたわけではありません。 そのため、素早く効果検証するにはインパクトが大きく解決可能性の高い課題を見つけて、そこにスコープを絞ることが重要でした。
正確な課題発見のために、まずは現場視察に伺ってリアルな業務を理解することから務めました。
実際の現場視察の様子。
現場視察によって把握した 業務フローと解決すべき課題 について説明させていただきます。
『全体の業務プロセスと各プロセスでの工数』は以下のようになります。
記事作成業務にかかっていた時間割合
記事作成全体においては、コンテンツ(PR文章やこだわり文章や、その見出し)作成 に時間がかかっていました。また、コンテンツ作成業務は 「本文作成(詳細後述)」「タイトル作成」「全体チェック」の3つに分かれ、本文作成に最も時間がかかることがわかりました。
続いて、本文作成業務における課題と解決すべきポイントを明確化します。現場の作業を見ていると、
・ A : 前提ルールに従うこと
・ B : 情報(取材シートやweb情報)の検索・取得すること
・ C : 表現や構成変更(リライト) すること
という3つの業務要素に分解できました。
それらの業務要素を 「時間がかかっている要因か？」「AIでの解決可能か？」という2つの観点で評価しました。
「時間がかかる要因」と「AIでの解決可能か？」を整理した図
上記の整理から、初期スコープを「リライト業務の効率化」に絞りました。 課題と解決すべきポイントを絞ったことにより、MVP開発と効果検証を短期間で進めることができましたし、最短プロセスでの成果創出につながったと感じます。
４：素早く機能要件を満たせる実装をしたこと
ツール実装にあたり「実装工数」「機能」「セキュリティ」のバランスが重要でした。 ダラダラと工数をかけても、検証が遅くなるだけです。一方で、実装スピードのみ意識してユーザが使い辛いツールを提供しても、実際に現場に受け入れてもらえません。また、社外秘情報を扱うため、セキュリティの観点も重要です。
そこで、想定していた実装方法毎に「実装工数」「機能」「セキュリティ」の観点で比較を実施しました。
実装方法の整理
上記の比較内容を踏まえ、最もバランスの良いDの方針を採用しました。
今回は、プロンプトの保存機能などを備えたchatbot-uiというOSSを使用しています。結果的に、実装工数に関しては1週間程度で実装完了しました。機能面に関しても、フォームに必要な情報だけ入れれば複雑なプロンプトが生成される仕組みを作れ、現場が使いやすいツールを実装できました。
５：生成AIに対してネガティブな感情を持たせないこと
生成AIは業務削減といった文脈で語られることも多いので、配慮なしに「生成AIを業務に導入します」とだけいうと、現場メンバーに生成AIへのネガティブな感情を抱かせてしまう可能性がありました。
ネガティブな感情を持たれた場合、
・ツールの良し悪し関係なしにツールを使わない恐れがあった
・ライターチームの距離感の近さ故に、1人が抱いたネガティブな感情が広く伝播する恐れがあった
といった理由で、ツールの導入が非常に難しくなります。
そのため、導入においては生成AIに対してのネガティブな感情を持たせないよう非常に配慮しました。
ネガティブな感情を持たせないために、いくつかの取り組みを実施しました。
1つ目は親しみやすいツールにすることを意識しました。「食べロボくん」という親しみやすい名称を考えたり、可愛らしいモチーフキャラクターを生成AI(DALL·E 3)で作成しました。
2つ目の取り組みとして、距離の近いメンバーからツールの印象を発信してもらいました。 導入を始める前に、事前に数名のメンバーにツール利用していただきました。そして、チーム全体にツール導入の共有する際には、そのメンバーにツールの印象を話していただきました。(因みに、この取り組みは管理チーム側で自主的に実施いただいたことです。)
食べロボお披露目の時の表紙
以上の取り組みをすることで、導入も非常にうまく進みました。実際、見た目に対して 「かわいい」という声もありましたし、性能面でも 「めちゃくちゃサポートしてくれます！」と直接お声がけいただくことも多く、ポジティブに受け止めていただけました。
「生成AIは業務を奪う」などの文脈で語られることも多いので、一層メンバー側に心理的な面にケアすることも大事です。
実施したことの下支えになった、食べログ組織のフラットな関係性
本記事で紹介した様々なポイントは、食べログの恵まれた環境があったからこそ実現できたと考えております。その食べログの環境について、簡単に紹介させていただきます。
１：現場との距離の近さ
組織によっては、「現場視察」や「メンバーによる効果検証」などの協力を受けることが難しかったり時間がかかったりすると思います。
それに対して、食べログではロールを超えてチーム間での協業を行うことが積極的に推奨されています。今回の案件でもカスタマーサクセス部の方々が非常に協力的に対応してくださりました。「現場視察の早急な手配・視察サポート・メンバーの心理ケア・etc..」といった本当に多くの支援してくれました。 カスタマーサクセス部の皆様には大変感謝しています。
カスタマーサクセス部だけでなく、各所で多大なサポートいただき、チームの垣根をこえて協力し合える関係性が、プロジェクトをスムーズに進められた大きな要因だと感じます。
２：経営との距離の近さ
プロジェクト推進にあたり、システムの導入やオペレーションの変更など、現場メンバーだけでは意思決定しづらいものもありました。経営層までの距離が遠いと、これらの意思決定をするにあたり、時間がかかるだけでなく、情報の隔たりから現場側と異なった方向性を示される場合もあるかと思います。
一方で、本プロジェクトでは経営層や部長レベルの人材が一緒にプロジェクト推進しました。密な情報共有により同じ方向性でプロジェクトを推進できましたし、 「現場への業務視察に工数を使うこと」や「ツールの現場導入の可否」など時間がかかりそうな意思決定もスムーズに承認いただけたため、スピーディにプロジェクト推進できました。
本プロジェクト以外においても、食べログはフラットな組織になっており、経営陣と一緒に進めることも度々あります。この距離の近さが、迅速な意思決定と推進につながったのだと考えております。
生成AIプロジェクトを通して得た気づき
〜生成AIによって、人間はいらなくなるのか？〜
昨今は 「生成AIが人間がいらなくなる」という主張もよく見かけますね。本章では、プロジェクトを通して感じた、その主張に対する個人的な気づきを共有させていただきます。
１：経験豊富な人間がいるからこそ、生成AIでの業務時間削減ができる
もちろん、人員が少なく済むことはあると思います。とはいえ、生成AIを含むオペレーションの中に、経験豊富な人間はむしろ必要不可欠だと感じました。
PR記事作成業務では、「様々な関係者に配慮した文章を書くこと」や「限られた文章量の中で、様々な情報を適切に整理した文章を書くこと」など生成AIでは完璧に遂行できない業務が多々ありました。 それらに対して、経験豊富な人間がクオリティを担保してくれるからこそ、生成AIの存在が意味あるものになると感じました。
「AIが得意な部分」と「人間が得意な部分」を切り分け、両者が最も効果的に機能する仕組みを模索することが、AI活用の重要なポイントだと思います。
２：業務時間削減だけでなく、業務の質を上げる可能性もある
今回ツールを使用していただいたメンバーからは 「普段は使わないような表現を教えてくれる」「言い回しが増えて、飲食店様の魅力をより引き出せるようになった」 といった声を多くいただきました。また、 「体力(脳)の消耗が減り集中力が保てた」 といった声もあり、本質的な業務に集中することで質が向上する可能性も感じました。
このように、生成AIは業務時間削減だけではなく、時に業務の質を向上させることにも寄与できると感じました。機会があれば、業務の質向上を主軸とした生成AIプロジェクトにも挑戦してみたいと思います。
最後に
今回は食べログで実施した生成AIでの記事作成支援について、ご紹介させていただきました！推進プロセスから作成したMVPまで、何かが皆様の参考になれば幸いです。
食べログDSチームでは、本プロジェクトに限らず、様々な生成AI系プロジェクトを推進しております。特に魅力なのは、現場や経営層メンバーなどとも距離が近く、非常にスピーディに大きなお仕事ができます。 弊社ほどの規模感の企業でここまでフラットな環境はなかなかないのではと勝手ながら考えております。 ということで、現場に深く浸透させる生成AI利活用に興味のある方は、是非カジュアルな面談からでもご連絡ください！
明日は @shibu_shibu の「チームにモブワークを取り入れてみた話」です。お楽しみに!
- MinimumVariableProductの略。効果検証のため最低限の機能だけ搭載されたツール。↩
