<2020年11月17日→2022年1月28日更新→2024年2月29日更新>
「チャットボットを導入したけど、期待していた効果がでない」
と感じたことはありませんか。
コンタクトセンター（コールセンター）をはじめとした顧客サポートの現場でも、業務効率化や顧客満足度向上のため、チャットボットを導入するところが増えています。
チャットボットの成果が出ないと感じる要因は、「回答精度」「トラフィック（件数）」「効果を示すシナリオ設計」「目標設定（効果測定）」の４つの課題に分類できます。
その課題のひとつ、回答精度（正答率）の基礎知識や目標値の立て方から対策まで、解説していきます。
＜目次＞
チャットボットにおける回答精度（正答率）とは？
回答精度（正答率）とは、チャットボットの利用ユーザーが投げた質問に対して、チャットボットが正しい回答を返す割合です。
「ユーザーの質問に対して何らかの回答がされた、かつ、その回答に対する満足度についてのアンケートに答えた件数」を分母とし、「『はい（回答に満足）』と答えた件数と、『いいえ（回答に不満足）』と答えた件数のうち、回答内容は正答だった件数の和」を分子とすることで算出することができます 。
回答精度（正答率）を向上するための対策・コツとは？
では、回答精度（正答率）を向上させるために、必要なことは何でしょうか。適切な目標値とそのコツも含めて詳しく見ていきましょう。
継続的なPDCAプロセスを組むための体制づくり
チャットボットの品質は、回答精度にかかっています。 回答精度を上げるための秘訣はただ一つ、「継続的なPDCAプロセス」を組めるかどうかです。
そのためには、まず「チャットボットのデータを管理する、担当チームを作る」ことをおすすめしています。
自社内での人材確保がどうしても難しい場合は、アウトソーサーに依頼しても良いですが、その場合も完全に任せっきりにするのではなく、自社の担当者を置いてブラックボックス化を防ぐことが重要です。
適切な正答率の目標を立てる
正答率の目標を立てるには、どのように進めればよいのでしょうか。適切な正答率の目標を立てるための考え方やノウハウについてご紹介します。
正答率の目標値は、100％を目指してはダメ！
正答率の目標値は、100％を目指すことはおすすめできません。
ものすごく労力がかかるうえ、それに見合う効果があると言えないからです。
チャットボット公開前、社内で数か月かけて準備をし、どれだけ頑張ってテストを繰り返しても、公開した際の正答率は60%程度となります。
ユーザーは想定外の質問や、聞き方をしてくるものです。
公開当初は、正答率60%くらいを合格点と考えて問題ありません。
公開後、高速でPDCAを回しメンテナンス。正答率80%の維持を目指す
大事なのは公開後、ユーザーから質問をたくさん受け、学習・改善といったPDCAを高速で回すことです。
PDCAを回した結果、公開から3か月後に正答率80%を目指すのが王道だと言えます。
気を抜くと、いつの間にか正答率は下がっていきます。
チャットボットでの正答率は80%を維持し、答えきれない部分を有人チャット対応でカバーする方法をおすすめしています。
「いいえ」回答と「ノーヒット」の質問が回答精度の糧になる
PDCAを回すうえで、重要なのはアンケートで「いいえ」と回答された質問データと、チャットボットが答えられなかった未回答の「ノーヒット」の質問データです。
その質問が、標準質問のリストになければ追加します。標準質問にあるにも関わらず、ノーヒットとなる場合は、その質問文の要素を該当する質問文の揺らぎ文章に追加していきます。 同時に類義語の登録も見直してみます。
誤答は、質問と回答を見直し、不要な要素を削除しつつ、正しい質問文に紐づけ直します。その際に、同じような標準質問がないか確認し、重複している標準質問を整理します。
有人チャット対応の併用で、さらなる回答精度の向上へ
また、有人チャット対応の併用は、回答精度向上の強い武器となります。
チャットボットが回答できず、オペレーターがチャットで対応し解決した質問は、優秀な教師データとなるのです。
例えば、クレジットカードを扱う会社では「解約」というキーワードがノイズキーワードになります。
複数種類のクレジットカードを扱っているため、「カードを解約したい」と言われても、チャットボットは「どのカードなのか」「本人のカードか、家族用カードか」などが判別できず、標準質問にマッチするか特定できません。
乱暴に聞こえるかもれませんが、このような場合は、「解約」関連の質問をすべて抜き出して、「解約について」と一つの質問に置き換えてしまいましょう。
その上で、「解約したいのはどのカードですか？」とシナリオ分岐でユーザーに選ばせるという手段が有効です。
シナリオ型のチャットボットとの組み合わせも検討
このように「シナリオ型（分岐型）チャットボット」と組み合わせることで回答精度を上げていく方法も検討していきます。
特定の問い合わせが急に増えた場合には、特に有効です。
急に増えた問い合わせは、シナリオの最上位に設置しユーザーを誘導します。これは「一問一答型」のチャットボットにはできない芸当なのです。
シナリオ型のチャットボットは、人がルール（分岐）設定していることから、メンテナンスがしやすく、質問が少ない場合にも効果的と言えます。
チャットボットの「役割」を限定する
ずるいと思われるかもしれませんが、チャットボットの答える範囲を限定することも回答精度を上げる秘訣です。
そもそも、チャットボットが答えられない質問は直接有人チャットに繋げるべきです。
例えば、個人特定と発注確認が必要な配達状況確認は、システム連携をしない限りはチャットボットでは答えられません。なので、配達状況確認の問い合わせは、直接有人チャット対応へ誘導します。
また、「私は・・・に答えるための専用のチャットボットです」と宣言してしまうことも有効です。
「引っ越しに関する専用チャットボット」に対して、口座開設に関する質問はしてこなくなります。
このようにチャットボットの回答精度を向上するための打ち手は様々ありますが、難しく考えずに、こまめにPDCAを回していくことでノウハウもたまってきます。
今日答えられなかったことが、明日答えられるようになる。
この積み重ねが効果のあるチャットボットを生み出す一番の近道であると言えます。
MOBI BOTの活用で効果的に回答精度（正答率）の向上を
モビルス株式会社が開発提供するMOBI BOT（モビボット）は、回答精度（正答率）向上につながる様々な機能で、効果的なチャットサポートを実現しています。
直感的でわかりやすい応答シナリオ管理
MOBI BOTでは、顧客からの問い合わせに対応するチャットボットのシナリオを、管理画面上で簡単に作成、編集することができます。
ノンプログラミングで直観的にシナリオを修正したり、変更履歴をもとにサポート状況に応じてシナリオを切り替えたりするといったことも、シンプルな操作で進められます。
メンテナンスがしやすいことから、正答率向上のためのPDCAサイクルを効率的かつ効果的に回すことが可能です。
スムーズなオペレーター（有人チャット）連携
チャットボットで対応が難しい問い合わせにおいては、当社開発の有人チャットMOBI AGENT（モビエージェント）と組み合わせた有人チャット連携で、どのような質問でも応えられる体制を整えることができます。
問い合わせ冒頭で必ず聞く内容をチャットボットで事前ヒアリングして有人モードへ切り替えたり、製品やコールリーズンなど問い合わせの種別に応じて、適切なオペレーターグループに自動着信させたりといった、シームレスな有人チャット連携が、回答精度の向上を実現します。
AI搭載で高精度な回答が可能
時には、顧客要望や質問が多岐にわたり、シナリオ応答では対応が難しい場合もあるでしょう。こうした広範囲の問い合わせに対応するには、対話型AIによるユーザーの意図解釈を活用した自動応答が役立ちます。
MOBI BOTでは国内外の最先端の人工知能に対応しており、お客さまにとって最適なAIを選択することが可能です。
お客さまの独自開発AIとの連携などもご要望に応じて柔軟に対応しているため、目的とご予算に合わせて、回答率の高い問い合わせ対応の体制を整えることができます。
一般的なAIチャットボットに比べて学習プロセスが容易
AIチャットボットで正答率を向上させるには、教師データと呼ばれるデータをAIに学習させ、そのデータ学習を継続的に進めていく必要があります。これまで、チャットボットの教師データ作成や回答精度の向上は、多くの経験知や暗黙知があり、専門のコンサルタントやエンジニアに頼らなければなりませんでした。
MOBI BOTは、そんな専門家によるAI学習プロセスやデータチューニングのノウハウを分析し、そのエッセンスをシステム化・AI化して組み込んでいます。AIを専門としない企業の担当者でも、PDCAベースで自らチャットボットを賢くしていくことが可能です。
こうした独自の学習支援によって、モビルス株式会社の調査では、一般的なチャットボットの学習フローに比べて最大50%程度の効率化※1を可能にした例もあります。
※1 IBM Watson（NLC）を利用して、一連の学習プロセス（教師データ作成・学習・テスト）を行った場合との比較（モビルス調べ）
AIの専門家に頼らず、自社でチャットボットを賢くすることができることから、MOBI BOTは正答率の向上をしやすいサービスです。チャットボットの導入をご検討の際には、ぜひお問い合わせください。
（MOBI BOTのサービスサイトはこちら）
まとめ
チャットボットの回答精度（正答率）の向上は、成果を出すためには欠かせません。
回答精度（正答率）について理解し、導入後も、目的とニーズに合わせて最適な方法で測定、メンテナンスしていくことで、回答精度（正答率）の高いチャットボットへと育てていきましょう。
チャットボット「MOBI BOT」紹介資料
モビルスの「MOBI BOT」は、サポートはもちろん顧客体験までつくるチャットボットです。機能、解決できることなどを紹介資料にて掲載しています。
下記より、ダウンロードいただけます。ぜひご覧ください。
チャットボット・セルフチェックシート
チャットボット導入や運用にあたり、必要な要素が欠けていないか、現状の課題と改善策を簡易診断可能な「セルフチェックシート」です。
下記よりダウンロードいただけます。ぜひご活用ください。
関連外部サイト
トランス・コスモスが運営する情報サイト「Cotra」
失敗事例から考えるコールセンターにおけるチャットボット導入の方法
AIチャットボットとは？導入目的や3つのメリットを解説