Pocket

「チャットボットを導入したけど、期待していた効果がでない」

という声をよく聞きます。

コンタクトセンター(コールセンター)をはじめとした顧客サポートの現場でも、業務効率化や顧客満足度向上のため、チャットボットを導入するところが増えています。

チャットボットの成果が出ないと感じる要因は、「回答精度」「トラフィック(件数)」「効果を示すシナリオ設計」「目標設定(効果測定)」の4つの課題に分類できます。

今回の記事では、「回答精度」を上げるための対策について解説していきます!

目次

回答精度向上の秘訣は、継続的なPDCAプロセス
回答精度を測る指標「正答率」とは

正答率の目標値は、100%を目指してはダメ!

公開後、高速でPDCAを回しメンテナンス。正答率80%の維持を目指す

「いいえ」回答と「ノーヒット」の質問が回答精度の糧になる

有人チャット対応の併用で、さらなる回答精度の向上へ

シナリオ型のチャットボットとの組み合わせも検討

チャットボットの「役割」を限定する

回答精度向上の秘訣は、継続的なPDCAプロセス

チャットボットの品質は、回答精度にかかっています。

回答精度を上げるための秘訣はただ一つ、

「継続的なPDCAプロセス」組めるかどうかです。

そのためには、はず「チャットボットのデータを管理する担当チームを作ること」とおすすめしています。

自社内での人材確保がどうしても難しい場合は、アウトソーサーに依頼しても良いですが、その場合も完全に任せっきりにするのではなく、自社の担当者を置いてブラックボックス化を防ぐことが重要です。

回答精度を測る指標「正答率」とは

継続的にPDCAを回すには、KPIの設定が不可欠です。

チャットボットの回答精度を測る指標でもっとも適しているのが、「正答率」です。

正答率とは

正答率の定義は、「ユーザーの質問に対して何らかの回答がされた、かつ、その回答に対する満足度についてのアンケートに答えた件数」を分母とし、「『はい(回答に満足)』と答えた件数と、『いいえ(回答に不満足)』と答えた件数のうち、回答内容は正答だった件数の和」を分子を分子として出した割合です。

正答率の定義

未回答は「ノーヒット」と分類します。

この正答率を日々モニタリングして、目標値に近づくようにPDCAを回していきます。

正答率の目標値は、100%を目指してはダメ!

正答率の目標値は、100%を目指すことはおすすめできません。

ものすごく労力がかかるうえ、それに見合う効果があると言えないからです。

チャットボット公開前、社内で数か月かけて準備をし、どれだけ頑張ってテストを繰り返しても、公開した際の正答率は60%程度となります。

ユーザーは想定外の質問や、聞き方をしてくるものです。

公開当初は、正答率60%くらいを合格点と考えて問題ありません。

公開後、高速でPDCAを回しメンテナンス。正答率80%の維持を目指す

大事なのは公開後、ユーザーから質問をたくさん受け、学習・改善といったPDCAを高速で回すことです。

PDCAを回した結果、公開から3か月後に正答率80%を目指すのが王道だと言えます。

気を抜くといつの間にか正答率は下がっていきます。

王道の正答率の推移
王道の正答率の推移

チャットボットでの正答率は80%を維持し、答えきれない部分を有人チャット対応でカバーする方法をおすすめしています。

「いいえ」回答と「ノーヒット」の質問が回答精度の糧になる

PDCAを回すうえで、重要なのはアンケートで「いいえ」と回答された質問データと、チャットボットが答えられなかった未回答の「ノーヒット」の質問データです。

その質問が、標準質問のリストになければ追加します。標準質問にあるにも関わらず、ノーヒットとなる場合は、その質問文の要素を該当する質問文の揺らいぎ文章に追加していきます。 同時に類義語の登録も見直してみます。

誤答は、質問と回答を見直し、不要な要素を削除しつつ、正しい質問文に紐づけ直します。その際に、同じような標準質問がないか確認し、重複している標準質問を整理します。

データの見直しポイント

有人チャット対応の併用で、さらなる回答精度の向上へ

また、有人チャット対応の併用は、回答精度向上の強い武器となります。

チャットボットが回答できず、オペレーターがチャットで対応し解決した質問は、優秀な教師データとなるのです。

例えば、クレジットカードを扱う会社では「解約」というキーワードがノイズキーワードになります。

複数種類のクレジットカードを扱っているため、「カードを解約したい」と言われても、チャットボットは「どのカードなのか」「本人のカードか、家族用カードか」などが判別できず、標準質問にマッチするか特定できません。

乱暴に聞こえるかもれませんが、このような場合は、「解約」関連の質問をすべて抜き出して、「解約について」と一つの質問に置き換えてしまいましょう。

その上で、「解約したいのはどのカードですか?」とシナリオ分岐でユーザーに選ばせるという手段が有効です。

シナリオ型のチャットボットとの組み合わせも検討

このように「シナリオ型(分岐型)チャットボット」と組み合わせることが回答精度を上げていく方法も検討していきます。

特定の問い合わせが急に増えた場合には、特に有効です。

急に増えた問い合わせは、シナリオの最上位に設置しユーザーを誘導します。これは「一問一答型」のチャットボットにはできない芸当なのです。

シナリオ型のチャットボットは、人がルール(分岐)設定していることから、メンテナンスがしやすく、質問が少ない場合にも効果的と言えます。

チャットボットの「役割」を限定する

ずるいと思われるかもしれませんが、チャットボットの答える範囲を限定することも回答精度を上げる秘訣です。

そもそも、チャットボットが答えられない質問は直接有人チャットに繋げるべきです。

例えば、個人特定と発注確認が必要な配達状況確認は、システム連携を行い限りはチャットボットでは答えられません。なので、配達状況確認の問い合わせは、直接有人チャット対応へ誘導します。

また、「私は・・・に答えるための専用のチャットボットです」と宣言してしまうことも有効です。

「引っ越しに関する専用チャットボット」に対して、口座開設に関する質問はしてこなくなります。

このようにチャットボットの回答精度を向上への打ち手は様々ありますが、難しく考えずに、こまめにPDCAを回していくことでノウハウもたまってきます。

今日答えられなかったことが、明日答えられるようになる。

この積み重ねが効果のあるチャットボットを生み出す一番の近道であると言えます。

mobiVoice