Pocket

チャットボットのAI学習と確信度

AIベースのチャットボットでは、ユーザーの質問や意図を解釈するためにAIを学習させます。

例えば、「申込をしたい」というユーザー意図の解釈には、「申込方法を教えて」「申込書が欲しい」などの言い換えパターンをAIに学習させます。

AIは87%の確信度で「申込の手続き」と推定、確信度70%を超えるため回答する
例)AIは87%の確信度で「申込の手続き」と推定、確信度70%を超えるため回答する

AIの自信を表す「確信度」とは

AIがどれほどの自信をもって意図を解釈したかは、「確信度 (Confidence Score)」に表れます。

この確信度には「しきい値」の設定が可能で、例えば、70%以上なら候補の回答を返し、70%未満なら「わかりません」や「別の表現で質問してください」と回答させることができます。

しきい値を下げると、「わかりません」と答える率は減りますが、誤った回答を返す可能性も高まるため、AIの学習とテストを繰り返し、最適なしきい値を設定しましょう。

チャットボットは、正答率での評価が一般的

チャットボットのパフォーマンスを測るための主な指標には、「解決率」「正答率」「誤答率」「回答率」などがあります。

解決率は、アンケートでユーザーが「解決した」と答えた割合ですが、仮にチャットボットが正しい回答を返しても、ユーザーのニーズや問題が「解決しない」ことがあります。

チャットボットの指標「解決率」「正答率」「誤答率」「回答率」の関係

このように「解決したかどうか」はユーザーの主観にも大きく左右されるため、チャットボットの分析では、客観的な評価が可能な「正答率」を用いることが一般的です。

mobiVoice
avatar
細川
AIチャットボットの正答率100%を目指すのではなく、正答率80%で残りの20%をオペレーターによるチャットで補うという考え方もあります。正答率の目標値やしきい値の設定方法については、ぜひ一度モビルスまでご相談ください。