AIチャットボットの仕組みとAI学習の重要性

AIベースのチャットボットでは、ユーザーの質問や意図を解釈するためにAIを学習させます。

例えば、「申込をしたい」というユーザー意図の解釈には、「申込方法を教えて」「申込書が欲しい」などの言い換えパターンをAIに学習させます。

AIがどれほどの自信をもって意図を解釈したかは、「確信度 (Confidence Score)」に表れます。

この確信度には「しきい値」の設定が可能で、例えば、70％以上なら候補の回答を返し、70％未満なら「わかりません」や「別の表現で質問してください」と回答させることができます。

しきい値を下げると、「わかりません」と答える率は減りますが、誤った回答を返す可能性も高まるため、AIの学習とテストを繰り返し、最適なしきい値を設定しましょう。

チャットボットのパフォーマンスを測るための主な指標には、「解決率」「正答率」「誤答率」「回答率」などがあります。

解決率は、アンケートでユーザーが「解決した」と答えた割合ですが、仮にチャットボットが正しい回答を返しても、ユーザーのニーズや問題が「解決しない」ことがあります。

このように「解決したかどうか」はユーザーの主観にも大きく左右されるため、チャットボットの分析では、客観的な評価が可能な「正答率」を用いることが一般的です。

細川

AIチャットボットの正答率100％を目指すのではなく、正答率80％で残りの20％をオペレーターによるチャットで補うという考え方もあります。正答率の目標値やしきい値の設定方法については、ぜひ一度モビルスまでご相談ください。