信頼度しきい値:AIが返答すべき時と人間に判断を仰ぐべき時
創業者がカスタマーサポートでAIを評価する際に最もよく聞く質問は、「AIが答えを知らない場合はどうなるか?」です。正直な答えは「システムの設計次第」です。信頼度しきい値のないAIは推測します。適切に調整されたしきい値を持つAIは、間違える前に助けを求めます。
信頼度しきい値とは何か
信頼度しきい値とは、システムによって設定されたスコアで、それを下回るとAIは自律的に返答しません。代わりに一時停止し、明確化の質問をするか、会話に人間によるレビューのフラグを立てるか、または直ちに人間のエージェントに転送します。スコアは、AIが顧客の意図をどれほど正確に理解しているか、および正しい返答を構築するために利用可能な関連情報がどれだけあるかに基づいて計算されます。
自己認識メカニズムとして考えてください。適切に調整されたAIは、自分が知らないことを把握しています。確信がない時に確信があるふりをしません。これはD2Cの文脈で非常に重要です。返品ポリシー、配達日、または製品仕様についての間違った回答は、単純なエスカレーションよりもはるかに多くの労力を必要とするカスタマーサービスの問題を引き起こす可能性があります。
AIの自律性100%が誤った目標である理由
一部の創業者は最初、完全自動化を望みます:人間を一切関与させない。これは効率的に聞こえます。実際には信頼性の問題です。顧客との会話は予測不可能です。返品について尋ねる顧客が、配送業者が梱包を破損して写真があると突然言及するかもしれません。製品の推薦を求める顧客が、特定の成分にアレルギーがある人へのプレゼントとして購入していると言及するかもしれません。
これらの会話には固定した知識ベースを超えた判断が必要です。これを認識してエスカレーションするAIは、突き進んで間違った答えを出すAIよりも有用です。目標は100%の自律性ではありません。目標は適切な自律性です:AIが信頼できる会話では高度な自動化を、そうでない会話では適切なエスカレーションを。
実用的なベンチマーク
ほとんどのD2Cブランドにとって、AIの対応率80〜86%が健全な目標です。つまり14〜20%の会話がエスカレーションされます。これらは通常、人間の返答が本当に違いをもたらす複雑で曖昧な、または感情的に荷の重い会話です。自律性を90%以上に押し上げようとすることは、通常、信頼度しきい値を下げすぎて、より多くの間違った答えのリスクを冒すことを意味します。
会話の種類ごとにしきい値を設定する方法
すべての会話が同じリスクを抱えているわけではありません。注文ステータスの照会は低リスクです:AIが正しいかどうか、間違った答えは顧客によって迅速に修正されます。これらは低いしきい値で実行できます。返金を伴う返品リクエストはより高リスクです:間違ったコミットメントは実際の財務的義務を生み出す可能性があります。これらはより高いしきい値で、より保守的なエスカレーショントリガーを使用して実行する必要があります。
段階的なしきい値のアプローチは通常このようになります。ルーティンクエリ(注文ステータス、サイズガイド、配送の目安時間)は高い自律性で低いしきい値で実行できます。詳細な製品仕様を伴う購入前の質問は中程度のしきい値で実行します。返品リクエスト、クレーム、例外のリクエストはより頻繁なエスカレーションを伴うより高いしきい値で実行します。
人間にエスカレーションすべき時:5つのシグナル
信頼スコアを超えて、スコアに関わらず常にエスカレーションをトリガーすべき5つの会話シグナルがあります。
第一に、強い否定的感情。顧客が怒り、失望、または苦痛を示唆する言葉を使用する場合、人間の返答はほぼ常にテンプレート化された返答よりも優れています。
第二に、人間への要求。顧客が明示的に人と話すことを求めた場合、その要求はすぐに尊重しなければなりません。AIで解決しようとすることは信頼違反です。
第三に、高額注文。一定のしきい値(ブランドによって異なりますが、通常は平均注文額の80パーセンタイル以上)を超える注文の場合、リスク計算が変わります。プレミアム注文に対するより高いエスカレーション率は通常、追加コストに見合う価値があります。
第四に、繰り返しの明確化要求。AIが一度以上明確化を求めたにもかかわらず会話がまだ不明確な場合、人間が引き継ぐべきです。ループは信頼を損ないます。
第五に、ポリシーの例外。標準ポリシーからの逸脱を必要とするリクエストは人間が確認すべきです。AIは一方的に例外の決定を行うべきではありません。なぜならそれらの決定は先例を作り、財務的な影響を持つからです。
エスカレーション体験はエスカレーション自体と同様に重要
AIから人間への引き継ぎの方法が、顧客のインタラクション全体に対する認識を形成します。良い引き継ぎは素早く、話し合われた内容の要約が含まれ、顧客に繰り返しを求めません。悪い引き継ぎは遅く、人間をコンテキストなしで残し、顧客に最初からやり直させます。
準備の整ったエスカレーションを引き受ける人間エージェントは数分で会話を解決できます。コンテキストなしのコールドトランスファーを引き受ける人はずっと時間がかかり、通常より悪い体験を提供します。AIシステムに良いエスカレーション衛生を構築することはオプションではありません。それがシステム全体を機能させるものです。
ブログの他の記事