会話のログとは

会話のログ機能は、ユーザーの発話とエージェントの応答、使われた知識や詳細情報を時系列に表示する機能です。

ユースケース

会話のログは、例として以下のようなユースケースでご利用いただけます。

過去にどのような応答があったか確認したい
ステートに情報が保存されているか確認したい
会話ログをダウンロードして分析したい
応答で使われた知識を確認したい

基本的な使いかた

会話のログは、画面左側のメニュー「会話のログ」からご利用いただけます。

ヘッダーブロック

ヘッダーブロックでは、会話ログのフィルタリングとダウンロードができます。

会話のログは、以下の条件でフィルタリングができます。

[最近の発話一覧] (デフォルト) [ユーザーごとの発話] [ルールベースにない発話]
会話開始時の発話を表示する
プレビューの会話を表示する

会話のログは、CSV形式でダウンロードができます。

メッセージブロック

メッセージブロックでは、以下の情報が表示されています。

詳細情報
ユーザーの発話
エージェントの応答
現在のシナリオ
会話全体を見る
ステートを確認
プロンプトを表示
この応答で使われた知識
ナレッジデータストアへ追加
ルールベースへ追加

詳細情報

この会話に関する以下の情報が確認できます。

ユーザーID
発話日時
生成されたクエリ
設定された言語モデル
プラットフォーム

ユーザーの発話

応答の生成元になったユーザーの発話が確認できます。

エージェントの応答

生成されたエージェントの応答が確認できます。

現在のシナリオ

シナリオを設定している場合、シナリオ名と新たに到達したノードが確認できます。

会話全体を見る

[会話全体を見る] ボタンを押下すると、会話開始時の発話から最新の会話までの一覧が表示されます。

※ 新しく会話を始めてユーザーIDが異なる場合は、別の会話一覧として表示されます。

ステートを確認

[ステートを確認] ボタンを押下すると、プロンプト内で設定したステートに保存された情報が表示されます。

情報はこの発話時点のものです。

最新のステートを確認する場合は、モーダル内の [最新のステートを確認する] を押下してください。

プロンプト

[プロンプト] ボタンを押下すると、この応答が生成されたプロンプトが表示されます。

この応答で使われた知識

メッセージブロックの下部には、この応答で使われた知識（ナレッジデータストア) が表示されます。

[開く] ボタンを押下すると、参照されたナレッジデータストアの一覧が表示されます。

一覧では、タイトルとスコア (ベクトル検索の類似度) が表示されています。

[詳細] ボタンを押下すると、さらにナレッジデータストアの採用された本文が表示されます。

ナレッジデータストアへ追加

[ナレッジデータストアへ追加] ボタンを押下すると、モーダルが表示されます。

ラベル、URL (任意)、本文を入力して [登録する] を押下すると、ナレッジデータストアに保存されます。

ルールベースへ追加

[ルールベースへ追加] ボタンを押下すると、モーダルが表示されます。

トピック、分類、応答を入力して [登録する] を押下すると、ルールベースに保存されます。

応用的な使いかた

会話のログは、例として以下のような使いかたができます。

これにより、会話の表現や精度を改善することができます。

ナレッジデータストアを改善する

この応答で使われた知識で、採用されたナレッジデータストアが確認できます。

この機能を利用して、ナレッジデータストアを修正することでより精度を高めることができます。

プロンプトを改善する

生成された検索クエリ、プロンプトを表示、ステートを確認を利用して、プロンプトの改善が行えます。

シナリオを改善する

現在のシナリオで、この会話が到達したシナリオを確認できます。

これにより、シナリオの想定通りに会話が進行しているかを確認できて、シナリオの改善が行えます。

会話ログのダウンロード

会話のログは、CSV形式でダウンロードができます。

※ダウンロードの取得件数はwebhookも1カウントされる仕様となっており、実際のダウンロード後の件数と異なる可能性がございます。

以下はCSV内にあるカラムの一覧です。

utterance_date：発話日時（JST)
platform：チャットを利用したプラットフォーム
utterance：ユーザーの発話内容
response：エージェントの回答内容
raw_response：エージェントの回答内容 (加工前)
user_uid：発話したユーザーに振られたID　※このIDによりエージェントは同一のユーザーと判定します。
bot_id：エージェントに振られたID
session_id: 会話のセッションを一意に定める識別子。
(セッション = ユーザーが行った会話の集合を表す単位です。最後の発話がなされた１５分以上が経過すると終了とみなされます。)
is_training：ルールベースに追加済みか否か
search_query：生成された検索クエリ
is_start_utterance：会話開始時の発話か否か
scenario_name：（シナリオ使用時）使用したシナリオの名前
scenario_node_name：（シナリオ使用時）シナリオの中のどのノードか
is_preview：プレビューでの発話か否か
confidence：信頼度判定 (ハルシネーションしていないかの予測)（AI分析機能 ※プレミアムプラン以上の
confidence_label：信頼度判定ラベル（AI分析機能 ※プレミアムプラン以上のみ）
- A(4) 信頼できる
- B(3) やや信頼できる
- C(2) やや信頼できない
- D(1) 信頼できない
confidence_reason：信頼度判定理由（AI分析機能 ※プレミアムプラン以上のみ）
resolution：解決度判定 (ユーザの課題を解決しているかどうか)（AI分析機能 ※プレミアムプラン以上のみ）
resolution_label：解決度判定ラベル（AI分析機能 ※プレミアムプラン以上のみ）
- A(5) 解決
- B(4) 概ね解決
- C(3) 解決途中
- D(2) やや未解決
- E(1) 未解決
resolution_reason：解決度判定理由（AI分析機能 ※プレミアムプラン以上のみ）
advise：未使用
history：ユーザーとエージェントの直近の会話履歴　※ 短期記憶であり会話の精度向上のため、過去の記憶は徐々に忘れていきます