AI回答にリンクが付いていても、リンク先が回答のすべてを裏付けているとは限りません。引用元とは、回答に添えられた参照先のことです。確認するには、その資料を開き、使いたい主張と該当箇所を読み比べます。
例えば、あるサービス提供会社のページに、一つのプランで日本語のメールサポートを提供すると書かれていたとします。それだけでは、すべてのプランで日本語の電話サポートを提供しているとは確認できません。資料が裏付けている内容、回答が付け加えた内容、まだ確認できていない点を、短いメモに分けて残すことが役立ちます。
OpenAIのChatGPT検索ガイドでも、引用元を開いて回答を裏付けているかを確認し、公開日や更新日、情報源の信頼性を見るよう勧めています。以下は、他の人も判断の理由をたどれるように記録するための、Supasaitoの実用的な確認手順です。
質問を保存し、確認する文を決める
AIアシスタントに、次のように質問したとします。
A社は日本語のサポートを提供していますか？
AIの回答は次のとおりです。
A社は、すべてのプランで、メールと電話による日本語サポートを提供しています。
A社、このAI回答、以下の引用元の文章は、説明のために作った架空の例です。実在する会社の情報でも、AI製品を実際に試した結果でもありません。
この確認用に、メモを一つ作るか、スプレッドシートの一行を使います。質問とAI回答の全文を貼り付けたうえで、確かめたい文を「確認する主張」という欄にコピーしてください。回答が複数の文からなる場合も、どの文を確認しているかが分かります。
保存した回答のそばに、利用した製品、回答を得た日付、画面に表示された検索モードがあれば記録します。「製品」には実際に使ったサービス名を書きます。ウェブ検索が行われたか分からなければ、「検索の実行：未確認」と記入します。後から、どの回答を調べたのか特定するための情報です。
今回の架空の文では、サポートの言語、対象プラン、連絡手段の三つを確認します。「日本語」「すべてのプラン」「メールと電話」のそれぞれに根拠が必要です。
AIアシスタントが情報を見つける方法の解説では、ページを探すよう依頼する場合と、読むページを指定する場合の違いを説明しています。ここでは、一つの主張をリンク先の記述が裏付けているかに焦点を当てます。
サービスを説明している箇所を探す
主張に添えられた引用リンクを開きます。ページ内で「日本語」を探し、前後の段落も読んでください。プラン名、連絡手段、近くの注記や表にある対象外の条件を確認します。「日本の顧客にサービスを提供している」と書かれた会社紹介だけでは、サポートの言語は確認できません。
今回の練習では、リンク先のサポートページに、次の文章があるとします。
Businessプランには、メールによる日本語サポートが含まれます。
この文章を、メモの「引用元の該当箇所」欄にコピーします。実際の確認では、ページのタイトル、URL、該当箇所の見出しも添えてください。他の人が同じ場所を読み直せます。この練習では、「架空のサポートページの文章。実在するURLなし」と書きます。
公開日や更新日がページに表示されていれば記録します。見当たらなければ、「更新日の表示なし」と記入してください。日付が未確認だという意味であり、ページが古いと判断できるわけではありません。
引用元がサービスページではなく調査の要約であれば、どの資料を読んだかも記録します。要約だけを読んだ場合は、「要約を確認。元の報告書は未確認」と書きます。調査方法を確認したと言えるのは、研究の実施方法を説明する箇所を実際に読んだ場合です。
言語、プラン、連絡手段を読み比べる
AI回答と引用元の文章を並べて読みます。今回の架空の例では、次の違いがあります。
| 確認する点 | AI回答 | 引用元の文章 | その文章から確認できること |
|---|
| 言語 | 日本語サポート | 日本語サポート | 記載されたサービスについて、言語は一致しています。 |
| プラン | すべてのプラン | Businessプラン | Businessでの提供は確認できます。すべてのプランでの提供は確認できません。 |
| 連絡手段 | メールと電話 | メール | メールでの提供は確認できます。電話での提供は確認できません。 |
AI回答は、引用元の内容を二か所で広げています。Businessを「すべてのプラン」に、メールを「メールと電話」に変えています。
実際のページでも、次のように確認できます。
- プラン名を探す。 引用元が「Business」と書いていれば、使う文にもその名前を残します。「すべてのプラン」に置き換えないでください。
- 連絡手段を探す。 記載がメールなら「メール」と記録します。「電話」を加える前に、電話サポートの説明を別途確認します。
- 近くの制限を読む。 例えば「Businessの契約者のみ」という注記があれば、対象者を限定する条件として主張に残します。
- 日付を確認する。 表示された日付、または日付が見当たらないことを、該当箇所のそばに記録します。現在のサービスについて述べる必要があれば、日付の不確かさを最新の公式情報で確認してから使います。
今回の架空の文章に合わせると、主張は次のように限定できます。
A社のBusinessプランには、メールによる日本語サポートが含まれます。
残すべき条件は「Businessプラン」と「メールによる」です。引用元の文章は、他のプランや電話サポートの有無を説明していません。その点はまだ確認が必要です。
裏付けられる内容と未確認の点を書く
元のAI回答については、「引用元による裏付け」の欄に「一部が裏付けられる」と書き、理由を添えます。
Businessプランの日本語メールサポートは裏付けられる。すべてのプランでの提供と、電話での提供は、この文章では確認できない。
範囲を限定した修正文は、引用元の記述と一致しています。これは、その文と該当箇所の一致についての判断です。
他の確認では、異なる結果もあり得ます。以下は、Supasaitoが提案する整理方法です。
| 確認結果 | 記録する内容 |
|---|
| 記述の範囲内で裏付けられる | 根拠となる箇所をコピーし、対象範囲を明記します。今回なら、Businessプランの日本語メールサポートです。 |
| 一部が裏付けられる | 裏付けられる部分と追加の主張を分けます。今回なら、Businessのメールサポートは裏付けられますが、すべてのプランと電話は確認できません。 |
| 引用元の内容と矛盾する | 両立しない記述をコピーします。例えば、別の箇所に「電話サポートは英語のみ」と明記されていれば、日本語の電話サポートを提供するという主張と矛盾します。 |
| 入手できた資料では確認できない | 確認できなかった理由を書きます。例えば「リンク先を開けず、該当箇所による裏付けは未確認」です。 |
矛盾の例は、別の仮定です。今回の練習用の引用元に書かれている内容ではありません。電話について記載がないだけでは、電話サポートがないとは判断できません。また、ページを開けなかった場合も、その記述が回答を裏付けるかどうかは判断できません。
文の一致に加えて、情報源を確認する
該当箇所との一致で分かるのは、「この資料に、AI回答が述べた内容が書かれているか」です。さらに、「使いたい主張に適した、現在も有効な情報源か」という問いが残ります。
2023年に発表されたALCEの研究論文では、回答が正しいかと、引用した箇所が回答の主張を裏付けているかを別々に評価しています。この区別からも、同じ内容が書かれている箇所を見つけるだけでは、確認が終わらない理由が分かります。
実際のサービスについて確認する場合は、ページの発信者を見ます。提供会社自身のサポート資料でしょうか。それとも、サービスを紹介する記事でしょうか。日付と対象プランも確認します。今使いたい主張なのに、それらが不明確なら、最新の公式資料を確認するか、提供会社に確かめます。一つの発表を転載した記事が複数あっても、独立した裏付けが複数あることにはなりません。
今回の練習では、文章が架空のA社自身のサポートページにあり、更新日の表示はなく、他のプランのページは読んでいないとします。別の「情報源の確認」欄には、次のように記録できます。
提供会社のサポートページを確認。更新日の表示なし。他のプランは未確認。
この記録は、実際に読んだ範囲を示します。現在もそのサービスを提供していると確認したことにはなりません。引用元による裏付けの結果と並べて残すと、文章の一致と現在の提供内容の確認を区別できます。
Visibility・Clarity・Trustの解説では、提供内容を評価する人にとって、確かめられる主張がなぜ重要かを説明しています。
根拠と確認結果を一緒に残す
今回の架空の練習なら、記録の中心部分は次のようになります。
- 質問： A社は日本語のサポートを提供していますか？
- AI回答／確認する主張： A社は、すべてのプランで、メールと電話による日本語サポートを提供しています。
- 引用元と位置： 上に示した架空の提供会社のサポートページの文章。実在するURLなし。
- 該当箇所： Businessプランには、メールによる日本語サポートが含まれます。
- 引用元による裏付け： 一部が裏付けられる。Businessの日本語メールサポートは裏付けられるが、すべてのプランと電話は確認できない。
- 情報源の確認： 提供会社のサポートページを確認。更新日の表示なし。他のプランは未確認。
- 修正文： A社のBusinessプランには、メールによる日本語サポートが含まれます。
- 次の対応： 現在のサービスについての主張に使う前に、最新の公式情報を確認する。他のプランや電話を加えるには、追加の根拠を探す。
実際の確認では、最初に保存した製品名、回答を得た日付、分かる範囲の検索情報も添えます。架空の引用元という表示を、実際の資料名、URL、該当箇所に置き換えてください。元のAI回答と修正文を並べて残すと、変更の理由が分かります。
まず、判断に使いたい主張を一つ選びます。該当箇所を探し、そこで示された条件を保ち、何を確認したかを書き残してください。他の人が、どこまで裏付けられるかと、何がまだ未確認かを読み取れる記録にしましょう。
