LASSIC Media らしくメディア

生成AIに質問したら、いかにも正しそうな答えが返ってきた。ところがよく確かめると、事実とは違う内容だった——。生成AIを業務に使い始めた多くの現場が、この「もっともらしい嘘」に戸惑います。存在しない制度を説明したり、ありもしない出典を挙げたりする。この現象を、ハルシネーション（幻覚）と呼びます。

やっかいなのは、誤った内容ほど自信たっぷりに、それらしい文章で出てくる点です。だからこそ、そのまま信じて使うと、業務で思わぬ間違いにつながりかねません。本記事では、生成AIの業務活用を検討する情報システム部門や事業部門の担当者に向けて、ハルシネーションとは何か、なぜ起きるのか、似た話題との違い、そして「ゼロにはできない」前提でどう付き合うか、その打ち手と外注の勘所を整理します。

ハルシネーションとは——ガードレールとの違い

ハルシネーションとは、生成AIが事実に基づかない情報を、あたかも正しいかのように出力する現象を指します。日本語では「幻覚」と訳されることもある言葉です。実在しない製品名を挙げる、存在しない条文を引用する、数字を取り違える——といった形で現れ、しかもその多くが、自然で説得力のある文章として出てきます。人間のように「わからない」と言う代わりに、それらしい答えを作ってしまう、と言い換えてもよいでしょう。

ここで押さえておきたいのが、近い話題である「ガードレール」との違いです。生成AIのガードレールは、不正な入力（プロンプトインジェクション）や、有害・不適切な出力を防ぐための仕組みを指します。いわば、悪用や危険な出力から守る「守り」の話です。これに対してハルシネーションは、悪意のあるなしにかかわらず、AIが誤った情報を出してしまう「正確さ」の問題です。

守るべき対象が、不正・有害からの防御なのか、正確さなのか——ここに違いがあります。ガードレールをいくら固めても、ハルシネーションそのものはなくならないのです。逆に、正確さを追い求めても、不正な使われ方は防げません。両者は別の課題であり、それぞれに手を打つ必要があるわけです。本記事が扱うのは、後者の「正確さ」、つまりハルシネーションとの付き合い方です。

なぜ起きるのか

ハルシネーションと上手に付き合うには、まず、なぜ起きるのかを知っておくと役立ちます。根っこにあるのは、生成AIの仕組みそのものです。生成AIは、膨大な文章から学んだパターンをもとに、「次に来そうな言葉」を確率的につないで文章を作ります。事実かどうかを調べて答えているのではなく、それらしい続きを生成している、というのが基本の動きです。だから、学習したパターンに引きずられて、実在しない内容でも自然な文章として出してしまうことがあります。

いくつかの事情が、これに拍車をかけます。第一に、知識の古さです。AIが学んだ時点より後の出来事は知らないため、古い情報や推測で埋めてしまいます。第二に、文脈の不足です。前提となる情報が足りないと、AIは足りない部分を「それらしく」補おうとします。第三に、あいまいな問いです。質問が漠然としていると、解釈の幅が広がり、的外れな答えを作りやすくなります。こうした事情が重なると、誤りの出やすさは高まります。ここで大切なのは、これらは不具合ではなく、確率的に文章を作るという仕組みに由来する特性だ、という理解です。だからこそ、すべてをなくすのは難しく、「起きる前提」で付き合い方を設計することになります。

向き合う4つの打ち手

ハルシネーションはゼロにはできません。そのうえで、起きても困りにくくするための打ち手が、いくつか知られています。単独で万能なものはなく、いくつかを重ねて使うのが現実的です。代表的な4つを整理しました。この関係を図にすると、次のとおりです。

一つ目は、根拠を与えることです。AIに自由に答えさせるのではなく、社内文書などの確かな情報をあらかじめ検索して渡し、その範囲で答えさせます。社内文書を検索して回答に使うRAGという仕組みが、この代表例です。二つ目は、根拠を示させることです。答えとあわせて、どの資料に基づいたのかという出典を出力させれば、人がその場で確かめられます。三つ目は、用途を絞ることです。誤りの影響が小さい業務から使い始め、重要な判断そのものはAIに委ねない、と線を引きます。四つ目は、人が確かめることです。AIの出力をそのまま使うのではなく、人による最終チェックを工程に組み込みます。これらを組み合わせ、「起きても気づける・影響が小さい」状態をつくるのが、現実的な向き合い方です。

つまずきやすい難所

ハルシネーション対策には、あらかじめ想定しておきたい難所があります。踏まえておくと、対策したつもりで足をすくわれる事態を避けやすくなります。

一つ目は、「ゼロにできる」という思い込みです。何らかの対策を入れると、もう誤りは出ないと考えてしまいがちですが、確率的な仕組みに由来する以上、すっかりなくすことはできません。減らす・気づけるようにする、という発想が要ります。二つ目は、根拠を与えても油断できない点です。社内文書を渡して答えさせても、渡した資料の解釈を誤ったり、資料にない部分を補ってしまったりすることがあります。根拠つきだから問題なし、とはいきません。三つ目は、もっともらしさへの過信です。出力が流暢で説得力があるほど、人は正しいと感じてしまいます。文章のうまさと内容の正しさは別だ、と意識しておく必要があります。四つ目は、チェックの形骸化です。人による確認を工程に入れても、量が多すぎたり時間に追われたりすると、確認が素通りになりがちです。確かめられる量に業務を設計することも、対策の一部になります。

用途に応じた付き合い方

どこまで対策すべきかは、その業務で誤りがどれだけ問題になるかによって変わります。用途ごとに許容できる度合いを見極めると、対策の重さを選びやすくなるはずです。整理しました。

おおまかにいえば、誤ってもすぐ直せる下書きのような用途では、気軽に使い、人が仕上げれば十分です。一方、顧客への回答や、お金や人にかかわる重要な判断では、AIの出力を鵜呑みにせず、人の確認を欠かせません。同じ生成AIでも、任せる範囲は用途しだいで変えるべきものです。「どこまでなら誤っても取り返しがつくか」を基準に、付き合い方を決めるとよいでしょう。

外注時に確認しておきたい点

生成AIの業務活用や、そのハルシネーション対策を外部に委託する場合は、次の点を事前にすり合わせておくと、認識のずれを防ぎやすくなります。まず、その用途で誤りがどれだけ問題になるか、どこまでなら許容できるかです。ここが定まらないと、対策の重さを決められません。次に、どの打ち手をどこまで講じるかです。根拠を与える仕組みを作るのか、出典を示させるのか、人の確認をどう工程に組み込むのか——用途に見合った組み合わせを、一緒に設計しておきたいところです。

さらに、出力の品質をどう確かめ続けるかも決めておきたい点です。導入して終わりではなく、実際の使われ方の中で、誤りがどれくらい出ているのかを見ておく必要があります。LLM・RAGの精度評価のように、出力の質を測る取り組みとあわせて考えると、運用しながら改善していけるのです。「ゼロにする」ことを請け負ってもらうのではなく、「起きても困りにくくする」仕組みを一緒に作る、という前提を共有しておくと、期待のずれを避けやすくなります。

まとめ：ハルシネーション対策で押さえる3つの視点

ハルシネーションは、生成AIが事実でない情報をもっともらしく出力する「正確さ」の問題で、確率的に文章を作るという仕組みに由来します。押さえておきたい視点は3つに整理できます。第一に、不正入力や有害出力を防ぐガードレール（不正・有害への防御）とは別の課題だと理解し、正確さの問題として切り分けて手を打つこと。第二に、ゼロにはできない前提に立ち、根拠を与える・根拠を示させる・用途を絞る・人が確かめる、という打ち手を重ねること。第三に、業務ごとに誤りの影響の大きさを見極め、任せる範囲を用途しだいで変えることです。この3点を踏まえておけば、「もっともらしい嘘をそのまま信じて、業務で間違える」という事態を避けやすくなります。導入や運用の設計に不安があれば、外部の手を借りるのも一つの選択肢です。

よくある質問

著者：テレリモ総研編集部　鈴木 亮佑

ご不明な点はお問い合わせフォームからもご連絡いただけます。

1. *1　参考：総務省・経済産業省「AI事業者ガイドライン」（https://www.soumu.go.jp/main_sosiki/kenkyu/ai_network/02ryutsu20_04000019.html）。AI活用に伴うリスクと対応の考え方の参考として。

Tweet