AI弁護士のハルシネーション — 架空の判例を見抜く方法
AIに法律のことを尋ねると、実在しない判例をもっともらしい体裁で提示されることがある。これがハルシネーションと呼ばれる現象だ。見抜く鍵はシンプルで、AIが挙げた「事件番号・裁判所名・判決年月日」を一次情報に当てて照合することに尽きる。この手順は裁判所・裁判例検索で誰でも実行でき、AI弁護士に相談する際にも欠かせない確認作業になる。
プロの弁護士でさえ、この落とし穴に引っかかって実際に制裁を受けた例が米国では複数報告されている。だからこそ、AIの答えを受け取る利用者の側にも最低限の検証手順が必要になる。本記事ではその手順を具体的に示す。
本記事は一般的な法情報であり、法的助言（法律相談）ではありません。個別の判断は必ず弁護士にご相談ください。
ハルシネーションとは何か — なぜAIは判例を「作る」のか
生成AI・ChatGPTのようなツールが法律の質問に答えるとき、時おり存在しない判例を根拠として差し出すことがある。これは意図的な嘘ではなく、AIという仕組みそのものの性質に由来する現象だ。
仕組み上、AIは「真偽」を判定していない
生成AIは、直前までの文脈をもとに「次に来る確率が高い単語」を順番に選びながら文章を組み立てる仕組みで動いている。裁判所名・年月日・事件番号・判示といった判例らしい書式は大量に学習しているため、存在しない判例であっても“判例らしい形”を自信満々に作り出せてしまう。AIに嘘をつく意図があるわけではなく、そもそも出力の真偽を検証する機能を持っていない、という点が本質になる。
4つの型
架空の判例と一口に言っても、現れ方はいくつかのパターンに分かれる。
- 架空の判例そのもの（実際には存在しない事件）
- 実在する判例だが、引用された判示の内容が歪められている
- 論点と無関係な判例を、根拠であるかのように提示する
- すでに改正・廃止された古い法令や判例を、現行のものとして提示する
このうち「実在するが内容が違う」型は、事件そのものは実在するため一見すると裏取りが済んだように見え、特に見抜きにくい。
型を先に知っておくと、次に見る実際の事故がなぜ起きたのかを理解しやすくなる。
実際に起きたこと — プロの弁護士でも引っかかっている
架空の判例を引用したのは一般利用者だけではない。米国では、法律の専門家である弁護士自身が制裁を受けた事例がすでに複数報告されている。
米国の制裁事例
2023年、米国ニューヨーク南部地区連邦地方裁判所のMata v. Avianca事件（事件番号22-cv-1461）では、弁護士がChatGPTの出力に含まれていた6件の存在しない判例をそのまま準備書面に引用した。裁判所は連邦民事訴訟規則11条に基づき、5,000ドルの制裁金を科した。
同種の事例はその後も続いている。2025年2月21日には、インディアナ州南部地区連邦地裁で弁護士Rafael Ramirezが3通の書面に架空の判例を引用し、1万5,000ドルの制裁金が勧告された。担当裁判官はこの件について、AIの利用には「本物の知性」が必要だと述べたと報じられている。2025年5月にはユタ州の控訴審でも、弁護士Richard Bednarが架空の判例「Royer v. Nelson」を引用して制裁を受けた。
裁判所への提出書面に限った話でもない。2024年のMoffatt v. Air Canada事件（カナダ）では、自社のチャットボットが誤った案内をしたことについて、航空会社側に責任があると判断されている。AIの出力を人間が検証せずに使う構図は、法廷の書面でも企業の顧客対応でも同じ形の落とし穴を作る。
事件・場所 時期 内容 結果 Mata v. Avianca（米国・ニューヨーク南部地区） 2023年 ChatGPTが生成した6件の架空判例を書面に引用 連邦民事訴訟規則11条により制裁金5,000ドル インディアナ州南部地区連邦地裁 2025年2月21日 弁護士Rafael Ramirezが3通の書面に架空の判例を引用 制裁金1万5,000ドルが勧告 ユタ州控訴審（弁護士Richard Bednar） 2025年5月 架空の判例「Royer v. Nelson」を引用 制裁 Moffatt v. Air Canada（カナダ） 2024年 自社チャットボットが誤った案内を提示 航空会社の責任を認定
この4件に共通しているのは、AIが架空の判例を生成したこと自体よりも、それを使った人間が裏取りをしなかったことが制裁の直接の理由になっている点だ。ChatGPTの出力を一度も検索にかけずにそのまま提出した、あるいは体裁だけを見て信じてしまった、という経緯はどの事例でも共通している。
つまり、AIを使うこと自体が問題視されたわけではない。問題は「出力を検証せずに使ったこと」であり、この構造は米国の弁護士に限らず、日本でAIに法律相談をする一般の利用者にもそのまま当てはまる。
AIの利用には「本物の知性」が必要だ。
インディアナ州南部地区連邦地方裁判所（2025年2月21日の制裁事案にて）
日本ではどうか
日本国内では、生成AIが作った架空の判例をめぐって確立した裁判例は、本記事執筆時点で見当たらない。ただし日本弁護士連合会や東京弁護士会はすでに注意喚起を行っており、リスクの構造自体は米国の事例とまったく同じ形で存在している。「日本ではまだ事件になっていない＝安全」と考えるのは早計だ。
架空の判例の危険サイン — こういう時は疑う
AIが挙げた判例をすべて一件ずつ裏取りするのは現実的ではない。まずは、疑うべきサインを知っておくと効率的だ。
サイン一覧
次のようなときは、その判例を鵜呑みにせず立ち止まったほうがよい。
- 自分の主張に都合が良すぎる判例が、聞いた瞬間にすぐ出てくる
- 事件番号や判決日を聞き返すと、答えが毎回変わる、あるいは急にあいまいになる
- 「◯◯高裁 令和◯年◯月◯日」のように体裁は完璧なのに、検索しても該当が出てこない
- 出典のURLが示されない、または示されたURLが開かない・まったく別のページに飛ぶ
- 判例集の巻・頁（民集・刑集など）を聞いても示せない
- 「その判例の原文を引用して」と頼んでも、要約しか返ってこない
一番効く質問
もっとも効果的なのは、「その判例の事件番号・裁判所名・判決年月日・出典（判例集）を教えてください」と聞き返すことだ。架空の判例はこの問いで整合性が崩れやすい。
ただしAIが“それらしい番号”をその場で再生成してしまうこともあるため、最終的な確認は必ず一次情報で行う必要がある。
見抜く手順 — 一次情報で照合する3ステップ
危険サインに気づいたら、次はAIの答えではなく一次情報にあたって確認する番になる。手順は3つのステップに整理できる。
STEP 1 — 判例は「裁判所の裁判例検索」で照合する
裁判所が公開している裁判所・裁判例検索に、裁判所名・判決年月日・事件番号を入力し、実在するかどうかを確認する。該当がヒットしなければ、その判例は存在しない可能性が高い。ただし、すべての裁判例が公開されているわけではない点には留意しておきたい。
STEP 2 — 条文は e-Gov法令検索で現行の原典に当たる
AIは条文番号や文言そのものをずらして提示することもある。条文を根拠に使う場合は、必ずe-Gov法令検索で現行法の原典を確認する。特に労働・消費者・行政不服のように改正が多い分野は要注意だ。
STEP 3 — 「AIの答え」ではなく「原典」を根拠に判断する
事件番号や条文番号が一致しなければ、その部分は根拠として使わない。判例が実在していても、判示の中身がAIの説明と食い違っていることがあるため、原文にあたるまでは信じないという姿勢を徹底する。
確認の際にメモしておくとよい項目は次の4点だ。
- 事件番号
- 裁判所名
- 判決年月日
- 出典（判例集の巻・頁、または検索でヒットしたURL）
3ステップを整理すると、確認対象ごとに使う一次情報とヒットしなかった場合の判断は下表のようになる。
確認対象 一次情報ソース ヒットしない場合 事件番号・裁判所名・判決年月日 裁判所・裁判例検索 その判例は存在しない可能性が高いと判断する 条文番号・条文の文言 e-Gov法令検索 AIの提示した条文番号・文言は使わず、原典の表記に置き換える 判示の内容そのもの ヒットした判例の原文 AIの要約と食い違う部分は根拠として採用しない
RAGは解決策になるのか
RAGとはRetrieval-Augmented Generationの略で、根拠となる文書をまず検索し、その中身に基づいて回答を生成する仕組みを指す。根拠となる文書が存在する分、何もない状態でハルシネーションが起きるよりはリスクが下がる。ただし、検索そのものが的外れであれば、的外れな根拠をもとにもっともらしい回答が作られてしまうため、ハルシネーションが完全にゼロになるわけではない。
「RAGを使っているから安心」と考えるのではなく、次の点を自分の目で確認する姿勢が利用者側の防御になる。これはAI弁護士やリーガルAIといった法律特化型のサービスを使う場合でも変わらない。
- 根拠として提示された文書そのものを開いて読む
- 検索対象になった文書が、そもそも該当の論点に関係しているか確認する
- 文書の日付が古すぎないか（改正前の内容ではないか）を確認する
弁護士会は何と言っているか — 最終責任は移転しない
日本弁護士連合会や各地の弁護士会も、生成AIのリスクについてすでに具体的な指針を出している。
守秘義務。 日本弁護士連合会のAI戦略ワーキンググループは「弁護士業務における生成AIの利活用等に関する注意事項」を示しており、依頼者の秘密情報を学習に使われうるAIに入力しないことを求めている。
出力の検証。 ハルシネーションの存在を前提に、AIが示した判例・条文は必ず一次情報で裏取りすることが指針の柱のひとつになっている。
責任の所在。 東京弁護士会も2025年3月27日付でガイドラインを運用しており、AIを利用したこと自体が免責の理由にはならないという立場を取っている。
職務上の倫理。 AIの出力をそのまま提出・送付する行為は、専門職としての注意義務違反にあたりうるとされている。
これらの指針に共通する最重要の原則は、「最終責任は移転しない」という一点だ。「AIがそう言ったから」は、弁護士にとって免責の理由にはならない。そしてこれは弁護士だけの話ではなく、AIの答えを根拠に自分で行動する一般の利用者にも、実質的には同じ構造で当てはまる。
利用者のための安全な使い方
ここまでの内容を踏まえ、利用者が実際に取るべき手順を整理する。
- AIの答えは常に「たたき台」として扱い、そのまま提出・送付しない。
- 判例・条文は必ず一次情報で裏取りする（前述の3ステップを使う）。
- 個人情報や契約当事者の氏名は入力しない、または匿名化してから使う。
- 期限のある手続き（訴状の提出・内容証明の送付・時効の管理など）は、AIだけで完結させない。
- 費用面が不安な場合は、法テラスの無料法律相談や費用立替制度の利用を検討する。
ハルシネーションは生成AIの仕組みそのものに由来する以上、完全になくすことはできない。だからこそ、無料のAI法律相談を使うときも「一次情報で裏を取る」という一手間を省かないことが、自分を守るもっとも確実な方法になる。
FAQ
本記事は一般的な法情報であり、法的助言（法律相談）ではありません。個別の判断は必ず弁護士にご相談ください。