生成AIは強力な道具ですが、「万能の何でも屋」と思って出力を鵜呑みにすると、信用とお金を一瞬で失います。これは脅しではなく、すでに世界中で起きている現実です。
- 2023年、米国の弁護士がChatGPTの作った架空の判例6件を裁判所に提出し、5,000ドルの制裁金(Mata v. Avianca事件)。2025年にはMyPillow関連訴訟でも、約30か所の誤った引用を含むAI生成書面で弁護士2名に各3,000ドルの制裁。
- 大手監査法人Deloitteは2025年、AI由来の存在しない論文・捏造された判例引用を含む豪政府向け報告書(約44万豪ドル)で、政府に一部返金しました。
- Air Canadaは、チャットボットが割引制度を誤案内した件で2024年に敗訴・賠償命令。「ボットの責任」という反論は通りませんでした。
- GoogleのAI「Bard」は2023年の公開デモで事実を1つ間違え、親会社の時価総額が1日で約1,000億ドル蒸発しました。
裁判所がAIの偽の引用に言及した事例は、集計によっては世界で1,000件超に膨らんでいます(HEC Parisの研究者によるデータベース、2025年以降に急増)。もはや「運が悪かった」では済まされません。大切なのは、苦手を知って回避策とセットで使うこと。弱点を理解している人ほど、生成AIを安全かつ強力に使いこなせます(情報は2026年6月時点)。
1. もっともらしい嘘をつく(ハルシネーション)
最大の弱点が、事実と異なる内容を自信たっぷりに語ることです。なぜ起きるか:生成AIは「次に来そうな言葉」を確率的に予測しているだけで、事実を検証していません。だから知らないことも、それらしく埋めてしまいます。
これは"設定ミス"ではなく原理的なものです。OpenAI自身も2025年の論文で「現行の訓練・評価手法ではハルシネーションは原理的に避けられない」と結論づけています。法律専門のAIツールでさえ、スタンフォード大学の研究では回答の17〜34%で誤りが生じたと報告されました。
回避策:固有名詞・数値・引用は一次情報で裏取りする/「出典URLを併記し、確認できない事実は『不明』と答えて」と指示し、URLを自分で開いて確認する/重要な事実確認はWeb検索連携モードを使う。
2. 最新・リアルタイム情報に弱い
各モデルには「知識の締め切り(カットオフ)」があり、それ以降の出来事は素では知りません。回避策:ChatGPTやGeminiのWeb検索、Perplexityなど検索連携を使い、ニュースや数値は元記事を開いて確認します。
3. 正確な計算・数え上げが苦手
桁の多い計算や「単語が何回出るか」のカウントでミスをします。言葉を予測しているだけで、電卓のように計算していないためです。回避策:ChatGPTのコード実行(データ分析)でPythonに計算させる/Excelや電卓を併用する。お金や契約に関わる計算は必ず人が再計算を。
4. 長文での一貫性が崩れ、指示が抜ける
長い入力では中盤の情報が使われにくくなる「Lost in the Middle」が知られています。回避策:タスクを分割する/重要な条件は冒頭と末尾の両方に書く/「登場する固有名詞をすべて列挙して」と抜けチェックを挟む。
5. 厳密な文字数・フォーマットを守りきれない
「ちょうど400字で」が守られないのは、AIが文字を「トークン」単位で扱うためです。回避策:幅を持たせて指示する/出力後に人がカウントして調整を依頼する。
6. 専門分野・最新事実の誤り、そして「暴走」
法律・医療・税務など高リスク領域の誤りは特に危険です。摂食障害支援のチャットボット「Tessa」が有害なダイエット助言をして停止した事例、自動車ディーラーのボットが客の巧妙な指示に乗って車を**「1ドルで売る・法的拘束力あり」と答えた事例、配送大手DPDのボットが自社を罵る**事例もあります。回避策:高リスクな助言はAI単独で完結させず専門家の最終判断を介在させる/公開するボットには価格・契約などの「約束ごと」を自由回答させないガードレールを設ける。何を入力してよいかは入力してはいけない情報も参照。
7. 画像内の文字・手指がうまく描けない
画像生成AI(Midjourney、DALL-E系、Stable Diffusionなど)は、看板の文字を崩したり指の本数を間違えたりします。ピクセルの分布を学習しており、文字を記号として理解していないためです。回避策:文字は後から人が重ねる/テキスト描画が得意なモデルを選ぶ。各ツールの得意・不得意はChatGPT・Gemini・Claude・Copilotの違いで整理しています。
まとめ:弱点を知る人ほど使いこなせる
日本でも総務省・経済産業省の「AI事業者ガイドライン」がハルシネーション等を重大リスクとして明記し、企業にファクトチェック体制を求めています。7つの苦手はいずれも「確率的に予測する」仕組みから生まれるため、人が確認する・検索と併せる・タスクを分割する・目的に合うツールを選ぶという回避策が共通して効きます。
裏を返せば、これらを当たり前にできる人材は、企業にとって安心して任せられる存在です。AI PASSPORTでは、生成AIの正しい使い方と限界、ファクトチェックの型までを体系的に学び、**5段階の認定資格(ブロンズ〜ブラック)**で「安全に使える力」を証明できます。学びの始め方は生成AIの学習ロードマップ、まずは無料で始めるか料金プランをご覧ください。
※本記事の事例・数値は、各判決・各社発表およびFortune・CNN・TechCrunch・スタンフォード大学HAI・OpenAI・総務省/経済産業省等の公開情報に基づく2026年6月時点の内容です。最新は各一次情報をご確認ください。