豆蔵と立教大学大学院人工知能科学研究科による研究グループが、生成AIに関する研究論文を発表しました。
大規模言語モデル(LLM)が、与えられた情報に対し、実際には存在しない誤った規則性を見出してしまうことがあると発見。
この成果をまとめた論文は、2025年11月5日に国際会議「EMNLP 2025」にて発表されました。
豆蔵「LLMが誤った規則性を見出す」研究論文
豆蔵と立教大学大学院人工知能科学研究科の研究グループは、大規模言語モデル(LLM)が、自ら誤りであると判断できる規則性を、存在すると主張してしまうことがあるという挙動を発見しました。
このような挙動は、社会においてLLMを活用していく際に問題となる可能性があります。
生成AI活用と論理的思考力
LLMを含む生成AIは、Retrieval-Augmented Generation(RAG)やAIエージェントといった技術の発展と共に、広く社会で活用されつつあります。
LLM活用にあたっては、情報に基づいて論理的に判断を下す「論理的思考能力」が前提となります。
もしLLMの論理的思考力が十分でない場合、適切な情報を参照できた場合でも、誤った応答をしてしまうリスクがあります。
これまでの評価は演繹能力に注目したものが中心でしたが、現実的なタスクに対応するためには、与えられた情報から状況の全体像を把握する、帰納的な側面に対応できる能力も必要です。
LLMの論理的思考力の評価
研究グループは、これまで注目されてこなかったLLMの純粋な論理的思考力の帰納的な側面について評価するため、事前知識の有無の影響を受けない、「数列から規則性を導く」というタスクを設定しました。
実験の結果、評価した5つのLLM全てにおいて、存在しない規則性が存在すると主張することがあるとわかりました。
さらに、誤りが比較的少なかったモデルについて、出力された誤った規則性が本当に存在するのかを検証させたところ、「そのような規則性は存在しない」と正しく結論づけることが少なからずありました。
これは、モデルが「自分自身で誤っていることがわかるにも関わらず、存在しない規則性を出力することがある」ことを初めて系統的に示した結果となります☆
情報不足ではないにも関わらず誤った出力をする場合があるという事実は、LLM活用において大きなリスク要因となる可能性があります。
論文情報
論文タイトル： “The Idola Tribus of AI: Large Language Models tend to perceive order where none exists.” (Shin-nosuke Ishikawa, Masato Todo, Taiki Ogihara and Hirotsugu Ohba 2025)
採択会議： The 2025 Conference on Empirical Methods in Natural Language Processing (EMNLP 2025) Findings
発表日：2025年11月5日
LLMが自ら誤りと認識できる規則性を「存在する」と主張してしまうことがあるという、興味深い研究結果です。
生成AIを活用していく上で、このようなリスクをどう評価し、低減していくかが重要になりそうです。
豆蔵と立教大学による、生成AIの研究論文の紹介でした。