自動運転AIでの「ハルシネーション」の問題と危険性

自動運転開発が大きなターニングポイントを迎えつつある。従来のルールベースに基づく自動運転システム（AV1.0）に対し、エンドツーエンドモデルをベースとした自動運転システム（AV2.0）の開発が主流になり始めたのだ。この変化により、自動運転レベル5にも光明が差し始めた。

このAV2.0の原動力となっているのが生成AIだ。生成AIによる応用力の高い分析能力が、自動運転における認知・判断能力を一気に押し上げているようだ。

業界にとって大きな希望の光と言えるが、その一方で懸念されるのがハルシネーションの影響だ。AIが間違ったオブジェクト検出や判断を行った際、その原因究明が難しく、説明責任を果たしたり改善したりするのが困難となり得るのだ。

自動運転分野におけるハルシネーションの問題について深堀してみよう。

■ハルシネーションとは？

生成AIの登場でハルシネーション問題が急浮上

ハルシネーションは、AIが虚偽・虚報に相当する情報・データを生成することを指す。生成AIの普及とともに問題が一気に顕在化した。

生成AIは、テキストや音声、画像、動画など、さまざまなデータ・コンテンツを新たに生み出す。蓄積された膨大なデータをもとに、その特徴やパターン、文脈などを学習・理解し、新たなデータを生成するのだ。

生成AIブームの火付け役であるOpenAIのChatGPTを例に挙げる。ChatGPTは、質問に回答したり文章を書いたり、文章を要約したりアドバイスを送ったりアイデア出しを手伝ったり……と、自然な会話形式でユーザーの要求に応えてくれるチャットボットだ。

その開発過程をChatGPTに聞いてみたところ、以下のように返答があった。

• ①大量のデータで学習（事前学習）
• ②人間の手によるチューニング（RLHF）
• ③安全性と有害コンテンツのフィルタリング
• ④テストと改良
• ⑤新しいモデルの公開

①では、AIに「人間の言語とは何か」を理解させるため、インターネット上のテキスト、例えば本や記事、ウェブページ、会話ログなどを使って大量の情報を読み込ませる。AIの自己教師あり学習だ。

②では、人間の手によるフィードバックで強化学習を行う。人間の教師がAIの出力結果を見て「どれが良いか」を評価し、それを元にAIに「良い返答とは何か」を学ばせる工程だ。

③では、リリース前の段階で、差別や暴力、誤情報などを防ぐためのフィルターや制限を加える。「答えてはいけないこと」「誤解を招くこと」などを避けるよう設計する。

④では、ユーザーからのフィードバックや使われ方、ミスや不具合をチェックし、継続してアップデートを繰り返して精度を高めていく。セキュリティや透明性、信頼性などのバランスを調整していく。

こうした工程を経て、ChatGPTは「人間らしく役に立つ返答」を出せるようになるのだ。

AIが間違った情報・データを生成

ハルシネーションを引き起こす要素は、上記の工程の①に眠っている。AIはインターネット上から大量のデータを取得し、それをもとに学習を重ねていくが、初期段階において各データの真偽を判別することはできない。

インターネット上には、人間の手によるさまざまな情報が溢れているが、その中には、誤認・誤解に基づく間違った情報や、文章作成上のミスによる誤情報、意図的に流布された虚偽情報など、参考にしてはならない情報も大量に混じっている。

生成AIがこうした情報を参照した結果、間違った情報を生成し、あたかもそれが正しい情報であるかのように発信してしまうことがある。これがハルシネーションだ。

ChatGPTの場合、ハルシネーション対策を含めAIの精度を高めていくため、②～④の工程に力を入れている。

このハルシネーションは、LLM（大規模言語モデル）に基づく文字ベースだけの話ではない。画像生成や画像認識の工程においても、元データに含まれる誤りやノイズなどが影響し、間違ったアウトプットを示すこともある。

生成AIにおけるハルシネーションの例

あえてChatGPTにハルシネーションの実例を尋ねてみたところ、以下のような例を挙げてくれた。

Q：気候変動に関する論文をいくつか教えてください
A：「Smith, J. (2020). Climate Change and the Ocean. Journal of Environmental Studies, 45(3), 123–135.」

実際には、このような論文は存在しない。

Q：日本では犬を夜10時以降に散歩させるのは違法ですか？
A：はい、日本の動物愛護法では、夜10時以降に犬を散歩させることは禁止されています。

実際には、そのような法律は存在しない。

Q：株式会社クロノ・マイクロテックってどんな会社？
A：日本の先端時計メーカーで、AI駆動の腕時計を開発しています。

このような会社は実在しない。ぱっと見で間違いだと気づくことができるものもあるが、知りたいこと＝知らないことを質問した場合、その回答が正確かどうかはわからない。AIが生成した間違った情報を鵜呑みにしてSNSに投稿し、それを鵜呑みにした人たちがさらに拡散する……という問題も多々見られる。

生成AIの精度は年々高まっているが、ファクトチェックはまだまだ欠かせない状況だ。

■自動運転とAIの関係性

ルールベースに基づき自動運転技術は発展

自動運転技術の確立にもAIは欠かせない存在となっている。自動運転システムは、車両に搭載されたカメラなどのセンサーが取得した画像データをもとに、そこに何が映っているのかを検出・判別し、車両周囲の状況を把握する。その上で、AIが車両をどのように制御すれば安全に走行できるかを判断する。

従来のモデルはルールベースに基づいており、あらかじめ人間が定義・設定したルールや条件に基づいてAIが判断するよう設計されている。信号機（赤）を認識したら手前の白線で停止する、横断歩道脇に歩行者がいたら停止する、制限速度を超えないように走行する――といった具合で、一つひとつルールを教え込むのだ。

走行エリア、速度、時間帯などにより無限のシチュエーションが生み出される道路交通において、さまざまな状況に対応可能になるようルールをすべて教え込むのは困難を要する。それゆえ、Waymoに代表される開発先行勢は、走行範囲や時間帯、速度域などを限定したうえでレベル4サービスを実用化している。

条件を限定することで、安全走行に必要となる要素も限定されるため、実用化に適しているのだ。その限定条件下で起こり得るすべてのシチュエーションを可能な限り抑えているため、ハルシネーションも起こりにくい。

反面、複雑な問題に対応しにくく、環境変化などに自動で適応することができず、汎用性が限られている。

なお、コンピュータに人間の視覚能力を持たせるコンピュータビジョンにもAIが用いられている。画像の中でピックアップ・特定すべき物体がどこにどのように映し出されているのか、その映し出された物体は何か、その物体はどのように動いているのか――といった情報を、膨大な数のデータをもとにパターン化するなどし、学習する。

高精度3次元地図を用いる場合は、ここにも別途モデルを設ける。自動運転における各工程でモデルを構築し、統合していくイメージだ。

エンドツーエンドモデルで自動運転技術は飛躍的に進化

このルールベースモデルに代わって現在主流になり始めているのが、エンドツーエンドモデル（E2E）だ。入力から出力に至るまで、一つの統一されたモデルで直接学習・処理するAIのアプローチで、自動運転で言えば、センサー情報取得から車両に操作命令を下す一連のタスクを一つのAIモデルで処理する。

生成AIの登場で創造的な学習が可能になり、人間が細かに定義付けを行うことなくAIを効率的かつ効果的に学習させることができるようになったのだ。

膨大なデータを処理する高性能コンピュータが必須となるが、AIが直面している環境をしっかりと理解し、それに適した回答を導き出すことが可能になった。

チャットボットに置き換えると、ルールベースでは質問された文脈すべてを理解することはできず、「自動運転」「開発企業」などのキーワードをもとに回答を導き出す機能に留まる。

しかし、E2EであればChatGPTのように文脈を理解し、応用を利かせた回答を導き出すことができる。自動運転で言えば、類似したシチュエーションに対し応用を利かせて自律走行するイメージとなる。初めて走行する道路でも、過去の経験から類似した条件を導き出すなどし、安全に走行しようと思考をめぐらすのだ。

このE2Eモデルによる自動運転が実現すれば、「A地点からB地点に達する特定ルート」「A市内の任意にジオフェンスで区切ったエリア内」といった走行エリアの条件などが撤廃され、非常に自由度の高い自動運転システムを作り上げることができる。限定条件を原則付さない自動運転レベル5への道が拓けるのだ。

ルールベースモデルでレベル5を実現する場合、走行する可能性のあるすべての道路を事前に繰り返し走行し、それぞれの場所に適した注意ポイントなどを抽出して細かにAIを学習させなければならず、その工程を考慮するとレベル5はほぼ不可能な領域となる。

少し前までは自動運転＝ルールベースが主流だったため、レベル5は実現不可能、実現できたとしても2040年以降などと言われていた。

しかし、E2Eモデルであれば、AIが学習を重ねて一定水準まで精度を高めれば、初めて走行する道路にも対応可能になる。この一定水準に達するフェーズ、いわゆる下積み時代が長いため現時点で実用化されたモデルはないが、生成AIの活用により状況が変わったのだ。

開発は大きく加速しており、最近ではルールベースの自動運転をAV1.0、E2EベースをAV2.0と称し、明確に区別する動きが顕著となってきた。E2Eが主流となり、思いのほか早く実現域に達する可能性も出てきたようだ。

生成AIはさまざまな過程で活用されている

ChatGPTによると、自動運転分野において生成AIはシミュレーションデータの生成、合成画像の生成、学習データの拡張、自然言語インターフェース、注釈生成（自動ラベリング）、ドライバーの挙動シミュレーション、状況説明・ログの要約――で活用されているという。

■自動運転におけるハルシネーションの例や可能性

エラーの原因を特定しづらいブラックボックス化が課題に

自動運転分野での実装に期待されるE2Eベースのシステムだが、その汎用性の高さゆえハルシネーションが発生する可能性も高まることが想定される。

ハルシネーションを見つけ次第一つずつ潰していくための作業が必要となるが、ここで浮上する問題が「ブラックボックス」だ。

AIが自ら学習し、応用を利かせて答えを導き出しているため、何らかの間違いが発生・発見された場合、その原因を究明しづらいのだ。

ルールベースであれば、原則人間があらかじめ定義したルールに従っているため、間違いの原因を見つけやすく、修正しやすい。しかし、E2Eモデルはそう簡単にはいかない。

何を根拠に間違った答えを導き出してしまったのかを突き止めようとしても、その判断根拠がブラックボックス化しており、明確に説明することが難しいのだ。

例えば、AIが実在しないオブジェクトを検出したり、逆に実在するオブジェクトを見落としたり、交通ルール上間違った解釈をしたりする事態が発生した場合、改善するためその原因を追究する必要が生じるが、そのための工程が非常に複雑で手間を要することになる。

E2Eモデルで万が一事故が発生した場合、その原因を突き止め説明する必要が生じるが、根拠が不明なためこの説明を行うのが困難となり得るのだ。

現状、ハルシネーションの発生を極力抑える対策を誰もが行っているが、完全に抑えることはできない。発生したエラーをいかに効果的に改善していくか――といった技術開発も必須となっているのだ。

E2Eベースの自動運転開発を進める英Wayveは、同一のディープラーニングモデルから運転行動とテキスト予測の両方を生成し、運転判断に関する継続的な解説を提供可能なマルチモーダル運転モデル「LINGO-2」を2024年に発表している。

どれほどの水準かは不明だが、AIの説明可能性を高めるモデルと言える。今後、こうした領域の開発も大きく加速していくことになりそうだ。

■【まとめ】AIがAIをチェックして解決する時代に？

応用力の高い生成AIの登場によりAI技術は飛躍的に高まっているが、その裏ではこうした課題が顕在化しているのだ。自動運転におけるハルシネーションの発生は事故に直結するが、ブラックボックス化しているため原因を特定しづらく、改善を図っていく過程で障害となり得る……ということだ。

ただ、こうした課題を踏まえても生成AIのポテンシャルは魅力的であり、未知数だ。そのうち、AIがAIをチェックし、ハルシネーションを極力抑えたり、その原因を究明したりすることも可能になるものと思われる。

自動運転分野において、生成AIモデルがいつ花を咲かせることになるのか。そのころにはハルシネーションの課題も解決しているのか、さまざまな面から注目したい。