「Sim-to-Real」というワードを見かけることが少なくなった。シミュレーションによる仮想環境でAIモデルを学習させ、現実世界に適用するアプローチだ。
自動運転分野では、恐らくほぼすべての開発事業者がシミュレーション環境を活用した開発を進めている。自動運転×Sim-to-Realの現在地に迫る。
記事の目次
| 編集部おすすめサービス＜PR＞ | |
| 車業界への転職はパソナで！（転職エージェント） 転職後の平均年収837〜1,015万円！今すぐ無料登録を |  |
| タクシーアプリは「DiDi」（配車アプリ） クーポン超充実！「無料」のチャンスも！ | |
| 新車に定額で乗ろう！MOTA（車のカーリース） お好きな車が月1万円台！頭金・初期費用なし！ | |
| 自動車保険 スクエアbang！（一括見積もり） 「最も安い」自動車保険を選べる！見直すなら今！ | |
| 編集部おすすめサービス＜PR＞ | |
| パソナキャリア |  |
| 転職後の平均年収837〜1,015万円 | |
| タクシーアプリDiDi | |
| クーポンが充実！「乗車無料」チャンス | |
| MOTAカーリース | |
| お好きな車が月々1万円台から！ | |
| スクエアbang！ | |
| 「最も安い」自動車保険を提案！ | |
■自動運転×Sim-to-Real
実世界のみではAI学習は困難
自動運転は、AI・コンピュータが道路交通環境を正しく認識し、それをもとに安全走行を継続するよう正しく判断することで成立する。
そのためには、カメラやLiDARなどの車載センサーに映し出された道路や車両、白線、標識、歩行者、街路樹などのさまざまオブジェクトをいかにリアルタイムで正確に検知できるか、そして、歩行者や車両の動体予測を交えつつ自車両をどのように制御すれば安全を保つことができるかを瞬時に判断する能力が求められる。
この認識技術や判断技術を養うには、何度も何度も実際の道路を走行し、経験を積み重ねなくてはならない。同じルートであっても、毎回歩行者や周囲の車両の位置や挙動は変わる。道路の構造や信号機、白線などは動かないが、季節や時間帯などで見え方が変化する。
道路上に全く同じシチュエーションは存在せず、走行するたびに違う顔を覗かせる。無限とも言えるシチュエーションが存在するため、安全な道路交通方法をAIに学ばせるためには、繰り返し何度も走行し、可能な限りあらゆる環境を経験させなければならないのだ。
しかし、この走行実証を効果的に行うためには多くの車両が必要になる。レベル4水準に達するまでは各車両にドライバー（オペレーター）も必要で、相当なコストを強いられる。かと言って、1台だけで実証を行っても収集できるデータは限られ、時間ばかりが消費されていく。自動運転開発に多額の資金や時間が必要な理由の一つと言えるだろう。
シミュレーション技術でAI学習を効果的に
そこで登場するのがシミュレーションだ。コンピュータ内に仮想の道路環境を構築し、そこで走行実証を繰り返すのだ。
実環境の再現性などに課題はあるものの、コンピュータ内であればリソースが許す限り好きなだけ走行経験を積み重ねることができる。コンピュータ内でAIをある程度鍛え、それを実世界で試用し、新たな課題を明確にしたうえで再度コンピュータで……といった工程を繰り返し、効率的に自動運転システムの能力向上を図る。
これが「Sim-to-Real（Simulation-to-Real-world）」だ。コンピュータを活用した仮想空間を活用することで、短時間で低コスト、安全に自動運転システムの訓練を行い、その成果を実世界に適用するアプローチだ。
レアケースの学習も可能に
シミュレーションを導入するメリットは、時間やコスト、安全性だけではない。仮想空間ゆえ、さまざまなシチュエーションを構築し、弱点に特化した訓練を行うことができる。
例えば、交差点における走行能力を高めたい場合、仮想空間内の交差点でさまざまなシーンを構築し、何度も繰り返し走行して自動運転システムを強化する。工事現場や歩行者の急な飛び出しなど、レアケースを設定して経験を積み重ねることもできる。使用する車種やセンサーも自由に設定できる。
実世界におけるリアルな実証では、レアケースはめったに遭遇しないためこれに特化した開発を進めるのは困難だが、シミュレーション環境では好きなだけ訓練することができるのは大きな利点と言えそうだ。
高い再現性とカスタマイズ性が課題に
利便性の高いシミュレーション開発だが、課題もある。実世界の再現性とカスタマイズ性だ。実世界同様の環境を忠実に再現する能力と、そこに手を加えるカスタマイズ性の両立が難しいという。
リアルな環境を重視し、カメラ映像をそのまま取り込んだような再現性の高いシミュレーション環境は理想的だが、さまざまなシナリオを無限に生成するのは困難という。
一方、カスタマイズしやすいよう道路環境を抽象化したシミュレーションは、やはり再現性に欠ける面を否めず、細かな部分で実世界との相違が浮き彫りになるという。
シミュレーション環境内における他の交通参加者の挙動も課題が残る。多くの場合、周囲の車両や歩行者などはあらかじめプログラムされた行動を行うよう設計されており、意思をもって予測不可能な動きをすることはない。
他の交通参加者が常に予測の範疇で行動しているような環境では、想定外の事態に柔軟に対応可能な自動運転システムは構築できず、一定水準以上の高度化は望めない。より高度なシステム開発を望むなら、他の交通参加者もそれぞれ何らかの意思を持って自律移動するようなシミュレーション環境が必要と思われる。
シミュレーション技術の高度化は必要不可欠
シミュレーション技術は自動運転開発に必要不可欠なものとなっており、ソリューション化してビジネスしている企業も少なくない。
ただ、自動運転開発の主流がルールベースからより高度なエンドツーエンドモデル（E2E）へ移行したことで、シミュレータに求められる要素も高度化し始めたようだ。
ルールベースはあらかじめ設定した領域内において自動運転を可能とすればよいため、多少荒めのシミュレーション環境下でも学習を進めることができる。しかし、制限の縛りがない自動運転を目指すエンドツーエンドモデルにおいては、高い再現性とカスタマイズ性がより強く求められることになる。
リアルでカスタマイズ性に富み、周囲の車両や歩行者なども意思があるかのように自律移動するシミュレーション環境の構築が、今後の開発競争の肝となりそうだ。
■自動運転シミュレーション技術に関する取り組み
Waymoは太陽まで往復100回超の距離をシミュレーション
自動運転開発をリードし続けるグーグル系Waymoも、シミュレーション開発を多用してシステムの能力を高めている。
同社によると、自動運転システム「Waymo Driver」はリアルタイムで収集した情報に加え、2,000 万マイルを超える実走行と 200 億マイル以上に及ぶシミュレーション走行で培った経験をもとに、AI を活用して他の道路使用者の行動を予測している。
自動車は、自転車や歩行者、その他の障害物とは動き方が異なることを理解したうえで、他の道路使用者が取る可能性があるさまざまな選択肢を一瞬で推測できるという。
200 億マイル＝320億キロメートルだ。もはや天文学的数字のためピンとこないが、参考までに、地球から太陽までの距離が約1億5,000万キロだ。つまり、太陽まで往復100回超の距離を走行しているのだ。
単純計算となるが、約10年間で320億キロメートルとすると、1日当たり約1,000万キロ走行していることとなる。月（地球からの距離約38万キロ）を毎日13往復している計算だ。
実走行距離2,000 万マイル＝約3,200万キロメートルもとてつもない数字だが、このシミュレーションの裏打ちがあるからこそ世界最高水準の自動運転を実現できていると言えるだろう。
【参考】関連記事「月往復10,000回分を自動運転で仮想走行 グーグル系ウェイモ」も参照。
テスラもシミュレータでFSDの自動運転化を促進
BEVメーカーとして自動運転分野でも名を馳せる米テスラも、シミュレーション技術でシステムの高度化を図っている。
同社は、自車オーナーから匿名で収集した膨大な走行データを蓄積し、FSD（フルセルフドライビング スーパーバイズド）のトレーニングを行っている。600万台以上あるフリートから100年分以上の時間に相当するデータが集まっているという。
こうした不特定多数のデータ群を活用して自動運転開発を行うには、コンピュータによるシミュレーション環境下での訓練が必須になるのは言うまでもないことだ。
テスラのネットワークは車載カメラの画像を分析し、セマンティックセグメンテーション、物体検出、単眼深度推定を行う。また、すべてのカメラからビデオを取得し、道路レイアウトや静的インフラストラクチャ、3Dオブジェクトをトップダウンビューで俯瞰図として直接出力する。
数百万台の車両からリアルタイムで繰り返し情報を得て、多岐に渡るシナリオから学習を進めており、同社によると、オートパイロットニューラルネットワークを完全に構築するには、トレーニングに70,000 GPUの時間がかかる48のネットワークが必要で、これらを合わせタイムステップごとに1,000個の異なるテンソル（予測）を出力するという。
【参考】関連記事「テスラ、自動運転ソフトウェアが「優秀すぎる」がゆえの悩み」も参照。
Turingは3DGS技術活用したシミュレータを開発
国内スタートアップのTuringも自動運転シミュレータ開発に本格着手したようだ。同社の技術ブログによると、自動運転開発チームでは、以前からよく使われるCARLAシミュレータや簡易的なシミュレータなどの検証を行っていたという。
エンドツーエンドのモデル開発を進める同社は、強化学習を適用する難しさに直面したようで、リアルなカメラ画像をシミュレーションでき、かつ豊富なシーンを持つシミュレータが存在しないという点が、エンドツーエンド自動運転における強化学習の大きな課題として浮上したという。
自動運転開発が進むにつれ高性能なシミュレータの必要性が社内で高まり、2025年に3D Gaussian Splatting （3DGS）技術を活用した自動運転シミュレータ開発に本格着手している。3DGSは、複数の写真からリアルな3D空間を生成・再現する最新技術だ。
実際の走行動画からシーンを構築するため、学習したシーンしか使用できないメリットはあるものの、
現状の限られたリソースの中で明確なプロダクト要件を満たす合理的アプローチとして選択したようだ。
▼Turing Tech Talk #27 デジタルから実世界へ：強化学習で切り拓く完全自動運転への道筋
https://tur.ing/turipo/dZuTXCEQ
ティアフォーはデジタルツインシミュレータ「AWSIM」を開発
ティアフォーは、テストの目的や用途に応じて、プランニングシミュレータとリプレイシミュレータなどを活用しているようだ。
プランニングシミュレータは、Autowareのプランニング機能が正しい経路を出力して決められた道路を正しく走行できるかを確かめるもので、リプレイシミュレータは実際の道路で計測車両を使って取得したセンサーデータを用いて、そのデータをAutowareに入力することで動作を再現するものだ。
この2つのシミュレータにはメリット、デメリットがあるため、通常はこの2つを併用するが、二重の手間がかかるほか自動運転全体の動作確認は実車テストに頼らざるを得ない側面が残るという。
そこで同社は、現実世界全体を再現できるデジタルツインシミュレータ「AWSIM」の開発を進めているそうだ。コンピュータ上の仮想空間をAutowareで走行する自動運転車が、LiDARによって仮想空間を捉える様子を再現でき、これによりAutoware全体を対象にした高度なシミュレーションテストを行うことができるという。
Helm.aiは無制限にシナリオ生成が可能なソリューションを製品化
ホンダが出資する米スタートアップHelm.aiは、ADASからレベル4自動運転までカバーするAIファーストの シミュレーションモデルを発表している。
教師なし学習のAI開発を手掛ける同社は、現実世界の運転シーン（拡張現実）を変更する機能や、合成シーンを作製して自動運転システムのトレーニングと検証用のラベル付きシナリオを無制限に生成可能な「GenSim-2」を製品化している。
AI ベースのシミュレーションによって無制限のシナリオ生成が可能になり、従来の物理ベースのシミュレータで一般的だった手作業によるシーン作成の必要性がなく、変更を可能にしながら超リアルで詳細なシーンを再構築できるという。
困難な照明条件や複雑な道路形状、異常な障害物など、レアで複雑なコーナーケースのシナリオを大規模に効率的に解決することができ、シンプルな入力プロンプトを使用して、運用設計ドメインのさまざまな運転シナリオを迅速に作製できるため、開発プロセスを大幅に効率化することもできるとしている。
非常にリアルな外観と動的シーンモデリングを備えた予測ビデオシーケンスを生成できる「VidGen-2」なども製品化している。
【参考】関連記事「自動運転、生成AIが「検証用動画」を無限に作成！米Helm.aiが発表」も参照。
■【まとめ】シミュレーション技術の重要性が増す
自動運転開発の主流がエンドツーエンドモデルに移行し始めたことで、シミュレーション技術のさらなる高度化も不可欠となっているようだ。
トップランナークラスの自動運転開発事業者は自らシミュレーション開発も一体的に手掛けており、その技術開発力が自動運転能力や開発スピードにそのまま表れる。
いかに現実世界で多くのデータを収集できるか。そして、そのデータを仮想空間に落とし込んだうえでいかに有効活用できるか。開発競争はまだまだ続きそうだ。
【参考】関連記事としては「自動運転レベルの定義とは？【0･1･2･3･4･5の解説表付き】」も参照。
