LiDAR（ライダー）やカメラなどの車載センサーが目となり、周囲の状況をリアルタイムで検知しながら走行する自動運転車。これらのセンサーが生成したデータを脳であるAI（人工知能）が解析し、車載ストレージに保存されている高精度マップとも突き合わせながら、安全な走行を実現する。
手動運転の場合、人間の目が立体視した情報をもとにドライバーの脳が自動車を制御するが、自動運転車におけるAIには各種センサーのデータはどのように見えているのか。特に、レーザー光によるLiDARのデータは謎が深いイメージがある。
今回は、LiDAR開発を手掛ける企業などがYouTubeにアップした動画を参照しながら、その謎に迫っていく。
【参考】センサーデータは前述の通り、車載ストレージに保存されている高精度マップと突き合わせて活用される。そのため自動運転車ではセンサーの選定だけではなく、車載ストレージの選定も非常に重要な要素となる。Western Digitalでは現在、車載システム開発におけるストレージ選定のために、Western Digital製のフラッシュストレージを検証用に提供するプログラムを実施中だ。詳しくは「こちら」から確認できる。この機会に試してみるのも1つの選択肢だろう。
記事の目次
- ■LiDARとは？
- ■Alex Kushleyev「Visualization of LIDAR data」（2011年6月／1分12秒）
- ■アルゴ「VLS-128-AP（ALPHA PRIME）｜Velodyne Lidar 超高解像度3D-LiDAR」（2019年10月／2分19秒）
- ■ZMP「コニカミノルタ製3D LiDAR（3Dレーザーレーダー） 車載時計測結果」（2017年4月／昼間2分13秒・夜間1分53秒）
- ■RoboSense「RoboSense RS-LiDAR-M1 Smart(Smart Sensor Version) real-time point cloud result」（2020年1月／1分52秒）
- ■光響「3Dレーザースキャナを、車に乗せて京都駅まで走ってみた！」（20019年3月／5分6秒）
- ■ダイナミックマップ基盤「High precision 3D Positioning Information Sample Data」（2018年1月／3分22秒）
- ■Blickfeld「Blickfeld LiDAR for 3D Mapping (SLAM)」（2018年7月／0分51秒）
- ■ヴィッツ「センサフュージョン(積雪寒冷地域向けの自動運転技術)」（2020年4月／1分12秒）
- ■京セラ「カメラ-LIDARフュージョンセンサ」（2020年3月／2分3秒）
- ■【まとめ】LiDARやカメラなどのデータを融合するセンサーフュージョン技術に注目
■LiDARとは？
LiDARは「Light Detection and Ranging」の略で、「レーザーレーダー」や「赤外線レーザースキャナー」と呼ばれることもある。
LiDARが照射したレーザー光が対象物に当たって跳ね返り、戻ってくるまでの時間を計測することで、対象範囲に存在する物体の有無や形状、物体までの距離を測定することができる。
それぞれのレーザー光が反射した地点は「点」で表わされ、レーザー光を周囲にくまなく照射することで細かい点状のいわゆる「ドット絵」が完成する。これが点群データと呼ばれるものだ。X座標、Y座標、Z座標といった感じで3次元の点群データを計測・作製することで、周囲の状況や位置関係などを立体的に把握することが可能になる。
自動運転においては、走行しながら車両の周囲360度に随時レーザー光を照射することで、対象範囲の物体を網羅した立体的な3次元の点群を作製していく。戻ってくる光の強度により対象物を判別することが可能なほか、フレームレートも毎秒10フレーム以上が一般的となっており、動体を認識することも可能だ。
自動運転車は、走行しながらこうした点群データを作製し続ける。つまり、立体的な3次元マップを作りながら走行しているのだ。
また、自動運転において重要な基盤となる高精度3次元マップも、LiDARを活用して作製されている。この高精度3次元マップと、車載LiDARなどのセンサーがリアルタイムで検知したデータを突合させながら走行することで正確な自車位置の確認などを行うことができ、より精度の高い自動運転が可能となる。
■Alex Kushleyev「Visualization of LIDAR data」（2011年6月／1分12秒）
米国防高等研究計画局（DARPA）主催のロボットカーレース「DARPAグランド・チャレンジ」に出場経験のあるエンジニアのAlex Kushleyev氏は、同レースに向けた準備の一環として2007年ごろに作製したLiDARデータをYouTubeにアップしている。
動画は「Visualization of LIDAR data」（1分12秒）というタイトルで、2011年6月にアップ。市街地を走行する自動車に搭載されたLiDARのデータを俯瞰的に収めたもので、LiDARは米Velodyne Lidar製を使用している。
自動車を中心に同心円状の点群が広がるほか、周囲の車両や歩行者、建物などがしっかりとマッピングされていることがよく分かる。部分的にRGB値の属性が付加され、カラー表示されている。
10年以上前のデータながら、しっかりと周囲の状況を検知しているのがよく分かる。Velodyne LidarがLiDAR開発の第一人者と言われる所以がここに詰まっていそうだ。
■アルゴ「VLS-128-AP（ALPHA PRIME）｜Velodyne Lidar 超高解像度3D-LiDAR」（2019年10月／2分19秒）
最新センサーの輸入や販売などを手掛けるアルゴは、Velodyne Lidar製の「VLS-128-AP」のプロモーション動画をアップしている。
VLS-128-APは128個のレーザー送受信センサーを内蔵し、360度全方位を計測することができる。測定距離は約250メートルに及ぶという。
動画は一部合成のようだが、カラーリングされたLiDARデータが交通状況や街並み、歩行者などをしっかりと計測している。並走するトラック側面に描かれた文字もはっきり読み取れるほどだ。
前出の同社製LiDARの動画と比較すると、LiDARの進化の度合いがよく分かる。
■ZMP「コニカミノルタ製3D LiDAR（3Dレーザーレーダー） 車載時計測結果」（2017年4月／昼間2分13秒・夜間1分53秒）
自動運転開発を手掛けるZMPは、コニカミノルタ製のLiDARを用いた実際の計測動画を昼間と夜間に分けてアップしている。
動画は上下分割で、上に車載カメラの映像、下にLiDARの映像を流し、実際の交通状況と比較しやすく仕上げている。
昼間の映像では、周囲の車両やガードレール、路面の標識などもはっきり計測しているほか、横断歩道で自転車を押す人やベビーカーを押す人、手に鞄を下げて歩いている人などの姿も確認できる。一方の夜間映像も高精細で、フロントライトなどの干渉を受けずしっかりと周囲の様子を映し出している。
■RoboSense「RoboSense RS-LiDAR-M1 Smart(Smart Sensor Version) real-time point cloud result」（2020年1月／1分52秒）
スマートLiDARセンサーシステムの開発を手掛ける中国スタートアップのRoboSenseは、自社開発LiDAR「RS-LiDAR-M1」の機能を紹介する動画をアップしている。
M1はMEMSソリッドステート型で、検出した物体を認識するAIアルゴリズムが組み込まれているのが特徴だ。
動画は、LiDARの計測画面を中心に比較用の車載カメラの映像も同時に映し出している。LiDARの計測画面では、周囲の車両1台1台が直方体のボックスに囲まれ、乗用車は赤、トラックは青で表示されている。また、ボックスの上にはそれぞれ「1484－car<0.91>」のような記号が付加されているのが分かる。
LiDARが取得したデータに映し出された車両や歩行者などのオブジェクトを1つずつ判別するのはAIの役目となるが、同製品には障害物検出や分類、動的オブジェクト、空間検出などさまざまな解析を行うAIアルゴリズムがすでに備わっているのだ。
■光響「3Dレーザースキャナを、車に乗せて京都駅まで走ってみた！」（20019年3月／5分6秒）
光学関連製品を取り扱う光響は、中国Hesai製のLiDARを車両に取り付け、実際に京都市下京区の同社から東本願寺、京都駅まで走行する様子を収めた動画をアップしている。
俯瞰映像が中心で、車両の進行に合わせて周囲の構造物などが計測・3Dマッピング化されていく様子が非常に分かりやすく収められている。
200メートル先まで検出可能なLiDARのため、前方のみならず建物が立ち並ぶ真横方向のマッピングもしっかり行われている点にも注目だ。
【参考】光響の取り組みについては「京都の光響、中国Hesai Photonics製LiDARの販売開始 「自動運転の目」であるコアセンサー」も参照。
■ダイナミックマップ基盤「High precision 3D Positioning Information Sample Data」（2018年1月／3分22秒）
車載LiDARがリアルタイムに検知しているデータではないが、事前に作製された高精度3次元地図がどのように活用されているかがよく分かる映像もアップされている。自動運転車の脳となるAIが水面下で参照しているデータ群だ。
ダイナミックマップの開発を担うダイナミックマップ基盤は、こうした高精度3次元地図のサンプルデータを収録した「High precision 3D Positioning Information Sample Data」を2018年1月にアップしている。
首都高速都心環状線（14.8キロ）を走行する車両のカメラ映像と高精度3次元地図を随時切り替えながら収めた内容で、まるでモノクロ映像を見ているかのような高精細な3Dマップを確認することができる。
マップのベースはモノクロだが、区画線が水色、路肩縁が赤色、車線の中心を表す仮想ラインが黄色、道路標識が緑色など、実在地物や仮想地物がカラー別で表示されている。トンネル内などもしっかりとマッピングされているようだ。
自動運転システムは、こういったラインを読み取り、車載センサーのデータと突合させることで車線内をしっかりとキープしながら走行するのだ。
【参考】ダイナミックマップについては「【最新版】自動運転向けダイナミックマップの開発企業まとめ 地図データ作製の進捗は？」も参照。
■Blickfeld「Blickfeld LiDAR for 3D Mapping (SLAM)」（2018年7月／0分51秒）
LiDAR開発を手掛ける独Blickfeld LiDARも、LiDARによるマッピングの様子を収めた動画をアップしている。
動画は、モビリティに搭載されたLiDARが立体的な構造物の中を走行しているような場面で始まる。中盤以降は、その検出の様子を俯瞰で見た内容となっており、計測が進むにつれ、真っ黒い空間に徐々に3次元の地形・構造物が浮き出てくる様子が収められている。
【参考】Blickfeldの取り組みについては「独Blickfeldの最先端3D LiDAR、日本国内で販売開始 自動運転の目、高精度地図の作製にも」も参照。
■ヴィッツ「センサフュージョン(積雪寒冷地域向けの自動運転技術)」（2020年4月／1分12秒）
組込みソフトウェア開発などを手掛けるヴィッツは、雪深い積雪地域における自動運転技術として、LiDARによる障害物検出とカメラ画像のセマンティックセグメンテーションによる車道検出、サーモカメラによる轍（わだち）検出など複数のセンサーを活用し、より精度の高い認識技術を実現した動画をアップしている。
動画では、車載カメラの映像を含め4つのセンサー画面を同時に映し出している。カメラ映像ではなかなか判別しにくい轍をサーモカメラがしっかりと捉えている様子や、LiDARが周囲の草木などを検知している様子などが収められている。
降り積もった雪によって道路上の車線などが白一色になる積雪地域では、従来の自動運転システムが機能しないケースも多い。こうした積雪地域向けの自動運転開発にも要注目だ。
【参考】ヴィッツの取り組みについては「ヴィッツ、自動運転車など活用の「Town MaaS」実現へ調査開始 北海道や北大が協力」も参照。
■京セラ「カメラ-LIDARフュージョンセンサ」（2020年3月／2分3秒）
LiDARデータは、異なるセンサー特性を持つカメラのデータと組み合わせることでその能力をさらに高めることができる。LiDARとカメラを1つのユニットにまとめたフュージョンセンサーシステムを開発する京セラは、この技術を「人の眼を超えるセンシング技術」としてその特徴を紹介する動画をアップしている。
LiDARは物体までの距離や形状などを計測することが得意だが、その物体が何かを把握することを苦手とする。一方のカメラは、形状や色を明確に区別することができ、その物体が何かを識別するのが得意だが、特に単眼では距離を計測することが苦手だ。
それゆえ、多くの自動運転車はLiDARとカメラ両方を備え、それぞれの特性を生かしてデータを補完し合いながら計測システムの精度を高めている。
ただ、LiDARとカメラは別々のユニットとして組まれることが多く、そのため表示されるデータを合成してもわずかな視差（ずれ）が生じやすいという。こうした課題を解決するため同社はLiDARとカメラをワンユニット化した製品の開発を進めているのだ。
動画では、カメラで周辺の車両を認識し、車両だけをLiDARで計測して距離を算出する技術や、先にLiDARで物体を検出し、その物体をカメラで確認する技術などが紹介されており、相互制御することでシーンに応じたデータの取得が可能としている。
【参考】京セラの取り組みについては「AIカメラ、フュージョンセンサ…京セラの自動運転技術、ラスベガス開催のCESでPR」も参照。
■【まとめ】LiDARやカメラなどのデータを融合するセンサーフュージョン技術に注目
LiDARが3Dマッピングソリューションとして重宝されるのがよく分かった。自動運転においては、主に事前マッピングの用途と、広範囲にわたる周囲の状況をリアルタイムで検出可能なセンサーとしての用途の2通りで用いられている。
開発の主流は後者で、カメラなど他のセンサーと補完し合いながらいかに検出精度を高めていくかが問われている。自動運転に必須とされるLiDARだが、現状はLiDARのみではセンシングに不足が生じるのだ。
各センサーの長所を生かすべく、いかにセンサーフュージョン技術を高めていくかが重要になりそうだが、さまざまなデータを取りまとめて判断を下すAIは、ある意味すでに人間の能力を超えているのかもしれない。
＞＞【特別対談】「大容量×信頼性」、車載業界屈指の半導体メーカーが見据える自動運転の未来
＞＞特集第１回：自動運転車のデータ生成「1日767TB」説 そのワケは？
＞＞特集第２回：桜前線も計測！"データ収集装置"としての自動運転車の有望性
＞＞特集第３回：自動運転車の最先端ストレージに求められる8つの性能
＞＞特集第４回：【対談】自動運転実現の鍵は「車載ストレージ」の進化にあり！
＞＞特集第６回：自動運転の安全安心の鍵は「乗員のリアルタイムデータ」にあり
＞＞特集第７回：【対談】車載ストレージ、タクシーのデータビジネス下支え！
＞＞特集第８回：自動運転、車載機器の最重要5パーツをピックアップ！
＞＞特集第９回：AI自動運転用地図データ、どこまで作製は進んでいる？
＞＞特集第11回：改ざん阻止！自動運転業界がブロックチェーン導入を歓迎すべき理由
＞＞特集第12回：自動運転時代はクラウドサービス企業の成長期
＞＞特集第15回：日本、自動運転レベル4はいつから？ODD拡大ではデータの網羅性も鍵
＞＞特集第16回：日本、自動運転タクシーはいつ実現？リアルタイムデータ解析で安全走行
＞＞特集第17回：【対談】自動運転､ODM企業向け「リファレンス」の確立が鍵
＞＞特集第18回：パートナーとしての自動運転車 様々な「データ」を教えてくれる？
＞＞特集第19回：自動運転車の各活用方法とデータ解析による進化の方向性
＞＞特集第20回：自律航行ドローン、安全飛行のために検知すべきデータや技術は？
＞＞特集第21回：自動運転車、AIの「性格」も選べるように？人の運転データを学習
＞＞特集第22回：【対談】2020年代は「タクシー×データ」で革新が起きる！
＞＞自動運転白書第1弾：自動運転領域に参入している日本企業など一覧
＞＞特集第23回：自動運転に必須の3Dマップ、どんなデータが集積されている？
＞＞特集第24回：解禁されたレベル3、自動運行装置の作動データの保存ルールは？
＞＞自動運転白書第2弾：自動運転関連の実証実験等に参加している日本企業一覧
＞＞特集第25回：自動運転、企業の垣根を越えて共有させるべきデータ群は？
＞＞自動運転白書第3弾：自動運転業界における国内の主要人物一覧
＞＞特集第26回：コロナで早期実現！？自動運転宅配サービスに必要なデータは？
＞＞特集第27回：自動運転業界、「データセット公開」に乗り出す企業たち
＞＞特集第28回：自動運転と「データ通信」の実証実験、過去の事例まとめ
＞＞特集第29回：自動車ビッグデータの活用に取り組む「AECC」とは？
＞＞特集第31回：自動運転におけるデータ処理は「クラウド側」「エッジ側」の2パターン
＞＞特集第32回：自動車×ビッグデータ、自動運転領域を含めた活用事例まとめ
＞＞特集第33回：自動運転の「脳」には、車両周辺はどうデータ化されて見えている？
＞＞特集第34回：自動バレーパーキングの仕組みや、やり取りされるデータは？
＞＞特集第35回：検証用に車載用フラッシュストレージを提供！Western Digitalがキャンペーンプログラム
＞＞特集第36回：自動運転、「心臓部」であるストレージに信頼性・堅牢性が必要な理由は？
＞＞特集第37回：自動運転レベル3の「罠」、解決の鍵はドラレコにあり？
＞＞特集第38回：自動運転時代、ドラレコが進化！求められる性能は？
＞＞特集第40回：AEC-Q100とは？車載ストレージ関連知識
＞＞特集第41回：自動運転で使う高精度3D地図データ、その作製方法は？
＞＞特集第42回：ADASで必要とされるデータは？車載ストレージ選びも鍵
＞＞特集第43回：V2X通信でやり取りされるデータの種類は？
＞＞特集第45回：自動運転の実証実験で活用されるデータ通信規格「ローカル5G」とは？