自動運転で画像センサーが重要なワケ　仕組みや役割を解説

画像内情報を判別、より高度な解析につなげる

自動運転ラボ編集部
-
このエントリーをはてなブックマークに追加
LINEで送る


自動運転において「目」の役割を担うカメラ。デジタルカメラやスマートフォンの普及によりカメラそのものが身近な存在となり、大半は日常の出来事や風景を切り取って記録する目的で使用されている。

しかし、自動運転に使用されるカメラの役割・目的は日常のカメラとは異なり、「記録」ではなく「センサー」としての機能が求められる。そこで重要な役割を果たすのが「画像センサー」だ。今回はこの画像センサーをピックアップし、仕組みや役割を解説していこう。


■画像センサーが果たす役割
画像センサーとは

画像センサーとは、カメラで捉えた映像から対象物の画像的な特徴を抽出し、基準データに対しての合否判定などを出力する装置のことだ。

車載用に限らずデジタルカメラの多くはCCD素子（Charge Coupled Device）やCMOS素子（Complementary Metal Oxide Semiconductor）などのイメージセンサーが使われており、撮影した物体の画像をデジタル信号に変換、演算する。これを基に、物体の面積や長さ、幅、色、位置、形状などの特徴を抽出し、設定された条件を元にOK・NG判定やデータ出力を行う。

少しだけわかりやすく言い換えれば、レンズが取り込んだ光の情報をイメージセンサーがデジタル化・電子信号化し、それを基に物体の検知など一定の判断や処理を行うのが画像センサーだ。一例として、工場における製品の異物混入や汚れの検出、色による仕分けなどを行うために活用することをイメージすればわかりやすいのではないだろうか。

その性質上、カメラやイメージセンサーと一体的に扱われることから、カメラシステム全体を指して画像センサーと呼ぶ場合もあれば、独自技術を備えた画像センサーシステム単体を指す場合もあるようだ。


自動運転における役割

自動運転において目の役割を果たすカメラ。人間であれば、目で見たものを経験や予測に基づいて自然に脳が解析して物体の判別などを行うが、機械にはそれができない。イメージセンサーがデジタル化した生画像は、個別に情報を与えられた各素子の集まりに過ぎず、そのままではただの画像でしかないのだ。

その情報の中から、位置や色などをもとに物体を割り出したり、複数のカメラによる差異や遠近法などを用いて距離を導き出したりすることで、はじめて周囲の車両や道路標識、白線などを識別することができる。

この識別した情報を基に、各フレームの対象物の動きから速度や移動方向、大きさを算出するなどさまざまな情報を具体化することで、初めて自動運転・ADAS（先進安全運転支援システム）に活用できるのだ。

■画像センサーを開発している企業
デンソー：センサー類を総合開発、他社との共同開発製品も

ミリ波レーダー、LiDARの開発も手掛けるデンソー。2016年に発表した小型のステレオ画像センサーは、左右2つのカメラを搭載することで対象物までの距離測定の正確性を向上し、緊急時の対車両、対歩行者の衝突回避支援ブレーキ機能、車線逸脱警報機能、さらにロービームとハイビームを自動で切り替えて夜間の視認性を向上させるオートハイビームなどの実現に役立つとしている。


2018年1月には、従来品に比べ体積を約4割小型化して搭載性を向上させた普及型の新型画像センサーを発表している。新たなレンズの開発、撮像素子の高感度化により、夜間の認識性能を向上させたほか、パターン認識の高精度化により画像認識性能を向上させることで、自転車の認識や三角形・四角形・八角形など日欧米の道路標識の認識に対応した。また、白線認識アルゴリズムの改良および道路端認識アルゴリズムの追加により、車線維持支援・車線逸脱抑制機能の適用範囲も拡大している。

このほか、リコーインダストリアルソリューションズと共同開発した車載用ステレオカメラなども商品化されている。

【参考】リコーとの共同開発製品については「リコーとデンソー、カメラでの路面解析で新技術　AI自動運転に活用期待」も参照。

ソニー：得意のイメージセンサーで車載向け製品開発を促進

2014年に車載向けイメージセンサーの商品化を発表して以降、車載向けを注力領域の一つとして位置付けているソニー。2014年には、闇夜に相当する低照度0.005ルクスの環境においても高画質なカラー映像の撮影を可能とする世界最高感度を実現した車載カメラ向けCMOSイメージセンサー「IMX224MQV」を商品化している。

2015年には、イメージセンサーを用いた測距において有効な「Time of Flight（ToF）方式」距離画像センサー技術を有するベルギーの「Softkinetic Systems S.A.（ソフトキネティックシステムズ）」社を買収。2017年には、ADAS（先進運転支援システム）用途の前方センシングカメラ向けに、業界最高解像度となる有効742万画素の「IMX324」を商品化し、サンプル出荷を開始した。IMX324は、米Intel傘下のMobileye（モービルアイ）が開発しているイメージプロセッサー「EyeQ4」「EyeQ5」と接続可能という。

このほか、AI（人工知能）を活用し、イメージセンサー内に画像処理ブロックを搭載したインテリジェントイメージセンサーの開発なども進めている。センサーチップ内で一定のAI処理を行うことで、その後に控える高度な認知処理をサポートすることが可能になるという。

【参考】ソニーの取り組みについては「1兆円戦略の真実…ソニーが自動車会社に!? 「自動運転で社会貢献」と吉田社長」も参照。

京セラ：LiDARと画像センサー一体化で高精度測定、ベロダインに迫る

光学・電子機器メーカーの京セラはLiDARと画像センサーを一体化した新型の高精度測距センサーモジュールの本格的な商品化に着手している。独自光学設計によるメカレスで高い信頼性と小型化を実現しており、カメラの画像データとLiDARの検知結果を組み合わせることで従来のLiDARでは検出が難しかった大きさの物体にも対応。100メートル先にある9センチメートルの大きさの物体を検知できるという。

測定・識別能力を表す分解能は世界最高レベルの0.05度で、ベロダイン社の製品に匹敵する性能を誇っている。今後、さらなる小型化やフレームレートの向上などに取り組み、2022年の供給を目指している。

【参考】京セラの画像センサーについては「京セラ、AI自動運転向けLiDARや画像センサーの提案強化　最大手ベロダインに匹敵？」も参照。

ZMP：ソフトウェア込みのステレオカメラパッケージ製品を展開

ZMPは、ソニーのイメージセンサーを用い、カメラやソフトウェアをパッケージングした商品を展開している。

超高感度ステレオカメラシステム「RoboVision2s」は、USB給電で稼働し、パソコンにケーブルを接続して専用アプリを使うことで容易に画像取得が可能なステレオカメラで、ステレオカメラの接続、画像の取得・保存などのアプリケーションプログラムインターフェース（API）を用意し、計測した画像をユーザーのソフトウェアへ組み込むことも可能という。

カメラ前方の画像計測結果より物体の検出処理を行い、物体の幅や高さ、奥行きの情報を出力するほか、独自のアルゴリズムにより前方車両などを追従し、トラッキングするオプションなども提供している。

このほか、最大測定距離150メートル、水平視野角100度と広範囲をセンシングができる「RoboVision3」なども商品化している。

【参考】ZMPの取り組みについては「【ZMP特集#1】「機は熟した」自動運転実用化へ　デモは卒業、商業化へ—AI自動運転最前線・イノベーション・自動車革命」も参照。

パナソニック：視認性の悪い夜間で250m先の物体を検知

パナソニックは、視認性が悪い夜間においても250メートル先にある物体までの距離情報を画像化する長距離画像センサーの開発を2018年6月に発表した。アバランシェフォトダイオード（APD）画素を用いたTOF方式を採用し、光が物体で反射して戻ってくるまでの飛行時間（TOF）を全画素で直接計測し、近距離から遠距離までの三次元距離画像を一括で取得可能にしている。

また、入力信号を増幅するAPDを受光部に用いるとともに、微弱な入力信号を積算する演算回路を全画素に内蔵することで、250メートル先までの三次元距離画像化を可能とした。さらに、電子増倍部と電子蓄積部とを積層化し、APD画素の小面積化により世界最高となる25万画素の集積化も実現しており、従来は困難であった三次元距離画像の長距離化と高解像度化との両立に成功したとしている。

【参考】パナソニックの画像センサーについては「パナソニックが長距離画像センサー　夜間の自動運転に活躍、TOF方式」も参照。

■画像センサーがあって初めてより高度な解析が可能になる

矢野経済研究所によると、自動運転とADAS（先進運転支援システム）向けのカメラの世界市場は、メーカー出荷金額ベースで2017年は4458億円だが、2030年には1兆2976億円と約3倍にまで拡大する。

定義があいまいだが、画像センサーのないカメラはただのカメラであり、その時々の風景を一枚一枚切り取るだけのものでしかなく、一枚一枚に連続性・関連性を持たせることができない。

しかし、画像センサーが機能することで初めて画像内の物体を識別することができ、AI（人工知能）を活用したより高度な解析や判断が可能になるのである。

自動運転分野において目の役割を果たすカメラには、脳（AI）と直結した働きが求められるが、その脳の初歩的な部分を担う存在が画像センサーだ。

【参考】関連記事としては「【最新版】自動運転の最重要コアセンサーまとめ　LiDAR、ミリ波レーダ、カメラ」も参照。


関連記事

関連記事合わせて読みたい