コンピュータビジョンの進歩を目指して、研究者らは雨や夜のシーンの映像を美しく見せるニューラルネットワーク・アルゴリズムを開発した。

AsianScientist － 雨の日も晴れの日も、昼夜を問わず、コンピュータは現在、高度化した分析アプリケーションのおかげで画像や映像の品質を向上させる新しいアルゴリズムを使い、もっとよく「見る」ことができる。国際チームは、2021年6月21日から24日にかけて開催された「コンピュータビジョンとパターン認識に関する年次会議 (CVPR) 」で研究成果を発表した。

コンピュータビジョン技術は画像データと映像データを処理することにより、自動監視システムや自動運転車などわくわくするイノベーションを進化させている。 しかし、人間が暗闇の中では視覚に困難を感じるのと同じように、雨の筋で映像がぼやけるなど視覚入力の質が低い場合は、コンピュータはあまり多くのことはできない。

編集ツールを使用して画像や映像をある程度修正することはできるが、コンピュータビジョンアプリケーションを問題なく機能させるには、高度の写真補正技術を組み込むことが必要である。たとえば、夜間のシーンでは明るさを調節しても街灯のグレアなどの問題が修正されることはないため、最先端の方法でも課題が残っていた。

シンガポール国立大学 (NUS) とエール-NUSカレッジの准教授であるロビー・タン (Robby Tan) 博士に率いられた研究者らは、2つの異なる研究を行い、照明と雨の問題によって乱れた映像を補正するためにニューラルネットワークと呼ばれるアルゴリズムを開発した。ニューラルネットワークは、人間の脳がデータを処理してパターンを認識し、問題を解決する方法を模倣し、人工知能の大きな進歩を示すものである。

美しい夜間の映像を作り上げるために、チームは複数の異なるネットワークを使用してデータノイズを除去し、光の影響に対処した。この方法は異なる問題の解決にそれぞれ異なるネットワークを割り当て、薄暗い場面の明るさを高めると同時にグレアを抑え、最終的にはきれいな映像を作り上げる。

暗闇の問題をクリアしたら、次は雨の問題である。タン博士と仲間たちは、映像の中の雨の影響を打ち消すために、別のニューラルネットワークに基づく方法を考案した。これはフレームの配置を使用して、さまざまなフレームの中にランダムな方向で現れる筋を取り除くというものである。映像を撮るカメラの向きと動きを推定することにより、アルゴリズムは各フレームを周囲のフレームにワープさせ、確実に雨をスムーズかつ一貫して削除させる。

さらに、これらの動きをモデル化することで、システムは蓄積して密集した膜のような状態になる水滴を削除することができた。ネットワークは画像の深さを推定し、水滴の層の下に隠れた被写体を引き離すかのように水滴膜を取り除き、雨の筋だけを取り除く既存の方法以上のことができた。

チームは、可視性向上アルゴリズムを使ってコンピュータビジョンシステムをさらに最適化することを目指しており、あらゆる種類の環境条件で適切に機能する自動化テクノロジーを導くこととなろう。

「自動運転車が悪天候下でもうまく機能できるようにするなど、コンピュータビジョンは私たちの日常生活に影響を与える多くのアプリケーションに重要な分野です。私たちはこの分野の進歩に貢献するよう努めています」とタン博士は締めくくった。

サイエンスポータルアジアパシフィック編集部