韓国の漢陽大学校(Hanyang University)は10月12日、医用生体工学科のイム・チャンファン(Im Chang-hwan)教授率いる研究チームが、人工知能(AI)を利用して、口の近くに取り付けた加速度センサーからの信号を使って音声を合成するサイレント音声認識(silent speech recognition)技術を開発したと発表した。この研究成果は、学術誌Computers in Biology and Medicineに掲載された。

サイレント音声認識技術は、話者が声を出さなくても口の動きだけで音声の意図を識別するもので、言語障害を持つ患者のコミュニケーションを支援するために開発された。

従来の方法では、カメラ、磁気センサシステム(electromagnetic articulography:EMA)、超音波、筋電図検査(electromyography:EMG)などの装置からの信号を利用していたが、イム教授の研究チームが2023年に加速度センサーを利用した方法を提案して以来、その利点からこの方法が注目を集めている。

今回、イム教授の研究チームは、梨花女子大学校(Ihwa Women's University)のソン・ジウン(Sung Jee-eun)教授と共同で、韓国語のすべての音素を含む270の文章を作成し、19人の参加者から、5つの加速度センサーを使って信号を収集した。収集したデータをConformer(Transformerを改良した深層学習モデル)に投入して学習させたところ、加速度センサーの信号だけで音声信号を合成することに成功した。その結果、合成された音声信号の多くは、音声認識に十分な明瞭度を示した。

イム教授は、「今後の改良を通じ、言語障害を持つ人々の会話を補助するための実用的な技術にしていく。現在、商品化を目指し、ウェアラブルデバイスの形をしたワイヤレスセンサーシステムの開発に取り組んでいる」と語った。

サイエンスポータルアジアパシフィック編集部