再帰型cGANを用いた視線補正
スマートフォンなどを利用したビデオ通話では、カメラがディスプレイよりも上部に位置するため、相手側の画面では下を向いた状態の自分の顔が映るという問題がある。その際、視線を用いたコミュニケーションが困難になることが想定される。本研究では、画像間の関係を考慮した視点変換動画像の自動生成によりこの問題の解決を目指す。また、本研究では、再帰型ニューラルネットワークの一種であるconvolutional LSTM機構を導入することで時系列特徴を反映した視点変換法を開発した。これにより、フレーム画像間の整合性が考慮された自然な視点変換動画像の生成を実現する。
Fig.1. 再帰型cGANネットワーク
Fig.2. 視点変換の結果
関連発表論文：
1. Kento Otsu, Masataka Seo, Toshihiro Kitajima, Yen-Wei Chen, “Automatic Generation of Eye Gaze Corrected Video Using Recursive Generative Adversarial Networks,” Proc. of 2020 IEEE 8th Global Conference on Consumer Electronics (GCCE 2020), Kobe, Japan, Oct.12-14, 2020(Link)
2. Takahiko Yamamoto, Masataka Seo, Toshihiko Kitajima and Yen-Wei Chen, “Eye Gaze Correction Using Generative Adversarial Networks,” Proc. of 2018 IEEE 7th Global Conference on Consumer Electronics (GCCE 2018), Nara, Japan, Oct.9-12, 2018.(Link)