HOME |日本語 |English

Research


研究のOverview

 

医用画像AI

 

医用画像VR

 

GANによる画像生成

 

超解像技術

 

その他の応用

 

Static2Dynamic GANを用いた表情動画像の生成

 

1枚の静止画像から1枚の静止画像の生成法としてpx2pixというGANがよく用いられる。様々なGANの中で最も有名なGANの一つである。その他に学習データとしてペア画像を必要としないCycle GANもあります。本研究では、1枚の静止画像(static image)から動画像(dynamic image)を生成するStatic2Dynamic GANを新たに提案する。static2Dynamic GANを用いると、1枚の静止無表情顔画像から表情動画像を生成することができる。Fig.1はpix2pixのネットワークと1枚の無表情顔画像から1枚の笑顔画像を生成した結果である。Fig.2は提案法のStatic2Dynamic GANのネットワークと1枚の無表情顔画像から生成された32枚の笑顔の動画像である。


Fig.1. pix2pixのネットワークと1枚の無表情顔画像から生成した1枚の笑顔画像 


Fig.2. 提案法Static2Dynamicのネットワークと1枚の無表情顔画像から生成された32枚の笑顔の動画像 




関連発表論文:
1. Yoshiharu Kawai, Masataka Seo, and *Yen-Wei Chen, “Static2Dynamic GAN Mod1e l for Generation of Dynamic Facial Expression Images,” 38th IEEE International Conference on Consumer Electronics (IEEE ICCE2020), Las Vegas, USA, Jan. 4-6, 2020.(Link)
2. Yoshiharu Kawai, Masataka Seo, Yen-Wei Chen, “Automatic Generation of Facial Expression Using Generative Adversarial Nets,” Proc. of 2018 IEEE 7th Global Conference on Consumer Electronics (GCCE 2018), Nara, Japan, Oct.9-12, 2018. (Link)

 

2. 再帰型cGANを用いた視線補正

3. CGANを用いた顔面神経麻痺患者の表情生成