顔をトラッキングして、キャラクターに「表情つき」で喋らせるソフト MashMe(マッシュミー)

MashMe1 admin




MashMe1

MashMe(マッシュミー)は、キャラクターに表情を作らせるアニメーションソフトです。人間の顔をカメラで認識して、キャラクターに表情つきで喋らせます。

虎や恐竜に表情や手振りをつける、という実写ではできないことが実現できます。映画ではごく当たり前ですが、個人で簡単にできるというところが今までとの大きな違いです。

使い方

左下が実際の人間です。表情と手の動きをカメラで撮影すると、自動的にキャラクターが再現します。

MashMe2

人間の腕の動きがキャラクターにも反映されています。僅かな時間差があり、人間の動きがキャラクターに反映されるまで0.2秒ぐらいかかっているようです。映画を作るわけではないので、実用上は問題ありませんが。

MashMe3

腕の動きだけではありません。表情も認識して再現しています。人間が「or」という言葉の「お」を言っていますが、ロボットキャラでもきちんと頬がへこんで口が縦長になっています。

MashMe4

まばたきも認識して再現されています。左下の画面では瞬きをしていませんが、これは時間差があるためです。

MashMe5

「うーん・・」と悩んでいる表情も再現できてしまいます。

MashMe7

黒目や唇の先も再現されているので、かなりリアルです。リアルすぎて気味が悪いかも、っていうぐらいです。

黒目もトラッキングされているので、目が泳ぐという表情もつけられますね。

MashMe8

歯を見せて笑っている場面。やや表情がぎこちないですが、感情は十分伝わる範囲です。

MashMe9

動画はこちら。7秒目から実演が始まります。動きが面白いので是非ご覧ください。

キャラクター

先ほどのリアルロボットなら、そもそも実写の人間でいいのでは、という感もあります。MashMeでは動物のキャラクターも用意されており、これらはCGならではと言えます。

虎のキャラクターでビデオチャットしている場面。こんなのが出てきたらびっくりしますね。

MashMe15

虎の笑顔・・なんだかこわいですね。獲物を狙ってにんまりしているようにも見えます。

MashMe17

頭をかく場面も見事に再現できています。愛嬌があるなあ・・。

MashMe16

こちらはメキシカンハットをかぶった恐竜。口や腕の動きが人間と同期しています。

MashMe11

恐竜もにっこり。この静止画一枚だけで見るとわかりづらいですが、よく見ると恐竜の頬が上がっています。

MashMe18

男性が女性キャラクターを踊らせることもできます。こちらはユニティちゃん(大鳥こはく)というキャラクターです。男性でも、ニコニコ動画にあるような踊ってみた動画を作ることができますね。

MashMe12

こちらは体格のよい男性。ところが・・

MashMe13

なぜかアヒルの浮き輪がw なんでだ・・。

MashMe14

用途

用途としては、まずチャットがあります。チャットソフト側からは普通のカメラとして扱われるらしく、SkypeやGoogle+で動かしている画面があります。

MashMe6

説明動画の作成や・・

MashMe19

子供向け教育動画の作成にもぴったりです。

MashMe21

あるいはゲーム実況動画で、キャラクターに喋らせたり(右下の部分)。YouTubeで動画を作る人には便利なツールだと思います。顔出ししたくない人にはうってつけではないでしょうか。

MashMe20

仕様

対応OSはWindowsです。$70,000までお金が集まればMac版が用意される予定です。24万ドルでiOS版の計画もあります。

カメラは普通のチャット用カメラ(webカメラ)と、MicrosoftのKinectに対応しています。Kinectの方がトラッキングの精度は当然よいはずですが、どのぐらい差があるかは不明です。

またカメラの取り込み速度も要注意です。安いチャット用カメラだと画像取り込みに時間がかかり、音声とずれます。この点でもKinectの方がよいはずです。

なおAdobeからも、動画作成ツールに同様の機能の搭載が発表されています。発表タイミング的はほぼ同時期だと思います。
http://av.watch.impress.co.jp/docs/news/20150415_697846.html

まとめ

$10(約1190円)で、ソフトが完成したらダウンロードして使えます。$20でベータ版で試しができます。

2015/6/10まで支援受付中です。
https://www.kickstarter.com/projects/571292281/mashme-become-an-animated-character

【参考】Kickstarterで支援時、必ず知っておくべきこと


コメントを残す

メールアドレスが公開されることはありません。

Show Buttons
Hide Buttons