FMX 2012 repot

by syoyo

At May 2012, I was attended to FMX 2012.

Here’s my repot of FMX 2012 in Japanese.

BTW, this is my second trip to Germany. First time, I was attended EG2002, and met some render guys at MPI. This time, I also met some render guys there, it was a great experience.

今年の 5 月に, ドイツはシュトゥットガルトに FMX 2012 に参加してきました.

まず, FMX とは何ぞや, についてはこちらの記事が参考になります.

FMX 2012 ~各国プロダクションの人材育成事情が見える国際カンファレンス~

http://www.cgarts.or.jp/report/rep_2012/sp_rep/rep0530.html

ここでは, 私が見て聞いてきた, 上記には無い部分を中心に, 講演セッションごとに述べたいと思います. FMX の講演やチュートリアルは主にアーティストや TD を想定したものですので, レンダリング関係の講演においても SIGGRAPH のコースのように「光積分式がこうであるから, ここを簡略化して…」みたいな数式を出してくるようなものはなく, より万人にわかりやすい内容になっていました.

ちなみに, 私がドイツに行ったのは 10 年ぶりです. 初めてドイツに行った 2002 年は EUROGRAPHICS 2002 に参加しました.  EUROGRAPHIC 2002 では MPI(マックスプランク研究所)で何人かのレンダラ野郎とお会いすることができたよい思い出があります.

今回も, 幾人かのシェーダ野郎やレンダラ野郎に会う事ができました.

Cinema of the future is coming soon

Doublas Trumbull

http://ja.wikipedia.org/wiki/%E3%83%80%E3%82%B0%E3%83%A9%E3%82%B9%E3%83%BB%E3%83%88%E3%83%A9%E3%83%B3%E3%83%96%E3%83%AB

2001 年宇宙の旅, ブレードランナー, 未知との遭遇などでの特撮を担当し, 60 年代の特撮黎明期から, 特殊スクリーンやカメラの作成や SFX を手がける重鎮の講演でした. FMX に参加するまで知らず, 当日ふらっと寄ったらまさか FMX でこのような講演が聞けるとは思いもよらず(実際 Doug 氏の詳細は帰国後調べて知るという…), という感じで大変有意義な講演でした.

氏はすでにドームシアター, CNBC 4D というニュースサイトのリアルタイム CG 合成システム, Showscan とよばれる 70mm フィルムの 60fps 上映を手がけてきましたので, それを振り返えるのが主でしたが, 今後デジタル化でドーム型大画面, 高フレームレート映像がコストが下がって実現できやすくなるだろう, という感じでした.

Panel: Frame Rates

続いて, Doug 氏を含む何人かでパネルセッションが開かれました.

HFR 化の流れとして, ピータージャクソンが 48fps で撮る Hobbit は業界が期待しているようです. High frame rates = live quality と言っていました.

HFR が普及するかどうかについては, 需要が先か, 供給が先かという議論.

Movie is business(Doug 力説) として, アバター(供給)があってから 3D デジタルシアターが増えた(需要)例がある. 需要ドリブンというわけではない. HFR もホビットがヒットすれば普及する可能性がある, と言っていました.

また, HFR 以外についても議論があり, ピクセル解像度(4K など)よりも, 業界では HDR 表現のほうがニーズや効果は大きい という意見もありました.

下の ARRI の講演もふまえて, 4K よりはまずは Movie is business であるから, Hobbit やアバター2 次第ではあるが, 上映のコストが低い HFR がまずは普及するだろう, みたいな感じのまとまりとなりました.

Towards future digital cameras

Johannes Steurer, ARRI による講演.

ARRI は昔はアナログカメラを作っていたが, デジタルに移行しています. この講演では HDR と HFR(高フレームレート)について解説していました.

HDR については,

  • capture
  • display
  • human perception

の要素によりどんなレベルになるか決まるそうです. 一例として, ドルビーディスプレイが大画面で HDR を出せるようになっているようです.

HFR については, 48 fps がいいんじゃないかという解説がありました.

カメラがパンした風景をテスト素材として, 24 fps と 48 fps でどう違うかが実際 48 fps 上映(講演は映画館で行われた)を行い見せてくれました.

カメラのパンの理想的なスピードは, Recommended panning speed というのが映画製作ハンドブックに載っているそうで,  この moving at recommended panning speed の条件において.

  • full res @ 24 fps == half res @ 48 fps

つまり, 4K で 24fps で上映するのと, 2K で 48fps 上映するのでは見た時の画質が変わらないということでした.

実際 48 fps でパンした映像を見ましたが, 48 fps のパンととても奇麗でした.

ただ, フレームレートが高ければいいのかというとそうでも無いようで, 高フレームレートになるほどステレオ上映したときにアーティファクトが出やすくなるとのこと. 一例として 96fps でアーティファクトが出る現象を解説していました.

Ray Feeney Retrospective: The history of how digital technology changed visual effects

モーションコントロールカメラから, CG 黎明期まで活躍した Ray Feeney 氏の講演です. 4 つのアカデミー技術賞を取得しています(モーションコントロールカメラ, Solidaire film recoder, cinefusion bluescreen, etc)

VFX pipeline at ILM をヘルプしており, ターミネーター II, ジュラシックパークにも関わっています.

R&H の共同設立者である Hues はかつて Ray の会社にいて, Ray 氏は R&H 設立も手伝っています. VES の Founding board member でもあります.

いくつか手がけた内容を講演したのち, 現在は, 新しいカメラの開発を行っている模様です.

というわけで, 初期の VFX スタジオの設立に関わったり,アカデミー技術賞を取っていたりと, 凄い人でまさかこんな人の講演を FMX で聞けるとは思いもよりませんでした.

Defining passion in the entertainment industry

Jeffrey Okun, VES Chair. の, “情熱とはなにか” という講演.

Talent is not with Passion であり, 自身の経歴を振り返り Passion がいかに大切だったかを語るという講演で, これまた SIGGRAPH などには無いタイプの講演で大変有意義な内容でした.

氏の経歴(やなりたかったもの)は転々としていているのですが, だいたい 写真 -> マジシャン -> ミュージック -> ミュージックビデオ作成 -> VFX 作成 -> VES 設立 というような流れになっています. つまり映像とマジックとミュージックをやりたいと思っていたら VFX 業界(映像マジック)に進む事になってなりたいものを実現した, という感じです.

音楽と映像マジックの関連の原点として,  PV を作成することになったのですが,  これがジミーヘンドリックの PV でした.

自分の過去の情熱とリンクして今がある, 情熱を持とう, という素晴らしい講演でした.

Filmakademie Projects: TD

Filmakademie の Technical Director コースの学生による発表.

卒業制作でチームでムービーを一本作る様ですが, そのムービー制作で担当した TD 部分の解説でした. 非常にレベルの高い内容でした.

それもそのはず, ここの TD コースは大学院相当ですが, 学位論文ではライトフィールドレンダリングの研究をやっていました, などともともとそれなりのバックグラウンドを持つひとでした.

内容としては, Maya のシーンをパブリッシュするスクリプトや,  Maya のデータを Almbic + XML で出力するエクスポータ, Arnold のシェーダ作成,  NPR シェーダの開発, あとは AR の処理で PTAM tracking をやりました, などなど…

通常の大学での CG 研究と同じくらいのレベルの研究開発力があり, かつアーティスティックなことも出来るわけで, 非常に感銘を受けました.

Research at Weta Digital

Sebastian Sylwan, CTO at Weta による, Weta の R&D の取り組みについての講演です.

まず, 研究開発はプロダクションドリブンであるが, Research is challenge であり, R&D は他の VFX 会社と競争していくために必要であると述べています.

King kong での NY city は, プロシージャルモデリングにより作られました. このとき, NY の町並みのリファレンス(テクスチャ素材など)を大量に集めています.

Tintin では, リファレンスとして似た顔の社員に Tintin のモデルになってもらい写真をたくさん撮っています.

ターンテーブルに乗ってもらい撮影したり, プールに入ってもらい布や髪の毛のぬれ具合を撮影したり, ドライヤーで風をあてて、布や髪の毛のゆれ具合を撮影したり…

これらは, たとえば服の揺れぐらいはシミュレーション結果との validation に利用しています.

実写では, カラーチャートとホワイトバランスシートを添えて撮影することで, 色のキャリブレーションが出来るようにしています.

Weta 内部で作ったものとして, Face の高精細 displacement map スキャンマシンがあります.

これは Turntable デバイスで, Turntable 撮影の自動化 & 撮影した写真からの 3D モデル復元を行います.

その他,

  • Facial blend shape アルゴリズム(Maya plugin)
  • Naiad 流体シミュレータ.
  • Subsurface scattering(SIGGRAPH 2011 paper)
  • Hair shader
  • Hair simulation(これはまだまだ open な問題)
  • Muscle simulation
  • 猿の惑星用に, ヘアーのスタイリングツール(Maya + GLSL shading)
  • Deep image composition(NUKE にライセンシング)
  • MRI スキャン(チンパンジーをスキャンして, 猿の惑星に活用)

を取り上げていました.

Weta 内部で Research を行う理由として,

  • quick response time
  • long time research

を挙げていました.  外から Professor を招くこともやっていました. その結果, CG 研究所と劣らないくらいのレベルの research 力が Weta には出来ているそうです.

From crowds to heros

MPC のライティング戦略と, ワールドワイド制作パイプラインの講演.

ライティング, lookdev については,  たとえばクリーチャーが出てくる VFX では, まずクリーチャーの(模型の)写真をたくさん撮影してこれをリファレンスにして lookdev に活用しています.

シェーディングは co-shader ベースのネットワークシェーディングの仕組みを構築しています.

GI 要素についてはベイクするシェーダをつくったりしているようです.

ポイントクラウドとレイトレースを利用していて, MPC でもレイトレと物理ベースシェーディングは主流になりつつあるようです.

MPC は, ロンドン, インド, LA, NY, シンガポールに拠点を持って VFX 制作を行っているため, このグローバルパイプラインをどう構築するかのカギについても解説がありました.

カギとなるのは

  • パイプライン
  • ワークフロー
  • コミュニケーション

の三要素です.

コミュニケーションについては, 各サイトに代表となる key player がいてこの key player 同士で意思伝達を行っているようで す. ツールとしては CineSync, Skype を活用しています.

デイリーを作り, それを各サイトで共有して意思疎通をするフローが構築されているようです. デイリーには,

  • 2D image
  • 3D アセット
  • リファレンス写真など

が含まれています.

ロンドンにデータベースのマスター(MySQL で運用)があり, 他のサイトではスレーブで運用されています.

MPC が VFX を担当したタイタンの逆襲では, 煙, 溶岩などエフェクトを大量に使ったそうで, データサイズはタイタンの逆襲で 220 TB でしたが, そのうち半分くらいをエフェクト(のキャッシュ?)が消費したとのことでした.

Global illumination today

Jan Walter(The Mill) 氏による, GI レンダラの比較のセッション.

Blender -> RIB エクスポータなど, 氏が独自に作成している各種ツールを利用してコマンドラインで作業をし, レンダラにデータを渡してレンダリングしてデモンストレーションするのが素敵でした.

GI(physically-based shading) でアーティストが理解しずらいものととして (perfect) specular を取り上げていました.

真に物理ベースでやると specular は反射で映り込む光源により表現するわけですが, これだといままで古典的シェーディングではハイライトで表現していた perfect specular が表現できない(点光源は面積ゼロなので, 反射で映り込ませることができない).

そこで必要であれば物理ベースシェーディングでも, fake specular として古典的な specular 表現を物理ベースシェーディングでも利用できるようにしてもよいが, それは Artist がきちんと背景にある理論を知ってから導入してほしい. という感じでした.

その他, 同じ blender で作られたシーン構成を, (氏の独自エクスポータを利用して) Radiance , Arnold, VRay, Luxrender, Indigo  などでレンダリングした結果がどうなるかを見せていました.

最後では, プロダクションでの GI レンダラ利用について解説し, GI レンダラといっても使っている技法により絵の出方が違うので, 1 つのレンダラをプロダクション全体で使うのではなく, 2 本くらい使って必要に応じて使い分けるようになってきていると言っていました. 実際, The Mill では, MentalRay と Arnold を使っているそうです.

以前 Jan 氏には lucille のシェーダ周りでいろいろやりとりがあったため, 氏の講演後, 氏と何人かで昼食を取る機会を得られました(氏は人気で, 講演のあとに何人もの方から声をかけられていて抜け出すのに一苦労でした)

来年なんかやりたいねぇ, みたいな話しをしつつ, 「最近某氏と仲良くなったんだけど, どうも Jan さんと某氏は, お互いよく知っているようですね」「ああ, 彼とは昔の会社で一緒だったんだよ」と, ああ, 相変わらず世界は狭いなぁ, というよくある結論に落ち着きました 🙂

Unclipped HDRI Lightmaps

prman 16 で導入された MIS(Multiple Importance Sampling) による HDR IBL シェーディングの解説です.

ちなみに prman 16 から, MIS や IBL を始めとした物理シェーディングとレイトレースが強化されたそうで, おお, prman お前もか!という感じでした.

HDR な IBL を使うのは理想です. たとえば HDR を使えば太陽のような強い輝度を持つピクセルと空の分布や背景などの低い輝度を持つピクセルを 1 枚の IBL にまとめることができます.

しかし HDR な IBL(unclipped HDR) をそのままモンテカルロサンプリングすると強いノイズが出てしまうという問題があります. たとえば, あるピクセルではランダムな方向に飛ばしたレイが(小さい)太陽に当たってレンダリング結果の値が 1000.0 になるが, 隣のピクセルでは普通の背景にあたりレンダリング結果の値が 1.0 になる. レイをたくさん飛ばしても平均をとるためなかなか輝点が消えません.

一方で, たとえばペイントソフトで太陽などの輝度の高いピクセルを消してしまった画像(clipped HDR)を IBL にしてしまうと, ディテールが出なくて物理ベースレンダリングを行っても正確なレンダリングが結果が得られません. また, ペイントソフトで輝度の高い部分を消すという手間もかかります. 特に IBL が動画の場合は大変です.

そこで, prman16 のシェーダで導入された lighting(), specularLighting() を使い, unclipped HDR を MIS サンプリングすることで, HDR な IBL でもノイズを少なくレンダリングできる方法が解説されていました.

MIS を使い, IBL を効率的にサンプリングするというのは,  GI レンダラ研究の世界では一般的に知られていることですが, これが製品レンダラに載るレベルに一般化されてきているというのは感慨深いところがあります.

今後 HDR な IBL lighting が映像制作で普及していきそうですね.

Inka3D

http://www.inka3d.com/

Maya のシーンを WebGL に変換するツールの解説.

Maya のシェーダなどを C++ コードに出力し, clang/LLVM を利用して LLVM IR -> JS/WebGL のコードに変換しています.

XML, Collada を使ってデータコンバートするより, コード変換のほうが効率的になります.

mel エクスプレッションにも一部対応しているようで, またキャラクタアニメーション, キーフレームアニメーションにも対応しています.

この Inka3D で作られたデモが Revision 2012(デモパーティ)の browser demo 部門で 1 位になっています(ちなみに, Revision 2012 は同じくドイツで 4 月に開催されています)

Maya ベースでインタラクティブコンテンツを作るときには強力なツールになりそうですね.

Panel: VFX studio and Software vendors

VFX studio とソフトウェアベンダーのあり方, みたいなパネルセッションでした.

Weta CTO, Autodesk の Maya 製品マネージャ, Pixomond R&D の方などが参加していました.

まず, Alembic や SPIW の取り込みなどに代表される open source のムーブメントがあることを上げ, プロプライエタリなソフトウェアの比重は確実に下がってきている. とはいえそれはコスト削減圧力もありはするが, (大手以外では)ソフトウェアコストに比べれば担当するエンジニアのコストのほうが高いわけで, 各社で共通化できれば全体のコスト(開発や教育)が下がるから, (各社が使う) open source に価値があるのだ, みたいな話しでした.

つまりは単純に open source だから無償で使えても価値はなく, 各社が contribute して継続的に発展していく open source 化には価値がある, という感じの話です.

ちなみに, SPIW は今は多くのオープンソースプロジェクトを公開していて, OpenShadingLanguage は LLVM を使っていますが,  2008 年ごろに私が SPIW に「これからは open source プロジェクトもやるべきだ. シェーダが遅い? LLVM 使え」みたいな事をいったのですが 「open source プロジェクトは法務的な問題がある. LLVM なにそれ? 食えるのか?」みたいな反応しか返ってきませんでした. その後 CTO が変わったようで, いまのような寛容な? スタイルになっています. まあこのあたり世の中のタイミングという感じでしょうか. 私の提案が早すぎたようです 🙂

Weta はいまや世界で最も優秀な R&D を包容しているとも言えますが,   その R&D の優秀さゆえに, “How much secret source/ninja Ph.D’s?” という質問がありました. これについて Weta CTO は, 「ショウのスケジュールによる. 技術の集約だから秘伝のソースはそんなに多く無いよ」という回答でした.

Autodesk の Maya 製品マネージャからは, なぜ Maya が VFX 業界で普及したのかについて, 「拡張がしやすくプラットフォームであるという点が受け入れられたのではないだろうか」, と言っていました.

そして Maya の製品マネージャのとして, 今後も Maya が発展していくためにも

  • ユーザからの要求をこなすだけではダメ
  • イノベーションを提供しなくてはならない
  •  エコシステムを構築する

が必要であり, この点を考えて行動を行っていると言ってました.

これだけ実写とも判らないような CG が出来ているのだから映像業界(の技術)は成熟しているのではという問いに, Weta CTO は,

この業界はまだ 35 年の歴史しかない. 他の業界に比べればまだまだ我々は赤子も同然である.

たとえばフランスのとあるサイトに 10 個の未解決の CG open problem が載っている.  90 年代からずっと list up されているものがある, つまりまだ解決されてはいなく, やることはまだまだあるのだ. と述べていました.

そしてもしかしたらいろいろなものを一気に解決してくれる秘伝のソース(Secret source)は未来からやってくるかもしれない, との返答.

Weta CTO は R&D を行うことは  “push the frontier” と言ったり, Autodesk Maya 製品担当は “everyone is friends of Autodesk” と言ったりと, VFX スタジオ, CG ソフト会社両者とも業界をいかに発展させていくかという姿勢を感じ取ることができました.

CineBox(CryEngine for Cinema)

http://mycryengine.com/index.php?conid=59

ゲームエンジンである CryEngine の映画制作向け版である CineBox の解説.

Gap between film and game

  • Film: Static, 2D
  • Game: Dynamic, 3D
  • Film: Hand-crafted, directe
  • Game: Chaostic, specialized for one thing.

として,

通常の映画製作ツール(Maya など)はオールラウンドだけど遅い.

ゲームエンジン(インタラクティブエンジン)は一部に特化していて全部は出来ないがその一部の処理は早い.

というわけで, ゲーム(エンジン)と映画の制作の融合は昔から言われてきているが, まだまだ融合は難しい. でもギャップは埋まりつつある, という感じでした. 映画向けに現状のゲームエンジンが適用できる領域としてプレビズ用途に使われはじめているようです.

レンダリングなどの機能面以外では, ゲームエンジンはゲーム制作のパイプラインに特化しているため, CineBox では映像制作のパイプラインに載せるための拡張が含まれています.

  • Collada, Alembic データの読み込み
  • Vicon, Motion Analysis のモーションデータのインポート
  • Cinematic camera(filmback, shutter, bokeh の機能)
  • OpenColorIO サポート
  • Render output(レンダリングパスを複数出力可能. フォーマットは EXR など)

CineBox に残る大きな問題として,

  • pixel accurate playback
  • Physics, A.I, particles, sound.
  • 複雑なことをやるにはまだまだ(たとえば Crowd システムを構築など)
  • timecode
  • thin client 化(DirectX 11 を使うので性能のよい WinPC が必要?)
  • virtual camera

を挙げていました.

CineBox はまだ製品版というわけではないようですが, すでにいくつかの大手 VFX スタジオと連携して導入が始まりつつあるようです.

まとめ

  • Movie is business
  • HFR(高フレームレート)が普及しそう
  • レンダリングは物理ベースシェーディング(物理ベースレンダリング), レイトレースがほぼどのプロダクションでも主流になりつつある.
  • リファレンス大事
  • SIGGRAPH 前に映画 VFX メイキングが見られる
  • ドイツはビールがおいしい

Movie is business, は 70mm フィルム 60 fps の Showscan を作った Doug 氏の言葉. かつてはフィルムや機材が高価で, 高画質, 高フレームレートは採算が取れなかったが, デジタル化と技術革新が進んでそれが可能になりつつある. でもやっぱりそれを活かすコンテンツも大事で, コストとタイミングが映画の世界でも重要という感じでした.

HFR の話しは上と繋がったもので, 4K でやるよりはまずは 48 fps, 60 fps などの高フレームレートの映画が普及していくだろうという予測. VFX 制作においては 4K で 2K の 4 倍のレンダリングをするよりは 2K, 48fps で 2 倍のレンダリング量(かつモーションブラー量は減らせる)と, VFX 制作においてもコストを増やさず実現できて可能性は高そうです.

物理ベースレンダリングの普及は以外でした. 物理ベースレンダリングやレイトレは, いずれ主流になるだろうとは思っていましたが, ここまで速く普及するとは思っていませんでした. とはいえ, たとえば ILM(Lucasfilm)では 4~5 年前くらいから取り組んでいたそうですから, やはり大手は常に先手を打ってきている, という感じでしょうか. このあたり, FMX に赴いた価値があった部分であります.

リファレンス(reference)とは, ここでは実写で撮影した素材や, 解剖学の文献などです. これを元に lookdev を行ったり, ライティングの参考にしたり, IBL を作ったり, モデリングやシミュレーションの参考にしたりという感じです. 映像を作り出すにはまず徹底的な観測から, という感じでしょうか. 特に実写系ではこのリファレンス作成を非常に大切にし, アセットライブラリ化して活用していました.

映画 VFX のメイキングは, SIGGRAPH でのコースよりも早く見られるという利点があります. パイプライン構築などより込み入った話もあります. FMX 参加費は 3 万円くらいで, 旅費も GW 期間に当たらなければ 10 万くらいでいけます. VFX メイキングを中心に知りたいという方は SIGGRAPH よりも FMX に参加したほうがお得かもしれません.

ドイツのビールは当然のことながら安くて美味しかったです. FMX では開催期間中各種パーティがあったようで, 中には朝まで開かれているものもありました. 最終日の朝の講演では「みんな昨日のパーティで夜までたくさん飲んで参加者も少ないようだし二日酔いもひどいと思うが、まあ聞いてくれ」みたいなジョークまで飛び出していました.

Weta からはマーケティング担当という人も参加していました. 「マーケティングって何やるんですか?」 と聞いたら「優秀な学生を探しにきたり, 技術動向を追っているんだよ」みたいな返答. 大手のプロダクションが, 世の中の流れを感じたりリクルーティングに来るという姿勢は素晴らしいです.

ちなみに日本から FMX に参加した人はほとんど居ないようです(また FMX にはアジア系もあまりいませんでした. ほとんどヨーロッパ勢でした), 夏の SIGGRAPH, 冬の SIGGRAPH Asia に次いで, 春の FMX, という流れが今後できてくることを期待します. 上記のようにリクルーティングをする人も参加していますので, アーティストや TD の方は海外プロダクションとコネを作ったりアピールする場所としても有益です.

来年の FMX 2013 は 4 月 23 ~ 26 日の開催です. デモパーティの Revision 2013 とはしごできるかも. Revision -> FMX で両方参加してみたいですね. また FMX で講演する機会も狙って行きたいところです.

Advertisements