Goolge I/O 2019のタイミングでTensorFlowのグラフィックス向けライブラリTensorFlow Graphicsが公開になりました.下記の記事で概要が紹介されています.
Introducing TensorFlow Graphics: Computer Graphics Meets Deep Learning
https://medium.com/tensorflow/introducing-tensorflow-graphics-computer-graphics-meets-deep-learning-c8e3877b7668
リポジトリ
https://github.com/tensorflow/graphics
Tensorflow GraphicsはComputer Visionや3Dグラフィックスといった処理とTensorflowの機械学習処理を組み合わせやすいようになっています.
グラフィックスを対象とするために微分可能なグラフィックスレイヤー（Differentiable Graphics Layers）が提供され,以下のようなものを扱うことができるようですね.
- Transformations
- Cameras
- Lights and Materials
- Geometry
使用するためには,Tensorflowのインストールなどセットアップが必要になりますが,いくつかのサンプルはGoogle ColabのNotebookでサンプルが用意されていますので,Webブラウザで環境構築せずに試すことができます.
- Object pose estimation
- Camera intrisic optimization
- B-spline and slerp interpolation
- Reflectance
- Non-rigid surface deformation
- Spherical harmonics rendering
- Environment map optimization
- mantic mesh segmentation
デモとしてTensorBoard 3Dという3Dメッシュやポイントクラウドなどを可視化できるビジュアルでバッギング環境も公開されています.
ライブラリの構成の性質上,現時点ではゲームなどにいきなり組み込むというよりは開発上のワークフローの改善やアセット制作のパイプラインに機械学習のテクニックを持ってくるなど方向での活用できるのではないかと思います.もしかしたら,レンダリングのエラーなど視覚的なデバッグなどQA分野でも活用できるかもしれません.
こうしたライブラリの提供によりツールやアセット制作のパイプラインに新たなアイデアが入ってくることが期待でき,グラフィックスと機械学習のスキルを持ったツールプログラマやテクニカルアーティストなどは今後の開発では活躍の場が多くあるかもしれません.
TensorFlow Graphicsは今後も機能追加が行われるようですので,情報を追っていきたいところですね.
なお,Google I/O 2019ではCutting Edge TensorFlow: New Techniques (Google I/O’19)というセッションの中で紹介されています(27分ぐらいのところから).