Show HN: TRELLIS.2による画像から3D生成をApple Siliconでネイティブに実行
TRELLIS.2は画像から3Dモデルを生成する先進的な生成モデルであり、高品質な3D資産の自動生成を実現する重要な技術です。しかし従来、このようなディープラーニングモデルはNVIDIA GPUのCUDAプラットフォームに最適化されており、Apple Siliconなどの異なるア...
TRELLIS.2は画像から3Dモデルを生成する先進的な生成モデルであり、高品質な3D資産の自動生成を実現する重要な技術です。しかし従来、このようなディープラーニングモデルはNVIDIA GPUのCUDAプラットフォームに最適化されており、Apple Siliconなどの異なるアーキテクチャでは実行が困難でした。
本プロジェクトは、TRELLIS.2をApple Silicon上でネイティブに実行できるように移植したもので、CUDA特有のカーネルをPyTorchの汎用実装で置き換えるという技術的な挑戦に取り組んでいます。特にgather-scatterスパース3D畳み込みとスケーラドドット積注意メカニズム(SDPA)の効率的な実装が重点です。
このような移植作業は、新しい研究モデルが次々と発表されるディープラーニングの世界で長期的に価値を持つアプローチであり、MacやiPadなどのAppleデバイスでAI生成機能を活用したいユーザーと開発者コミュニティにとって極めて重要です。ローカルで高度なAI機能を実行できることは、プライバシー保護、低レイテンシー、オフライン利用などの利点をもたらします。
コミュニティから高い評価を受けており、CUDAへの依存性を排除してクロスプラットフォーム対応を実現した技術的な取り組みに対する称賛が多い。特にスパース畳み込みなどのコンポーネントを再利用可能なツールキットとして公開することへの期待が寄せられている。
「『ほとんどの「Macで実行可能』というポート版は、クラウド呼び出しの包装またはオリジナルモデルの量子化された殻に過ぎません。CUDA特有のカーネルを純粋なPyTorchの代替実装で置き換えるというこのような仕事は、長期的に価値を保ちます。なぜなら、次のCUDA依存型の研究リリースは3週間後に出現するからです。質問としては、gather-scatterスパース畳み込みのどの程度がTRELLISのような他のアーキテクチャで再利用可能なのか、あるいはそれがこのプロジェクト専用なのかということです。』」— @sergiopreira