RadianceKit ユーザーガイド

RadianceKit とは？

RadianceKit は、実世界の物体の写真や動画を Gaussian Splatting を使ってインタラクティブな 3D モデルに変換するアプリケーションです。Gaussian Splatting は、従来の三角メッシュではなく、数百万個の小さな色付き 3D 楕円体（Gaussian と呼ばれます）でシーンを表現する最新の技術です。

その結果、あらゆる角度から閲覧でき、さまざまな形式でエクスポートできるフォトリアリスティックな 3D 再構成が得られます。

クイックスタート

  • インポート — 写真またはシーンの動画をアプリにドロップします
  • 処理 — RadianceKit がカメラを整列し、Gaussian Splatting モデルをトレーニングします
  • プレビュー — インタラクティブなビューポートで 3D 結果を確認します
  • エクスポート — PLY、SPZ、glTF などの形式で保存します
以上です。Simple Mode では、インポート後のワークフロー全体がボタン 1 回のクリックで完了します。

メディアのインポート

写真

最良の結果を得るために：

  • さまざまな角度から撮影した 10〜50 枚の画像 を使用してください
  • 連続する画像間のオーバーラップは少なくとも 60% 必要です
  • モーションブラーや露出オーバーの領域を避けてください
  • 一貫した照明が最良の結果を生み出します
  • 対応形式：JPG、PNG、HEIC、TIFF
画像はドラッグ＆ドロップ、File > Browse Files、またはフォルダごとドロップできます。

動画

動画ファイル（MP4、MOV）をドロップすると、RadianceKit が自動的にフレームを抽出します。サンプリング密度を調整して、動画 1 秒あたりの抽出フレーム数を制御できます。

  • 密度が高い = 画像が多い = 品質が向上しますが、処理時間が長くなります
  • 10 秒の動画を 2 fps の密度で処理すると、約 20 フレームが得られます

既存のシーン

以前エクスポートしたシーンファイルを開くこともできます：

  • .radiancescene — RadianceKit のネイティブシーンバンドル（Gaussian + カメラデータを含む）
  • .ply / .spz / .splat — 他のツールの Gaussian Splatting ファイル

処理パイプライン

カメラ整列（Structure from Motion）

RadianceKit はまず、各写真がどこから撮影されたかを判定します。Structure from Motion（SfM）と呼ばれるこのステップでは、画像全体の視覚的特徴を分析して、カメラの位置と向きを計算します。

2 つのバックエンドが利用可能です：

  • Apple Photogrammetry — 組み込みのため、インストール不要です。ほとんどのシーンで良好に動作します。
  • COLMAP — 外部ツールで、大規模な屋外シーンに適しています。別途インストールが必要です。

Gaussian Splatting トレーニング

カメラが整列されると、トレーニングが開始されます。アルゴリズムは以下の処理を行います：

  • 検出された 3D ポイントに初期 Gaussian を配置します
  • 位置、色、サイズ、向きを反復的に改善します
  • ディテールを捉えるために、定期的に Gaussian を追加・削除（密度制御）します
ビューポートで 3D モデルがリアルタイムに改善される様子を確認できます。

#### トレーニングプリセット

プリセットイテレーション数用途
Quick1,000高速テスト、低品質
Preview5,000クイックプレビュー
Balanced20,000良好な品質、適切な処理時間
Quality40,000最高品質
2 つの密度制御戦略が利用可能です：
  • Classic — オリジナルのクローン/分割/プルーニングアプローチです。高速で、より多くの Gaussian を生成します。
  • MCMC — 確率的勾配ランジュバン動力学（NeurIPS 2024）です。Gaussian の数が少なく、処理は遅いですが、よりコンパクトな結果が得られます。

ビューポート

ナビゲーション

入力操作
マウスドラッグシーンの周りを軌道回転
Shift+ドラッグ または 右ドラッグカメラをパン
スクロールホイールズームイン/アウト
ダブルクリックポイントを中心に再配置
Cmd+Scroll視野角を調整

フライスルーモード

F を押して、軌道回転モードとフライスルーモードを切り替えます。フライスルーモードでは：

  • WASD — 前後左右に移動
  • Q / E — 上下に移動
  • マウスで視線方向を制御

カメラビュー

  • 0–9 — トレーニングカメラの位置にジャンプ（1 = 最初の 10%、0 = 最後）
  • Left/Right Arrow — トレーニングカメラを順番に切り替え
  • R — カメラをデフォルト位置にリセット
  • T — 自動回転（ターンテーブル）の切り替え
  • B — 背景色を切り替え（ダークグレー / 黒 / 白）

キャプチャ

  • S — スクリーンショットをデスクトップに保存
  • V — 360° ターンテーブル動画を録画
  • C — カメラ位置情報をクリップボードにコピー

編集

Tab を押すか、Viewport > Enter Edit Mode を使用して Gaussian エディタを起動します。

  • クリック / ドラッグ — ブラシで Gaussian をペイント選択
  • Option+クリック — Gaussian の選択を解除
  • [ / ] — ブラシサイズを縮小 / 拡大
  • X または Delete — 選択した Gaussian を削除
  • Cmd+Z — 最後の削除を取り消し
  • Esc — 選択を解除
この機能は、浮遊アーティファクトやシーンの不要な部分を除去するのに便利です。

エクスポート

RadianceKit は複数のエクスポート形式に対応しています：

3D 形式

形式拡張子説明
PLY.ply標準的なポイントクラウド形式です。幅広くサポートされています。
Compressed PLY.ply属性を量子化し、ファイルサイズを縮小します。
SPZ.spzGoogle のコンパクトな Gaussian 形式です。非常に小さなファイルサイズです。
glTF.glbWeb 対応の 3D 形式です。three.js やその他のビューアで動作します。
.splat.splatWeb ビューア向けの軽量形式です。
SOG.sogコンパクトなソート済み Gaussian 形式です。

メディア

形式説明
Orbit Video360° ターンテーブル動画（MP4）
Web Viewerインタラクティブな 3D ビューア付きの自己完結型 HTML ファイル

後処理

コンパクト化は「エンハンスメント」セクションで有効にできます。トレーニング後にほぼ不可視の Gaussian を除去し、視覚的な品質の劣化なくファイルサイズを約 55% 削減します。

Expert Mode

Mode > Expert Mode（Cmd+2）で Expert Mode に切り替えると、すべてを制御できます：

  • ナビゲーター（左サイドバー） — インポートした画像、カメラリスト、ログを閲覧
  • インスペクター（右サイドバー） — トレーニングプリセット、設定、ライブメトリクス、損失チャート、エンハンスメント、エクスポート
  • ビューポート — すべてのコントロール付きの完全なインタラクティブ 3D ビュー
  • インスペクターのセクションをドラッグして並べ替えたり、不要なセクションを折りたたむことができます

最良の結果を得るためのヒント

  • オーバーラップが重要です — 連続する画像間で少なくとも 60% のオーバーラップを確保してください
  • 物体の周りを移動してください — 可能であれば上部を含め、すべての面をカバーしてください
  • 一貫した照明 — 撮影間で変化するミックス照明や強い影を避けてください
  • 安定した撮影 — モーションブラーを避けてください。三脚または安定したハンドヘルドを使用してください
  • ニュートラルな背景 — シンプルな背景は、アルゴリズムが物体に集中するのに役立ちます
  • 画像が多いほど良い結果が得られます — 30〜50 枚の画像で通常、優れた結果が得られます
  • Balanced または Quality プリセットを使用してください — Quick/Preview はテスト用です。最終結果にはより多くのイテレーションが必要です
  • コンパクトなエクスポートには MCMC を試してください — ファイルサイズが重要な場合、MCMC は Gaussian の数を約 70% 削減します

キーボードショートカット一覧

ナビゲーション

キー操作
マウスドラッグ軌道回転 / 見回す
Shift+ドラッグ / 右ドラッグカメラをパン
Scrollズーム / 前方に移動
WASDカメラを移動
Q / E上下に移動
F軌道回転 / フライスルーの切り替え
ダブルクリックポイントを中心に再配置
Cmd+Scroll視野角を調整

ビュー

キー操作
Rカメラをリセット
T自動回転の切り替え
Pカメラ再生の切り替え
B背景色の切り替え
0–9トレーニングカメラにジャンプ
Left/Right Arrow前/次のカメラ

キャプチャ

キー操作
Sスクリーンショットを保存
Vターンテーブル動画を録画
Cカメラ情報をコピー

エディタ

キー操作
Tab編集モードの切り替え
クリック / ドラッグGaussian を選択
Option+クリック選択を解除
X / Delete選択を削除
Cmd+Z取り消し
[ / ]ブラシサイズ
Esc選択を解除

その他

キー操作
Cmd+1Simple Mode
Cmd+2Expert Mode
Cmd+Oシーンを開く
Cmd+Sシーンを保存
Cmd+Shift+Sスクリーンショットを保存
Cmd+Shift+Tトレーニングを開始
Cmd+?キーボードショートカット
Hヘルプオーバーレイの切り替え