RadianceKit 用户指南
什么是 RadianceKit？
RadianceKit 使用 Gaussian Splatting 技术，将现实世界物体的照片或视频转换为交互式 3D 模型。Gaussian Splatting 是一种现代技术，它使用数百万个微小的彩色 3D 椭球体（称为 Gaussian）而非传统三角网格来表示场景。
最终结果是一个逼真的 3D 重建，您可以从任意角度查看并以多种格式导出。
快速入门
- 导入 — 将场景的照片或视频拖入应用程序
- 处理 — RadianceKit 对齐相机并训练 Gaussian Splatting 模型
- 预览 — 在交互式视口中浏览 3D 结果
- 导出 — 保存为 PLY、SPZ、glTF 或其他格式
导入媒体
照片
为获得最佳效果：
- 使用从不同角度围绕物体拍摄的 10–50 张图像
- 连续图像之间的重叠度应至少为 60%
- 避免运动模糊和过曝区域
- 一致的光照条件能产生最佳效果
- 支持的格式：JPG、PNG、HEIC、TIFF
视频
拖放视频文件（MP4、MOV），RadianceKit 将自动提取帧。调整采样密度以控制每秒视频提取的帧数。
- 密度越高 = 图像越多 = 质量越好，但处理时间越长
- 10 秒的视频以 2 fps 密度处理可获得约 20 帧
已有场景
您还可以打开之前导出的场景文件：
- .radiancescene — RadianceKit 的原生场景包（包含 Gaussian 和相机数据）
- .ply / .spz / .splat — 来自其他工具的 Gaussian Splatting 文件
处理流水线
相机对齐（Structure from Motion）
RadianceKit 首先确定每张照片的拍摄位置。这个步骤称为 Structure from Motion（SfM），它通过分析图像中的视觉特征来计算相机的位置和朝向。
提供两种后端：
- Apple Photogrammetry — 内置功能，无需安装。适用于大多数场景。
- COLMAP — 外部工具，更适合大型户外场景。需要单独安装。
Gaussian Splatting 训练
相机对齐完成后，训练即开始。算法执行以下步骤：
- 在检测到的 3D 点上放置初始 Gaussian
- 迭代优化其位置、颜色、大小和朝向
- 定期添加和移除 Gaussian（致密化）以捕获细节
#### 训练预设
| 预设 | 迭代次数 | 适用场景 |
|---|---|---|
| Quick | 1,000 | 快速测试，低质量 |
| Preview | 5,000 | 快速预览 |
| Balanced | 20,000 | 良好质量，合理时间 |
| Quality | 40,000 | 最佳质量 |
- Classic — 原始的克隆/分裂/修剪方法。速度更快，生成更多 Gaussian。
- MCMC — 随机梯度朗之万动力学（NeurIPS 2024）。Gaussian 数量更少，速度较慢，但结果更紧凑。
视口
导航
| 输入 | 操作 |
|---|---|
| 鼠标拖动 | 围绕场景轨道旋转 |
| Shift+拖动 或 右键拖动 | 平移相机 |
| 滚轮 | 放大/缩小 |
| 双击 | 重新居中到某个点 |
| Cmd+Scroll | 调整视野角 |
飞行浏览模式
按 F 在轨道旋转模式和飞行浏览模式之间切换。在飞行浏览模式下：
- WASD — 前后左右移动
- Q / E — 上下移动
- 鼠标控制视线方向
相机视图
- 0–9 — 跳转到训练相机位置（1 = 前 10%，0 = 最后）
- Left/Right Arrow — 逐步切换训练相机
- R — 重置相机到默认位置
- T — 切换自动旋转（转台）
- B — 循环切换背景色（深灰 / 黑 / 白）
捕获
- S — 将截图保存到桌面
- V — 录制 360° 转台视频
- C — 将相机位置信息复制到剪贴板
编辑
按 Tab 或使用 Viewport > Enter Edit Mode 激活 Gaussian 编辑器。
- 单击 / 拖动 — 使用画笔绘选 Gaussian
- Option+单击 — 取消选择 Gaussian
- [ / ] — 减小 / 增大画笔大小
- X 或 Delete — 删除选中的 Gaussian
- Cmd+Z — 撤销上次删除
- Esc — 清除选择
导出
RadianceKit 支持多种导出格式：
3D 格式
| 格式 | 扩展名 | 说明 |
|---|---|---|
| PLY | .ply | 标准点云格式，广泛支持。 |
| Compressed PLY | .ply | 量化属性以减小文件大小。 |
| SPZ | .spz | Google 的紧凑 Gaussian 格式，文件极小。 |
| glTF | .glb | 适用于 Web 的 3D 格式，兼容 three.js 和其他查看器。 |
| .splat | .splat | 适用于 Web 查看器的轻量格式。 |
| SOG | .sog | 紧凑的排序 Gaussian 格式。 |
媒体
| 格式 | 说明 |
|---|---|
| Orbit Video | 360° 转台视频（MP4） |
| Web Viewer | 包含交互式 3D 查看器的独立 HTML 文件 |
后处理
可以在"增强"部分启用紧凑化功能。它会在训练后移除几乎不可见的 Gaussian，在不损失视觉质量的情况下将文件大小减少约 55%。
Expert Mode
通过 Mode > Expert Mode（Cmd+2）切换到 Expert Mode 以获得完全控制：
- 导航器（左侧边栏） — 浏览导入的图像、相机列表和日志
- 检查器（右侧边栏） — 训练预设、配置、实时指标、损失图表、增强功能和导出
- 视口 — 具有所有控件的完整交互式 3D 视图
- 拖动检查器部分以重新排序；折叠不需要的部分
获得最佳效果的技巧
- 重叠度是关键 — 确保连续图像之间至少有 60% 的重叠
- 围绕物体移动 — 覆盖所有面，如果可能的话包括顶部
- 一致的光照 — 避免混合光照或在拍摄之间变化的强烈阴影
- 稳定拍摄 — 避免运动模糊；使用三脚架或稳定的手持拍摄
- 中性背景 — 简单的背景有助于算法聚焦于目标物体
- 更多图像效果更好 — 30–50 张图像通常能产生优秀的效果
- 使用 Balanced 或 Quality 预设 — Quick/Preview 仅用于测试；最终效果需要更多迭代
- 尝试 MCMC 以获得紧凑导出 — 如果文件大小很重要，MCMC 可减少约 70% 的 Gaussian 数量
键盘快捷键参考
导航
| 按键 | 操作 |
|---|---|
| 鼠标拖动 | 轨道旋转 / 环视 |
| Shift+拖动 / 右键拖动 | 平移相机 |
| Scroll | 缩放 / 向前移动 |
| WASD | 移动相机 |
| Q / E | 上下移动 |
| F | 切换轨道旋转 / 飞行浏览 |
| 双击 | 重新居中到某个点 |
| Cmd+Scroll | 调整视野角 |
视图
| 按键 | 操作 |
|---|---|
| R | 重置相机 |
| T | 切换自动旋转 |
| P | 切换相机回放 |
| B | 循环切换背景 |
| 0–9 | 跳转到训练相机 |
| Left/Right Arrow | 上一个/下一个相机 |
捕获
| 按键 | 操作 |
|---|---|
| S | 保存截图 |
| V | 录制转台视频 |
| C | 复制相机信息 |
编辑器
| 按键 | 操作 |
|---|---|
| Tab | 切换编辑模式 |
| 单击 / 拖动 | 选择 Gaussian |
| Option+单击 | 取消选择 |
| X / Delete | 删除选中项 |
| Cmd+Z | 撤销 |
| [ / ] | 画笔大小 |
| Esc | 清除选择 |
其他
| 按键 | 操作 |
|---|---|
| Cmd+1 | Simple Mode |
| Cmd+2 | Expert Mode |
| Cmd+O | 打开场景 |
| Cmd+S | 保存场景 |
| Cmd+Shift+S | 保存截图 |
| Cmd+Shift+T | 开始训练 |
| Cmd+? | 键盘快捷键 |
| H | 切换帮助覆盖层 |