Руководство пользователя RadianceKit
Что такое RadianceKit?
RadianceKit превращает фотографии или видео реальных объектов в интерактивные 3D-модели с помощью Gaussian Splatting — современной технологии, которая представляет сцены в виде миллионов крошечных цветных 3D-эллипсоидов (называемых Gaussians), а не традиционных треугольных сеток.
Результат — фотореалистичная 3D-реконструкция, которую можно просматривать с любого ракурса и экспортировать в различных форматах.
Быстрый старт
- Импорт — Перетащите фотографии или видео вашей сцены в приложение
- Обработка — RadianceKit выравнивает камеры и обучает модель Gaussian Splatting
- Предпросмотр — Исследуйте 3D-результат в интерактивном вьюпорте
- Экспорт — Сохраните в формате PLY, SPZ, glTF или других
Импорт медиафайлов
Фотографии
Для лучших результатов:
- Используйте 10–50 изображений, снятых вокруг объекта с разных ракурсов
- Перекрытие между последовательными снимками должно составлять не менее 60%
- Избегайте смазывания от движения и пересвеченных участков
- Равномерное освещение даёт лучшие результаты
- Поддерживаемые форматы: JPG, PNG, HEIC, TIFF
Видео
Перетащите видеофайл (MP4, MOV), и RadianceKit автоматически извлечёт кадры. Настройте плотность выборки, чтобы контролировать количество извлекаемых кадров в секунду видео.
- Большая плотность = больше изображений = лучшее качество, но более длительная обработка
- 10-секундное видео при плотности 2 fps даёт ~20 кадров
Существующие сцены
Вы также можете открывать ранее экспортированные файлы сцен:
- .radiancescene — собственный формат сцены RadianceKit (включает Gaussians + данные камер)
- .ply / .spz / .splat — файлы Gaussian Splatting из других инструментов
Конвейер обработки
Выравнивание камер (Structure from Motion)
RadianceKit сначала определяет, откуда была сделана каждая фотография. Этот этап, называемый Structure from Motion (SfM), анализирует визуальные признаки на ваших изображениях для вычисления позиций и ориентаций камер.
Доступны два бэкенда:
- Apple Photogrammetry — встроенный, не требует установки. Хорошо работает для большинства сцен.
- COLMAP — внешний инструмент, лучше подходит для крупных уличных сцен. Требует отдельной установки.
Обучение Gaussian Splatting
После выравнивания камер начинается обучение. Алгоритм:
- Размещает начальные Gaussians в обнаруженных 3D-точках
- Итеративно уточняет их позиции, цвета, размеры и ориентации
- Периодически добавляет и удаляет Gaussians (densification) для передачи деталей
#### Пресеты обучения
| Preset | Iterations | Назначение |
|---|---|---|
| Quick | 1,000 | Быстрый тест, низкое качество |
| Preview | 5,000 | Быстрый предпросмотр |
| Balanced | 20,000 | Хорошее качество, разумное время |
| Quality | 40,000 | Лучшее качество |
- Classic — оригинальный подход clone/split/prune. Быстрее, создаёт больше Gaussians.
- MCMC — Stochastic Gradient Langevin Dynamics (NeurIPS 2024). Меньше Gaussians, медленнее, но более компактные результаты.
Вьюпорт
Навигация
| Ввод | Действие |
|---|---|
| Mouse Drag | Вращение вокруг сцены |
| Shift+Drag или Right-Drag | Панорамирование камеры |
| Scroll Wheel | Приближение/отдаление |
| Double-click | Центрирование на точке |
| Cmd+Scroll | Регулировка угла обзора |
Режим свободного полёта
Нажмите F для переключения между режимами Orbit и Fly-Through. В режиме Fly-Through:
- WASD — Движение вперёд/назад/влево/вправо
- Q / E — Движение вверх/вниз
- Мышь управляет направлением взгляда
Виды камер
- 0–9 — Переход к позициям обучающих камер (1 = первые 10%, 0 = последняя)
- Left/Right Arrow — Пошаговый переход по обучающим камерам
- R — Сброс камеры в позицию по умолчанию
- T — Включение/выключение автовращения (turntable)
- B — Переключение цвета фона (тёмно-серый / чёрный / белый)
Захват
- S — Сохранение скриншота на рабочий стол
- V — Запись видео с вращением на 360°
- C — Копирование информации о позиции камеры в буфер обмена
Редактирование
Нажмите Tab или используйте Viewport > Enter Edit Mode для активации редактора Gaussians.
- Click / Drag — Выделение Gaussians кистью
- Option+Click — Снятие выделения с Gaussians
- [ / ] — Уменьшение / увеличение размера кисти
- X или Delete — Удаление выделенных Gaussians
- Cmd+Z — Отмена последнего удаления
- Esc — Сброс выделения
Экспорт
RadianceKit поддерживает несколько форматов экспорта:
3D-форматы
| Формат | Расширение | Описание |
|---|---|---|
| PLY | .ply | Стандартный формат облака точек. Широко поддерживается. |
| Compressed PLY | .ply | Квантованные атрибуты для меньшего размера файла. |
| SPZ | .spz | Компактный формат Gaussian от Google. Очень маленькие файлы. |
| glTF | .glb | 3D-формат для веба. Работает с three.js и другими просмотрщиками. |
| .splat | .splat | Легковесный формат для веб-просмотрщиков. |
| SOG | .sog | Компактный формат отсортированных Gaussian. |
Медиа
| Формат | Описание |
|---|---|
| Orbit Video | Видео с вращением на 360° (MP4) |
| Web Viewer | Автономный HTML-файл с интерактивным 3D-просмотрщиком |
Постобработка
Compactification можно включить в разделе Enhancements. Она удаляет почти невидимые Gaussians после обучения, уменьшая размер файла примерно на 55% без потери визуального качества.
Expert Mode
Переключитесь в Expert Mode через Mode > Expert Mode (Cmd+2) для полного контроля:
- Navigator (левая боковая панель) — Просмотр импортированных изображений, списка камер и журнала
- Inspector (правая боковая панель) — Пресеты обучения, конфигурация, метрики в реальном времени, график потерь, улучшения и экспорт
- Viewport — Полноценный интерактивный 3D-вид со всеми элементами управления
- Перетаскивайте секции инспектора для изменения порядка; сворачивайте ненужные секции
Советы для лучших результатов
- Перекрытие — ключевой фактор — Обеспечьте не менее 60% перекрытия между последовательными снимками
- Обходите объект — Охватите все стороны, включая верх, если это возможно
- Равномерное освещение — Избегайте смешанного освещения или сильных теней, меняющихся между снимками
- Стабильная съёмка — Избегайте смазывания от движения; используйте штатив или устойчивую съёмку с рук
- Нейтральный фон — Простой фон помогает алгоритму сосредоточиться на объекте
- Больше изображений — лучше — 30–50 изображений обычно дают отличные результаты
- Используйте пресеты Balanced или Quality — Quick/Preview предназначены для тестирования; для финальных результатов нужно больше итераций
- Попробуйте MCMC для компактного экспорта — Если важен размер файла, MCMC создаёт примерно на 70% меньше Gaussians
Справочник горячих клавиш
Навигация
| Клавиша | Действие |
|---|---|
| Mouse Drag | Вращение / осмотр |
| Shift+Drag / Right-Drag | Панорамирование камеры |
| Scroll | Приближение / движение вперёд |
| WASD | Движение камеры |
| Q / E | Движение вверх / вниз |
| F | Переключение Orbit / Fly-Through |
| Double-click | Центрирование на точке |
| Cmd+Scroll | Регулировка угла обзора |
Виды
| Клавиша | Действие |
|---|---|
| R | Сброс камеры |
| T | Включение/выключение автовращения |
| P | Включение/выключение воспроизведения камер |
| B | Переключение фона |
| 0–9 | Переход к обучающей камере |
| Left/Right Arrow | Предыдущая/следующая камера |
Захват
| Клавиша | Действие |
|---|---|
| S | Сохранить скриншот |
| V | Записать видео с вращением |
| C | Копировать информацию о камере |
Редактор
| Клавиша | Действие |
|---|---|
| Tab | Включение/выключение режима редактирования |
| Click / Drag | Выделение Gaussians |
| Option+Click | Снятие выделения |
| X / Delete | Удаление выделенных |
| Cmd+Z | Отмена |
| [ / ] | Размер кисти |
| Esc | Сброс выделения |
Прочее
| Клавиша | Действие |
|---|---|
| Cmd+1 | Simple Mode |
| Cmd+2 | Expert Mode |
| Cmd+O | Открыть сцену |
| Cmd+S | Сохранить сцену |
| Cmd+Shift+S | Сохранить скриншот |
| Cmd+Shift+T | Начать обучение |
| Cmd+? | Горячие клавиши |
| H | Включение/выключение подсказок |