RadianceKit Benutzerhandbuch

Was ist RadianceKit?

RadianceKit verwandelt Fotos oder Videos von realen Objekten in interaktive 3D-Modelle mithilfe von Gaussian Splatting — einer modernen Technik, die Szenen als Millionen winziger, farbiger 3D-Ellipsoide (sogenannte Gaussians) darstellt, anstatt herkömmliche Dreiecksnetze zu verwenden.

Das Ergebnis ist eine fotorealistische 3D-Rekonstruktion, die Sie aus jedem Winkel betrachten und in verschiedenen Formaten exportieren können.

Schnellstart

Importieren — Ziehen Sie Fotos oder ein Video Ihrer Szene in die App
Verarbeiten — RadianceKit richtet Ihre Kameras aus und trainiert ein Gaussian Splatting-Modell
Vorschau — Erkunden Sie das 3D-Ergebnis im interaktiven Viewport
Exportieren — Speichern Sie als PLY, SPZ, glTF oder in anderen Formaten

Das ist alles. Im einfachen Modus ist der gesamte Arbeitsablauf nach dem Import nur ein einziger Klick.

Medien importieren

Fotos

Für die besten Ergebnisse:

Verwenden Sie 10–50 Bilder, die aus verschiedenen Winkeln um das Objekt herum aufgenommen wurden
Die Überlappung zwischen aufeinanderfolgenden Bildern sollte mindestens 60 % betragen
Vermeiden Sie Bewegungsunschärfe und überbelichtete Bereiche
Einheitliche Beleuchtung liefert die besten Ergebnisse
Unterstützte Formate: JPG, PNG, HEIC, TIFF

Sie können Bilder per Drag & Drop einfügen, Ablage > Dateien durchsuchen verwenden oder einen ganzen Ordner ablegen.

Video

Ziehen Sie eine Videodatei (MP4, MOV) hinein, und RadianceKit extrahiert automatisch Einzelbilder. Passen Sie die Abtastdichte an, um zu steuern, wie viele Bilder pro Sekunde Video extrahiert werden.

Höhere Dichte = mehr Bilder = bessere Qualität, aber längere Verarbeitung
Ein 10-Sekunden-Video bei 2 fps Dichte ergibt ~20 Einzelbilder

Vorhandene Szenen

Sie können auch zuvor exportierte Szenendateien öffnen:

.radiancescene — RadianceKits natives Szenenpaket (enthält Gaussians + Kameradaten)
.ply / .spz / .splat — Gaussian Splatting-Dateien aus anderen Werkzeugen

Verarbeitungspipeline

Kameraausrichtung (Structure from Motion)

RadianceKit bestimmt zunächst, von wo jedes Foto aufgenommen wurde. Dieser Schritt, genannt Structure from Motion (SfM), analysiert visuelle Merkmale in Ihren Bildern, um Kamerapositionen und -ausrichtungen zu berechnen.

Zwei Backends stehen zur Verfügung:

Apple Photogrammetry — Integriert, keine Installation erforderlich. Funktioniert gut für die meisten Szenen.
COLMAP — Externes Werkzeug, besser für große Außenszenen. Erfordert separate Installation.

Gaussian Splatting Training

Sobald die Kameras ausgerichtet sind, beginnt das Training. Der Algorithmus:

Platziert erste Gaussians an erkannten 3D-Punkten
Verfeinert iterativ deren Positionen, Farben, Größen und Ausrichtungen
Fügt regelmäßig Gaussians hinzu und entfernt sie (Densification), um Details zu erfassen

Sie können die Verbesserung des 3D-Modells in Echtzeit im Viewport beobachten.

#### Trainings-Voreinstellungen

Voreinstellung	Iterationen	Anwendungsfall
Schnell	1.000	Schneller Test, niedrige Qualität
Vorschau	5.000	Schnelle Vorschau
Ausgewogen	20.000	Gute Qualität, angemessene Zeit
Qualität	40.000	Beste Qualität

Zwei Densification-Strategien stehen zur Verfügung:

Classic — Ursprünglicher Clone/Split/Prune-Ansatz. Schneller, erzeugt mehr Gaussians.
MCMC — Stochastic Gradient Langevin Dynamics (NeurIPS 2024). Weniger Gaussians, langsamer, aber kompaktere Ergebnisse.

Der Viewport

Navigation

Eingabe	Aktion
Maus ziehen	Um die Szene kreisen
Shift+Ziehen oder Rechtsklick-Ziehen	Kamera verschieben
Scrollrad	Herein-/Herauszoomen
Doppelklick	Auf einen Punkt zentrieren
Cmd+Scrollen	Sichtfeld anpassen

Flugmodus

Drücken Sie F, um zwischen Orbit- und Flugmodus zu wechseln. Im Flugmodus:

WASD — Vorwärts/Zurück/Links/Rechts bewegen
Q / E — Auf-/Abwärts bewegen
Maus steuert die Blickrichtung

Kameraansichten

0–9 — Zu Trainingskamerapositionen springen (1 = erste 10 %, 0 = letzte)
Links/Rechts-Pfeiltaste — Durch Trainingskameras durchschalten
R — Kamera auf Standardposition zurücksetzen
T — Automatische Drehung ein-/ausschalten (Drehteller)
B — Hintergrundfarbe wechseln (Dunkelgrau / Schwarz / Weiß)

Aufnahme

S — Screenshot auf dem Schreibtisch speichern
V — 360°-Drehtellervideo aufnehmen
C — Kamerapositionsinformationen in die Zwischenablage kopieren

Bearbeitung

Drücken Sie Tab oder verwenden Sie Viewport > Bearbeitungsmodus aktivieren, um den Gaussian-Editor zu aktivieren.

Klick / Ziehen — Gaussians mit einem Pinsel auswählen
Option+Klick — Gaussians abwählen
[ / ] — Pinselgröße verkleinern / vergrößern
X oder Entf — Ausgewählte Gaussians löschen
Cmd+Z — Letzte Löschung rückgängig machen
Esc — Auswahl aufheben

Dies ist nützlich, um schwebende Artefakte oder unerwünschte Teile der Szene zu entfernen.

Exportieren

RadianceKit unterstützt mehrere Exportformate:

3D-Formate

Format	Erweiterung	Beschreibung
PLY	.ply	Standard-Punktwolkenformat. Weit verbreitet.
Komprimiertes PLY	.ply	Quantisierte Attribute für kleinere Dateigröße.
SPZ	.spz	Googles kompaktes Gaussian-Format. Sehr kleine Dateien.
glTF	.glb	Webfähiges 3D-Format. Funktioniert mit three.js und anderen Viewern.
.splat	.splat	Leichtgewichtiges Format für Web-Viewer.
SOG	.sog	Kompaktes, sortiertes Gaussian-Format.

Medien

Format	Beschreibung
Orbit-Video	360°-Drehtellervideo (MP4)
Web-Viewer	Eigenständige HTML-Datei mit interaktivem 3D-Viewer

Nachbearbeitung

Kompaktifizierung kann im Abschnitt Verbesserungen aktiviert werden. Sie entfernt nahezu unsichtbare Gaussians nach dem Training und reduziert die Dateigröße um ~55 % ohne sichtbaren Qualitätsverlust.

Expertenmodus

Wechseln Sie über Modus > Expertenmodus (Cmd+2) zum Expertenmodus für volle Kontrolle:

Navigator (linke Seitenleiste) — Importierte Bilder, Kameraliste und Protokoll durchsuchen
Inspektor (rechte Seitenleiste) — Trainings-Voreinstellungen, Konfiguration, Live-Metriken, Verlustdiagramm, Verbesserungen und Export
Viewport — Vollständige interaktive 3D-Ansicht mit allen Steuerungen
Inspektorabschnitte per Drag & Drop neu anordnen; nicht benötigte Abschnitte zuklappen

Tipps für die besten Ergebnisse

Überlappung ist entscheidend — Stellen Sie mindestens 60 % Überlappung zwischen aufeinanderfolgenden Bildern sicher
Um das Objekt herumgehen — Alle Seiten abdecken, einschließlich der Oberseite, wenn möglich
Einheitliche Beleuchtung — Vermeiden Sie gemischte Beleuchtung oder starke Schatten, die sich zwischen den Aufnahmen verändern
Ruhige Aufnahmen — Vermeiden Sie Bewegungsunschärfe; Stativ oder stabile Freihandaufnahme
Neutraler Hintergrund — Einfache Hintergründe helfen dem Algorithmus, sich auf das Objekt zu konzentrieren
Mehr Bilder helfen — 30–50 Bilder liefern in der Regel hervorragende Ergebnisse
Verwenden Sie die Voreinstellungen Ausgewogen oder Qualität — Schnell/Vorschau sind zum Testen; endgültige Ergebnisse benötigen mehr Iterationen
Versuchen Sie MCMC für kompakte Exporte — Wenn die Dateigröße wichtig ist, erzeugt MCMC ~70 % weniger Gaussians

Tastenkürzel-Referenz

Navigation

Taste	Aktion
Maus ziehen	Kreisen / Umsehen
Shift+Ziehen / Rechtsklick-Ziehen	Kamera verschieben
Scrollen	Zoomen / Vorwärts bewegen
WASD	Kamera bewegen
Q / E	Auf- / Abwärts bewegen
F	Orbit- / Flugmodus umschalten
Doppelklick	Auf Punkt zentrieren
Cmd+Scrollen	Sichtfeld anpassen

Ansichten

Taste	Aktion
R	Kamera zurücksetzen
T	Automatische Drehung ein-/ausschalten
P	Kamera-Wiedergabe ein-/ausschalten
B	Hintergrund wechseln
0–9	Zu Trainingskamera springen
Links/Rechts-Pfeiltaste	Vorherige/nächste Kamera

Aufnahme

Taste	Aktion
S	Screenshot speichern
V	Drehtellervideo aufnehmen
C	Kamerainfo kopieren

Editor

Taste	Aktion
Tab	Bearbeitungsmodus umschalten
Klick / Ziehen	Gaussians auswählen
Option+Klick	Abwählen
X / Entf	Auswahl löschen
Cmd+Z	Rückgängig
[ / ]	Pinselgröße
Esc	Auswahl aufheben

Sonstiges

Taste	Aktion
Cmd+1	Einfacher Modus
Cmd+2	Expertenmodus
Cmd+O	Szene öffnen
Cmd+S	Szene speichern
Cmd+Shift+S	Screenshot speichern
Cmd+Shift+T	Training starten
Cmd+?	Tastenkürzel
H	Hilfe-Overlay ein-/ausblenden