Przewodnik RadianceKit
Czym jest RadianceKit?
RadianceKit przekształca zdjęcia lub filmy rzeczywistych obiektów w interaktywne modele 3D za pomocą techniki Gaussian Splatting — nowoczesnej metody, która reprezentuje sceny jako miliony malutkich, kolorowych elipsoid 3D (zwanych Gaussianami), zamiast tradycyjnych siatek trójkątnych.
Rezultatem jest fotorealistyczna rekonstrukcja 3D, którą można oglądać z dowolnego kąta i eksportować w różnych formatach.
Szybki start
- Importuj — Przeciągnij zdjęcia lub film sceny do aplikacji
- Przetwórz — RadianceKit wyrówna kamery i wytrenuje model Gaussian Splatting
- Podgląd — Eksploruj wynik 3D w interaktywnym widoku
- Eksportuj — Zapisz jako PLY, SPZ, glTF lub w innych formatach
Importowanie mediów
Zdjęcia
Aby uzyskać najlepsze wyniki:
- Użyj 10–50 zdjęć wykonanych wokół obiektu z różnych kątów
- Nakładanie się kolejnych zdjęć powinno wynosić co najmniej 60%
- Unikaj rozmycia ruchu i prześwietlonych obszarów
- Spójne oświetlenie daje najlepsze wyniki
- Obsługiwane formaty: JPG, PNG, HEIC, TIFF
Wideo
Upuść plik wideo (MP4, MOV), a RadianceKit automatycznie wyodrębni klatki. Dostosuj gęstość próbkowania, aby kontrolować liczbę klatek wyodrębnianych na sekundę wideo.
- Wyższa gęstość = więcej zdjęć = lepsza jakość, ale dłuższe przetwarzanie
- 10-sekundowe wideo przy gęstości 2 fps daje ~20 klatek
Istniejące sceny
Możesz również otworzyć wcześniej wyeksportowane pliki scen:
- .radiancescene — natywny pakiet sceny RadianceKit (zawiera Gaussiany + dane kamer)
- .ply / .spz / .splat — pliki Gaussian Splatting z innych narzędzi
Potok przetwarzania
Wyrównanie kamer (Struktura z ruchu)
RadianceKit najpierw określa, skąd zostało wykonane każde zdjęcie. Ten krok, zwany Structure from Motion (SfM), analizuje cechy wizualne na zdjęciach w celu obliczenia pozycji i orientacji kamer.
Dostępne są dwa silniki:
- Apple Photogrammetry — wbudowany, nie wymaga instalacji. Działa dobrze w większości scen.
- COLMAP — zewnętrzne narzędzie, lepsze dla dużych scen zewnętrznych. Wymaga osobnej instalacji.
Trening Gaussian Splatting
Po wyrównaniu kamer rozpoczyna się trening. Algorytm:
- Umieszcza początkowe Gaussiany w wykrytych punktach 3D
- Iteracyjnie udoskonala ich pozycje, kolory, rozmiary i orientacje
- Okresowo dodaje i usuwa Gaussiany (densyfikacja) w celu uchwycenia szczegółów
#### Presety treningowe
| Preset | Iteracje | Zastosowanie |
|---|---|---|
| Quick | 1 000 | Szybki test, niska jakość |
| Preview | 5 000 | Szybki podgląd |
| Balanced | 20 000 | Dobra jakość, rozsądny czas |
| Quality | 40 000 | Najlepsza jakość |
- Classic — oryginalne podejście klonuj/dziel/przycinaj. Szybsze, generuje więcej Gaussianów.
- MCMC — stochastyczna dynamika Langevina z gradientem (NeurIPS 2024). Mniej Gaussianów, wolniejsze, ale bardziej kompaktowe wyniki.
Widok
Nawigacja
| Sterowanie | Akcja |
|---|---|
| Przeciągnięcie myszą | Orbita wokół sceny |
| Shift+Przeciągnięcie lub Prawy przycisk+Przeciągnięcie | Przesuwanie kamery |
| Kółko przewijania | Przybliżanie/oddalanie |
| Podwójne kliknięcie | Wycentrowanie na punkcie |
| Cmd+Kółko przewijania | Dostosowanie pola widzenia |
Tryb przelotu
Naciśnij F, aby przełączyć między trybem orbity a trybem przelotu. W trybie przelotu:
- WASD — ruch do przodu/tyłu/w lewo/w prawo
- Q / E — ruch w górę/w dół
- Mysz steruje kierunkiem patrzenia
Widoki kamer
- 0–9 — przeskok do pozycji kamery treningowej (1 = pierwsze 10%, 0 = ostatnia)
- Strzałka w lewo/prawo — przechodzenie między kamerami treningowymi
- R — resetowanie kamery do pozycji domyślnej
- T — przełączanie automatycznej rotacji (obrotnica)
- B — zmiana koloru tła (ciemnoszary / czarny / biały)
Przechwytywanie
- S — zapisanie zrzutu ekranu na pulpicie
- V — nagranie obrotowego wideo 360°
- C — skopiowanie informacji o pozycji kamery do schowka
Edycja
Naciśnij Tab lub użyj opcji Widok > Wejdź w tryb edycji, aby aktywować edytor Gaussianów.
- Kliknięcie / Przeciągnięcie — zaznaczanie Gaussianów pędzlem
- Option+Kliknięcie — odznaczanie Gaussianów
- [ / ] — zmniejszenie / zwiększenie rozmiaru pędzla
- X lub Delete — usunięcie zaznaczonych Gaussianów
- Cmd+Z — cofnięcie ostatniego usunięcia
- Esc — wyczyszczenie zaznaczenia
Eksportowanie
RadianceKit obsługuje wiele formatów eksportu:
Formaty 3D
| Format | Rozszerzenie | Opis |
|---|---|---|
| PLY | .ply | Standardowy format chmury punktów. Szeroko obsługiwany. |
| Compressed PLY | .ply | Kwantyzowane atrybuty dla mniejszego rozmiaru pliku. |
| SPZ | .spz | Kompaktowy format Gaussian firmy Google. Bardzo małe pliki. |
| glTF | .glb | Format 3D gotowy do sieci. Działa z three.js i innymi przeglądarkami. |
| .splat | .splat | Lekki format dla przeglądarek internetowych. |
| SOG | .sog | Kompaktowy posortowany format Gaussian. |
Media
| Format | Opis |
|---|---|
| Orbit Video | Obrotowe wideo 360° (MP4) |
| Web Viewer | Samodzielny plik HTML z interaktywną przeglądarką 3D |
Post-processing
Kompaktyfikacja może być włączona w sekcji Ulepszenia. Usuwa prawie niewidoczne Gaussiany po treningu, zmniejszając rozmiar pliku o ~55% bez utraty jakości wizualnej.
Tryb eksperta
Przełącz na tryb eksperta przez Tryb > Tryb eksperta (Cmd+2), aby uzyskać pełną kontrolę:
- Nawigator (lewy pasek boczny) — przeglądanie zaimportowanych zdjęć, lista kamer i dziennik
- Inspektor (prawy pasek boczny) — presety treningowe, konfiguracja, metryki na żywo, wykres strat, ulepszenia i eksport
- Widok — pełny interaktywny widok 3D ze wszystkimi kontrolkami
- Przeciągaj sekcje inspektora, aby zmieniać ich kolejność; zwijaj sekcje, których nie potrzebujesz
Wskazówki dla najlepszych wyników
- Nakładanie się jest kluczowe — Zapewnij co najmniej 60% nakładania się między kolejnymi zdjęciami
- Poruszaj się wokół obiektu — Obejmij wszystkie strony, w tym górę, jeśli to możliwe
- Spójne oświetlenie — Unikaj mieszanego oświetlenia i silnych cieni zmieniających się między ujęciami
- Stabilne ujęcia — Unikaj rozmycia ruchu; użyj statywu lub stabilnego trzymania w ręce
- Neutralne tło — Proste tło pomaga algorytmowi skupić się na obiekcie
- Więcej zdjęć pomaga — 30–50 zdjęć zwykle daje doskonałe wyniki
- Używaj presetów Balanced lub Quality — Quick/Preview służą do testowania; końcowe wyniki wymagają więcej iteracji
- Wypróbuj MCMC dla kompaktowego eksportu — Jeśli rozmiar pliku ma znaczenie, MCMC generuje ~70% mniej Gaussianów
Skróty klawiszowe
Nawigacja
| Klawisz | Akcja |
|---|---|
| Przeciągnięcie myszą | Orbita / Rozglądanie się |
| Shift+Przeciągnięcie / Prawy przycisk+Przeciągnięcie | Przesuwanie kamery |
| Kółko przewijania | Przybliżanie / Ruch do przodu |
| WASD | Ruch kamery |
| Q / E | Ruch w górę / w dół |
| F | Przełączanie Orbita / Przelot |
| Podwójne kliknięcie | Wycentrowanie na punkcie |
| Cmd+Kółko przewijania | Dostosowanie pola widzenia |
Widoki
| Klawisz | Akcja |
|---|---|
| R | Resetowanie kamery |
| T | Przełączanie automatycznej rotacji |
| P | Przełączanie odtwarzania kamery |
| B | Zmiana tła |
| 0–9 | Przeskok do kamery treningowej |
| Strzałka w lewo/prawo | Poprzednia/następna kamera |
Przechwytywanie
| Klawisz | Akcja |
|---|---|
| S | Zapisanie zrzutu ekranu |
| V | Nagranie obrotowego wideo |
| C | Skopiowanie informacji o kamerze |
Edytor
| Klawisz | Akcja |
|---|---|
| Tab | Przełączanie trybu edycji |
| Kliknięcie / Przeciągnięcie | Zaznaczanie Gaussianów |
| Option+Kliknięcie | Odznaczanie |
| X / Delete | Usunięcie zaznaczonych |
| Cmd+Z | Cofnij |
| [ / ] | Rozmiar pędzla |
| Esc | Wyczyszczenie zaznaczenia |
Inne
| Klawisz | Akcja |
|---|---|
| Cmd+1 | Tryb prosty |
| Cmd+2 | Tryb eksperta |
| Cmd+O | Otwórz scenę |
| Cmd+S | Zapisz scenę |
| Cmd+Shift+S | Zapisz zrzut ekranu |
| Cmd+Shift+T | Rozpocznij trening |
| Cmd+? | Skróty klawiszowe |
| H | Przełączanie nakładki pomocy |