RadianceKit-käyttöopas

Mikä on RadianceKit?

RadianceKit muuntaa valokuvia tai videoita todellisista kohteista interaktiivisiksi 3D-malleiksi käyttäen Gaussian Splatting -tekniikkaa — modernia menetelmää, joka esittää kohtaukset miljoonina pieninä, värillisinä 3D-ellipsoideina (ns. Gaussian-primitiiveinä) perinteisten kolmioverkkojen sijaan.

Tuloksena on fotorealistinen 3D-rekonstruktio, jota voit tarkastella mistä kulmasta tahansa ja viedä eri muodoissa.

Pikaopas

Tuo — Vedä valokuvia tai video kohteestasi sovellukseen
Käsittele — RadianceKit kohdistaa kamerat ja kouluttaa Gaussian Splatting -mallin
Esikatsele — Tutki 3D-tulosta interaktiivisessa näkymässä
Vie — Tallenna PLY-, SPZ-, glTF- tai muissa muodoissa

Siinä kaikki. Yksinkertaisessa tilassa koko työnkulku on yksi painallus tuonnin jälkeen.

Median tuominen

Valokuvat

Parhaan tuloksen saavuttamiseksi:

Käytä 10–50 kuvaa kohteen ympäriltä eri kulmista
Peräkkäisten kuvien päällekkäisyyden tulisi olla vähintään 60 %
Vältä liike-epäterävyyttä ja ylivalottuneita alueita
Tasainen valaistus tuottaa parhaat tulokset
Tuetut muodot: JPG, PNG, HEIC, TIFF

Voit vetää ja pudottaa kuvia, käyttää Tiedosto > Selaa tiedostoja tai pudottaa kokonaisen kansion.

Video

Pudota videotiedosto (MP4, MOV) ja RadianceKit poimii kehykset automaattisesti. Säädä näytteenottotiheyttä hallitaksesi, kuinka monta kehystä poimitaan sekuntia kohti.

Suurempi tiheys = enemmän kuvia = parempi laatu, mutta pidempi käsittelyaika
10 sekunnin video 2 fps tiheydellä tuottaa ~20 kehystä

Olemassa olevat kohtaukset

Voit myös avata aiemmin vietyjä kohtaustiedostoja:

.radiancescene — RadianceKitin oma kohtauspaketti (sisältää Gaussians + kameradata)
.ply / .spz / .splat — Gaussian Splatting -tiedostoja muista työkaluista

Käsittelyputki

Kameran kohdistus (Structure from Motion)

RadianceKit määrittää ensin, mistä kukin valokuva on otettu. Tämä vaihe, nimeltään Structure from Motion (SfM), analysoi visuaalisia piirteitä kuviesi poikki laskeakseen kameroiden sijainnit ja suunnat.

Kaksi taustajärjestelmää on käytettävissä:

Apple Photogrammetry — Sisäänrakennettu, ei asennusta tarvita. Toimii hyvin useimmissa kohtauksissa.
COLMAP — Ulkoinen työkalu, parempi suurille ulkokohtauksille. Vaatii erillisen asennuksen.

Gaussian Splatting -koulutus

Kun kamerat on kohdistettu, koulutus alkaa. Algoritmi:

Sijoittaa alkuperäiset Gaussians havaittuihin 3D-pisteisiin
Tarkentaa iteratiivisesti niiden sijainteja, värejä, kokoja ja suuntauksia
Lisää ja poistaa säännöllisesti Gaussians-elementtejä (densifiointi) yksityiskohtien tallentamiseksi

Voit seurata 3D-mallin paranemista reaaliajassa näkymässä.

#### Koulutusprofiilit

Profiili	Iteraatiot	Käyttötarkoitus
Quick	1 000	Pikatesti, matala laatu
Preview	5 000	Nopea esikatselu
Balanced	20 000	Hyvä laatu, kohtuullinen aika
Quality	40 000	Paras laatu

Kaksi densifiointistrategiaa on käytettävissä:

Classic — Alkuperäinen kloonaus/jako/karsinta-menetelmä. Nopeampi, tuottaa enemmän Gaussians-elementtejä.
MCMC — Stochastic Gradient Langevin Dynamics (NeurIPS 2024). Vähemmän Gaussians-elementtejä, hitaampi, mutta kompaktimmat tulokset.

Näkymä

Navigointi

Syöte	Toiminto
Hiiren veto	Kierrä kohtauksen ympäri
Shift+Veto tai Oikea veto	Panoroi kameraa
Vierityspyörä	Lähennä/loitonna
Kaksoisnapsautus	Keskitä uudelleen pisteeseen
Cmd+Scroll	Säädä näkökenttää

Läpilentotila

Paina F vaihtaaksesi Orbit- ja Läpilentotilan välillä. Läpilentotilassa:

WASD — Liiku eteen/taakse/vasemmalle/oikealle
Q / E — Liiku ylös/alas
Hiiri ohjaa katsesuuntaa

Kameranäkymät

0–9 — Hyppää koulutuskameroiden sijainteihin (1 = ensimmäiset 10 %, 0 = viimeinen)
Vasen/Oikea nuoli — Selaa koulutuskameroita
R — Palauta kamera oletussijaintiin
T — Vaihda automaattinen kierto (pyöritysalusta)
B — Vaihda taustaväriä (tummanharmaa / musta / valkoinen)

Tallennus

S — Tallenna kuvakaappaus työpöydälle
V — Nauhoita 360°-pyöritysalustavideo
C — Kopioi kameran sijaintitiedot leikepöydälle

Muokkaus

Paina Tab tai käytä Näkymä > Aloita muokkaustila aktivoidaksesi Gaussian-editorin.

Napsautus / Veto — Maalaa-valitse Gaussians siveltimellä
Option+Napsautus — Poista Gaussians valinnasta
[ / ] — Pienennä / suurenna sivellinkokoa
X tai Delete — Poista valitut Gaussians
Cmd+Z — Kumoa viimeisin poisto
Esc — Tyhjennä valinta

Tämä on hyödyllistä leijuvien artefaktien tai kohtauksen ei-toivottujen osien poistamiseen.

Vienti

RadianceKit tukee useita vientimuotoja:

3D-muodot

Muoto	Tiedostopääte	Kuvaus
PLY	.ply	Vakio pistepilvimuoto. Laajasti tuettu.
Compressed PLY	.ply	Kvantisoidut attribuutit pienempää tiedostokokoa varten.
SPZ	.spz	Googlen kompakti Gaussian-muoto. Erittäin pienet tiedostot.
glTF	.glb	Verkkovalmis 3D-muoto. Toimii three.js:n ja muiden katseluohjelmien kanssa.
.splat	.splat	Kevyt muoto verkkokatseluohjelmille.
SOG	.sog	Kompakti lajiteltu Gaussian-muoto.

Media

Muoto	Kuvaus
Orbit Video	360°-pyöritysalustavideo (MP4)
Web Viewer	Itsenäinen HTML-tiedosto interaktiivisella 3D-katseluohjelmalla

Jälkikäsittely

Kompaktointi voidaan ottaa käyttöön Parannukset-osiossa. Se poistaa lähes näkymättömät Gaussians koulutuksen jälkeen ja pienentää tiedostokokoa ~55 % ilman näkyvää laadun heikkenemistä.

Asiantuntijatila

Vaihda Asiantuntijatilaan kohdasta Tila > Asiantuntijatila (Cmd+2) täyden hallinnan saamiseksi:

Navigaattori (vasen sivupalkki) — Selaa tuotuja kuvia, kameralistaa ja lokia
Tarkastaja (oikea sivupalkki) — Koulutusprofiilit, konfiguraatio, reaaliaikaiset mittaukset, häviökaavio, parannukset ja vienti
Näkymä — Täysi interaktiivinen 3D-näkymä kaikilla ohjaimilla
Vedä tarkastajan osioita järjestyksen muuttamiseksi; sulje osiot, joita et tarvitse

Vinkkejä parhaiden tulosten saavuttamiseksi

Päällekkäisyys on avain — Varmista vähintään 60 % päällekkäisyys peräkkäisten kuvien välillä
Liiku kohteen ympäri — Kata kaikki sivut, mukaan lukien yläpuoli mahdollisuuksien mukaan
Tasainen valaistus — Vältä sekavalaistusta tai voimakkaita varjoja, jotka muuttuvat kuvien välillä
Vakaat otokset — Vältä liike-epäterävyyttä; käytä jalustaa tai vakaata käsivaraisotetta
Neutraali tausta — Yksinkertaiset taustat auttavat algoritmia keskittymään kohteeseen
Useammat kuvat auttavat — 30–50 kuvaa tuottaa yleensä erinomaisia tuloksia
Käytä Balanced- tai Quality-profiileja — Quick/Preview on testaukseen; lopputulokset vaativat enemmän iteraatioita
Kokeile MCMC:tä kompakteihin vienteihin — Jos tiedostokoko on tärkeä, MCMC tuottaa ~70 % vähemmän Gaussians-elementtejä

Pikanäppäinten viiteopas

Navigointi

Näppäin	Toiminto
Hiiren veto	Kierrä / Katso ympärille
Shift+Veto / Oikea veto	Panoroi kameraa
Scroll	Lähennä / Liiku eteen
WASD	Liikuta kameraa
Q / E	Liiku ylös / alas
F	Vaihda Orbit / Läpilento
Kaksoisnapsautus	Keskitä uudelleen pisteeseen
Cmd+Scroll	Säädä näkökenttää

Näkymät

Näppäin	Toiminto
R	Palauta kamera
T	Vaihda automaattinen kierto
P	Vaihda kameran toisto
B	Vaihda taustaa
0–9	Hyppää koulutuskameraan
Vasen/Oikea nuoli	Edellinen/seuraava kamera

Tallennus

Näppäin	Toiminto
S	Tallenna kuvakaappaus
V	Nauhoita pyöritysalustavideo
C	Kopioi kameratiedot

Editori

Näppäin	Toiminto
Tab	Vaihda muokkaustila
Napsautus / Veto	Valitse Gaussians
Option+Napsautus	Poista valinta
X / Delete	Poista valitut
Cmd+Z	Kumoa
[ / ]	Sivellinkoko
Esc	Tyhjennä valinta

Muut

Näppäin	Toiminto
Cmd+1	Yksinkertainen tila
Cmd+2	Asiantuntijatila
Cmd+O	Avaa kohtaus
Cmd+S	Tallenna kohtaus
Cmd+Shift+S	Tallenna kuvakaappaus
Cmd+Shift+T	Aloita koulutus
Cmd+?	Pikanäppäimet
H	Vaihda ohjepeitto