Hoppa till huvudinnehåll

Utveckla egna appar

En app för TellUs kan byggas med valfri spelmotor eller webbteknik. Det viktiga är att appen kan

  1. rendera en centrerad fisheye-bild i fullskärm,
  2. ta emot touch som TUIO-meddelanden och
  3. paketeras som en Windows-app som PufferConsole kan starta.

Projektion​

Karta i azimuthal equidistant projection

TellUs projicerar en cirkulär bild på insidan av globen. Appens utdata ska därför vara en centrerad fisheye, även kallad azimuthal equidistant projection, och fylla skärmen.

Globen har en öppning i botten och visar ungefär 320 grader av sfären. Begränsa därför fisheye-kamerans synfält till 320 grader. En fisheye på 360 grader pressar in hela sfären i bilden och gör att bland annat Antarktis hamnar längs globens nedre kant.

Karta i equirectangular projection

Här är en bild på jorden i equirektangular projection som omvandlats till fisheye i 360 grader respektive 320 grader.

En generell renderingskedja är:

  1. Rendera scenen från sfärens mitt. För en 3D-scen kan en cubemap användas som mellanformat.
  2. Omvandla riktningen för varje pixel till en azimutal projektion.
  3. Begränsa projektionens synfält till 320 grader.
  4. Placera den cirkulära bilden centrerad i appfönstret och kör appen i fullskärm.
Kontrollera orienteringen på globen

Testa med ett motiv där nord- och sydpol samt väderstreck är lätta att känna igen. En korrekt cirkulär bild på en vanlig skärm kan fortfarande vara roterad eller spegelvänd på globen.

Touch-input med TUIO​

TellUs använder TUIO för touch-input. Händelserna skickas som OSC-meddelanden över UDP till port 3333 på samma dator som appen körs på. Skapa en OSC-server i appen och lyssna efter standardprofilen /tuio/2Dcur.

Ett set-meddelande för en aktiv touch innehåller följande värden:

VärdeBetydelse
idTouchpunktens sessions-id
x, yTouchpunktens position
vx, vyHastighet i respektive riktning
accRörelsens acceleration

TUIO skickar även meddelanden som beskriver vilka touchpunkter som fortfarande är aktiva och ordningen mellan bildrutor. Använd stödet för /tuio/2Dcur i OSC- eller TUIO-biblioteket i stället för att bara läsa enskilda UDP-paket om biblioteket har den möjligheten.

Gör om en touchpunkt till en riktning​

På TellUs avviker koordinaterna från den vanliga normaliseringen i TUIO. I den nuvarande konfigurationen går x (yaw) ungefär från 0.5 till 1.5. Följande pseudokod omvandlar touchpositionen till en riktning från sfärens mitt:

fov = 320
pitch = event.y * PI * (fov / 360)
yaw = (1.5 - event.x) * 2 * PI

direction = [
sin(pitch) * cos(yaw),
-sin(pitch) * sin(yaw),
cos(pitch)
]

Skicka en raycast från scenens origo i direction för att träffa objekt på sfärens insida. Byt plats på eller invertera axlarna om motorns koordinatsystem har en annan upp-riktning eller handedness.

Kalibrera mot den aktuella globen

Koordinatintervall och orientering kan påverkas av installationens konfiguration. Logga några touchpunkter vid globens topp, botten, vänster och höger innan värdena byggs in permanent.

Testa utan TellUs​

För lokal utveckling kan SimpleSimulator.exe från TUIO:s C++-verktyg skicka testhändelser. Ställ in simulatorn på UDP-port 3333 och kontrollera att appen kan skilja mellan start, rörelse och avslut för flera samtidiga touchpunkter.

Testa och registrera appen​

Det går att köra och testa appen direkt från skrivbordet på TellUs-datorn. Kontrollera minst följande innan den registreras i PufferConsole:

  • Appen startar i fullskärm och fisheye-bilden är centrerad.
  • Synfältet är 320 grader och motivets orientering är korrekt på globen.
  • Touch fungerar över hela den synliga ytan, även med flera samtidiga touchpunkter.
  • Appen går att avsluta utan att datorn behöver startas om.

När appen är klar skapar du följande mapp på TellUs-datorn:

C:\PufferConsole\applications\<appnamn>\

Lägg appens .exe-fil och en thumbnail.png på 100 × 100 pixlar i mappen. PufferConsole använder den första .exe-filen som hittas, så lägg bara den startbara programfilen på mappens översta nivå. Appen kan därefter startas från Applications-sidan i PufferConsole.

Projektmall för Three.js​

Exempelprojekt

TellUs-ThreeJS är en projektmall för interaktiva TellUs-appar byggda med Three.js, ett JavaScript-bibliotek för 3D-grafik. Mallen innehåller exempelscener och en globförhandsvisning där du kan testa appen lokalt och simulera touch med mus eller pekskärm. Du kan också växla till en 3D-vy för att inspektera scenen eller till projektorvyn som används på TellUs.

Utgå från exempelscenerna när du skapar eget innehåll. Se projektets README för startinstruktioner och en genomgång av vyerna och scenerna.

När appen är klar paketerar npm run build den som en Windows-app med Neutralino.js. Den färdiga appen kan sedan registreras i PufferConsole.