„TwelveLabs“ pritraukė 100 mln. USD: kol visi kalba apie AI vaizdo kūrimą, jie moko mašinas video suprasti

Kol didžioji AI naujienų dalis pastaruoju metu sukasi apie tai, kas geriau sugeneruos vaizdo įrašą — „OpenAI“ „Sora“, „Google“ „Veo“ ir panašiai — San Franciske ir Seule įsikūrusi komanda tyliai sprendžia priešingą, kur kas nuobodesnę, bet potencialiai vertingesnę problemą. Liepos 2 d. „TwelveLabs“ paskelbė užsidariusi 100 mln. USD Series B finansavimo raundą ir pareiškė kurianti tai, ką pati vadina „video superintelektu“ — sistemą, kuri mašinoms leidžia suprasti ir išnaršyti jau egzistuojantį vaizdą, o ne kurti naują.

Kas įvyko

Raundui bendravadovavo garsus rizikos kapitalo fondas NEA ir „NAVER Ventures“ (Pietų Korėjos interneto milžino „Naver“ investicinis padalinys). Prie jo prisidėjo „Amazon“, „Radical Ventures“, „Korea Investment Partners“, „Index Ventures“, „Quadrille Capital“ ir „Red Bull Ventures“. Su šiuo raundu bendrovės nuo 2021-ųjų pritraukta suma perkopė 207 mln. USD.

„TwelveLabs“ istorija — kiek netipinė JAV–Korėjos hibridas: būstinės yra ir San Franciske, ir Seule, o dabar planuojama plėstis į Niujorką bei Londoną. Bendrovę įkūrė penkiese, jai vadovauja Jae Lee — buvęs vyriausiasis Pietų Korėjos gynybos ministerijos duomenų analitikas, baigęs informatiką UC Berkeley. Per pastaruosius metus komanda išaugo maždaug nuo 58 iki 178 darbuotojų.

„Pasaulio video vis dar didele dalimi tamsus“

Esminę idėją geriausiai nusako paties Jae Lee frazė: mašinoms pasaulio video „vis dar didele dalimi tamsus“. Praktiškai tai reiškia, kad milžiniški vaizdo archyvai — televizijų laidos, stebėjimo kamerų įrašai, sporto transliacijos, gamyklų linijų vaizdai — guli serveriuose kaip beveik neišnaudojami duomenys. Tekstą kompiuteriai indeksuoja ir išnaršo akimirksniu; video kol kas lieka „juoda dėže“, kurią tenka peržiūrėti žmogui.

„Prieš penkerius metus padarėme priešingą nuomonei statymą“, — apie sprendimą lažintis ne ant kalbos, o ant „įrašytos judančios realybės“ sako Jae Lee. Ta filosofija ir yra pagrindinis „TwelveLabs“ skiriamasis bruožas: bendrovė modelius kūrė iš pradžių daugiarūšius (angl. multimodal), o ne pritaikė kalbos modelius vaizdui.

Du modeliai: paieška ir samprotavimas

Sistema remiasi dviem modeliais. „Marengo 3.0“ paverčia neapdorotą įrašą paieškai tinkamu semantiniu sluoksniu — jis „sugauna“ vaizdą, garsą, kalbą ir judesį bei jų tarpusavio ryšius, kad video taptų išnaršomas kaip tekstas. „Pegasus 1.5“ eina toliau ir samprotauja apie tai, kas vyksta įraše: atpažįsta scenų ribas, veikėjus, laiko atkarpas ir priežastinius ryšius maždaug iki dviejų valandų trukmės medžiagoje. Svarbi detalė — modeliai išlaiko atmintį tarp užklausų, todėl žinojimas apie konkretų archyvą kaupiasi, o ne pradedamas iš naujo kiekvieną kartą.

Skirtumas nuo generatyvinių įrankių čia principinis. „Sora“ ar „Veo“ vaizdą kuria; „TwelveLabs“ jį skaito. Tai mažiau efektinga demonstracijai, bet daug artimiau tam, ką realiai daro daugelio įmonių video archyvai.

Kam to reikia versle

„TwelveLabs“ taiko į sritis, kuriose video yra pagrindinė, bet sunkiai pasiekiama informacija: žiniasklaidą ir pramogas, reklamą, saugumą ir stebėjimą, sportą, automobilių pramonę, sveikatos apsaugą, gamyklų monitoringą bei transliacijas. Įsivaizduokite galimybę parašyti užklausą natūralia kalba — „surask visus epizodus, kur prekės ženklas matomas kartu su produktu“ arba „parodyk visus incidentus prie įvažiavimo“ — ir per sekundes gauti tikslias vietas šimtų valandų įraše.

Lietuvos kontekste tai nėra abstrakcija. Televizijos ir turinio gamintojai, mažmena su produktų vaizdo bibliotekomis, e-komercija, saugos tarnybos, sporto klubai ar gamybos įmonės su kokybės kontrolės kameromis sėdi ant valandų valandų neišnaudoto video. Įrankis, kuris tą archyvą paverčia paieškos objektu, sprendžia realų kaštų ir laiko klausimą — kur šiandien reikia žmogaus, žiūrinčio įrašus rankomis. Rinkos vertintojai AI video paieškos segmentą iki 2028-ųjų prognozuoja apie 3,2 mlrd. USD.

Kodėl „Amazon“ dalyvavimas — atskira žinia

Su šiuo raundu „Amazon“ užsitikrino, kad AWS taptų pageidaujamu „TwelveLabs“ debesijos tiekėju. Sutartis daugiametė: nauji modeliai bus optimizuojami „AWS Trainium“ lustams ir pirmiausia paleidžiami būtent ten, o paslauga bus prieinama per „AWS Marketplace“ ir „Amazon Bedrock“.

Tai iliustruoja tendenciją, kuri kartojasi visame AI sektoriuje: debesijos milžinai investuoja į startuolius ne vien dėl grąžos, o kad užsirakintų būsimą skaičiavimo pajėgumų vartojimą ir prieigą prie produkto kelrodžio. Investicija tampa ir komercine sutartimi. Panašiai anksčiau elgėsi „Microsoft“ su „OpenAI“ ar „Amazon“ su „Anthropic“ — dabar tas pats modelis nusileidžia iki siauresnių, infrastruktūrinių AI nišų.

Ką tai keičia bendram vaizdui

Investuotojų dėmesys ir toliau plūsta į AI „vamzdyną“, o ne tik į efektingus vartotojiškus produktus. „TwelveLabs“ raundas — dar vienas ženklas, kad „supratimo“, ne „kūrimo“ pusė gali pasirodyti ilgaamžiškesnė verslo problema: sugeneruotas vaizdas yra malonu žiūrėti, bet įmonės pinigus moka už tai, kas padeda susitvarkyti su jau turimais duomenimis.

Bendrovė nėra visiškai nauja — ji tris metus iš eilės pateko į „CB Insights AI100“ sąrašą ir 2023-iaisiais buvo tarp „Fast Company“ inovatyviausių įmonių. Klausimas, į kurį atsakys artimiausi metai, paprastas: ar „video superintelektas“ taps standartiniu įmonių įrankiu, kaip šiandien tekstinė paieška, ar liks nišine technologija saugumui ir žiniasklaidai. 100 mln. USD ir AWS už nugaros rodo, kad bent jau rimti žaidėjai lažinasi ties pirmuoju scenarijumi.