Startup Tensormesh zebrał 4,5 mln dolarów na komercjalizację technologii LMCache. Obiecuje nawet 10-krotnie obniżyć koszty wnioskowania AI przez inteligentne cache.
W skrócie:
- Startup Tensormesh pozyskał 4,5 miliona dolarów w rundzie zalążkowej prowadzonej przez Laude Ventures, aby skomercjalizować swoje rozwiązanie optymalizujące pracę AI.
- Technologia firmy, oparta na otwartym projekcie LMCache, ma redukować koszty wnioskowania AI nawet dziesięciokrotnie dzięki ponownemu wykorzystaniu pamięci podręcznej.
- Rozwiązanie jest szczególnie skuteczne w interfejsach czatowych i systemach agentowych, gdzie modele muszą stale odwoływać się do rosnącej historii interakcji.
Wyścig zbrojeń w świecie AI osiągnął absurdalne rozmiary. Firmy wydają miliardy na infrastrukturę, a presja, by wycisnąć z każdego procesora graficznego ostatnie soki, jest większa niż kiedykolwiek. W takim klimacie nawet najmniejsza optymalizacja jest na wagę złota. A jeśli ktoś ma na nią gotowy przepis – i do tego naukowy autorytet – inwestorzy sami pukają do drzwi. To właśnie historia Tensormesh, firmy, która wychodzi z cienia z 4,5 milionami dolarów w kieszeni.
Finansowanie, któremu przewodził fundusz Laude Ventures, ma jeden cel: przekształcić niszowe, otwarte narzędzie LMCache w komercyjny produkt. Za LMCache stoi współzałożyciel Tensormesh, Yihua Cheng, a jego rozwiązanie już teraz jest wykorzystywane w środowiskach open source. Co więcej, zintegrowały je z własnymi systemami takie tuzy jak Google i Nvidia. Teraz startup chce przekuć akademicką reputację w solidny biznes.
Jak działa magia, która oszczędza miliony?
Sercem produktu jest tak zwany key-value cache (lub w skrócie KV cache) – system pamięci używany do wydajniejszego przetwarzania złożonych zapytań. Zamiast mielić w kółko te same dane, model kondensuje je do kluczowych wartości. Problem? W tradycyjnej architekturze ta cenna pamięć podręczna jest bezpowrotnie kasowana po każdym zapytaniu. CEO i współzałożyciel Tensormesh, Junchen Jiang, porównuje to do absurdalnej sytuacji: “To tak, jakby mieć niezwykle bystrego analityka, który czyta wszystkie dane, ale po każdym zadanym pytaniu zapomina, czego się właśnie nauczył”.
Tensormesh postanowił skończyć z tą amnezją. Ich systemy przechowują KV cache, co pozwala na jego ponowne użycie, gdy model wykonuje podobny proces w innym zapytaniu. Ponieważ pamięć GPU jest zasobem równie cennym co diamenty, dane te mogą być rozproszone na kilku warstwach pamięci masowej. Nagroda jest jednak ogromna – znacząco większa moc wnioskowania przy tym samym obciążeniu serwera. Ta zmiana jest szczególnie potężna w przypadku interfejsów czatowych, gdzie modele muszą nieustannie odnosić się do rosnącej historii konwersacji, by zachować kontekst. Podobny problem dotyczy systemów agentowych, które z każdą akcją budują coraz dłuższy dziennik działań i celów.
“Możecie zatrudnić 20 inżynierów albo kupić nasz produkt”
Teoretycznie każda firma technologiczna mogłaby spróbować wdrożyć podobne zmiany samodzielnie. W praktyce jednak złożoność techniczna tego zadania jest przytłaczająca. Zespół Tensormesh, który spędził lata na badaniu tego procesu, stawia na to, że rynek będzie spragniony gotowego, łatwego do wdrożenia rozwiązania. I mają ku temu solidne podstawy.
“Utrzymanie KV cache w dodatkowym systemie przechowywania i jego efektywne ponowne wykorzystanie bez spowalniania całego systemu to niezwykle trudne wyzwanie” – mówi Jiang. “Widzieliśmy, jak ludzie zatrudniają 20 inżynierów i spędzają trzy lub cztery miesiące na budowie takiego systemu. Alternatywnie, mogą użyć naszego produktu i zrobić to bardzo wydajnie”. To odważna, ale prawdopodobnie trafna diagnoza. W świecie, gdzie czas to pieniądz, a talent inżynierski jest towarem deficytowym, propozycja Tensormesh brzmi jak zbawienie.
Co to oznacza dla rynku AI?
Pojawienie się Tensormesh to coś więcej niż tylko kolejny startup z solidnym finansowaniem. To dowód na ewolucję rynku AI. Pierwsza fala należała do gigantów budujących fundamentalne modele. Teraz wkraczamy w erę optymalizacji, gdzie na znaczeniu zyskują wyspecjalizowane firmy, które potrafią sprawić, by cała ta potężna maszyneria działała taniej, szybciej i wydajniej. To właśnie one mogą stać się cichymi bohaterami rewolucji AI – firmami, o których nie mówi się na pierwszych stronach gazet, ale bez których cała reszta nie mogłaby funkcjonować. A dziesięciokrotna redukcja kosztów to argument, który przemówi do każdego, kto kiedykolwiek dostał rachunek za chmurę obliczeniową.