Amazon i Quora stworzyły system, który skraca czas integracji modeli AI z kilku dni do 15 minut. To rozwiązanie redukuje potrzebne zmiany w kodzie o 95%.
W skrócie:
- Wdrożenie nowego modelu AI na platformie Poe od Quory skrócono z kilku dni do zaledwie 15 minut dzięki współpracy z inżynierami AWS.
- Nowy system zredukował liczbę wymaganych zmian w kodzie o 95%, co pozwoliło na szybką integrację ponad 30 zaawansowanych modeli z Amazon Bedrock.
- Architektura opiera się na uniwersalnym frameworku API, który działa jak tłumacz, standaryzując komunikację między różnymi systemami sztucznej inteligencji.
Każdy, kto próbował podłączyć do jednego systemu kilka różnych modeli AI od różnych dostawców, wie, że to droga przez mękę. Inne protokoły, odmienne specyfikacje API, różne wymagania operacyjne – istny chaos. Zamiast budować kolejne mosty, które i tak zaraz trzeba będzie przebudowywać, inżynierowie Quory i Amazon Web Services postanowili zbudować jeden, uniwersalny port, do którego pasuje każda wtyczka. I, co tu dużo mówić, udało im się. Stworzyli zunifikowany framework, który sprawił, że integracja nowego modelu AI na platformie Poe od Quory zajmuje kwadrans, a nie trzy dni.
Jak skrócić drogę z kilku dni do kwadransa?
Platforma Poe, stworzona przez Quorę, to agregator chatbotów. Użytkownicy mogą w jednym miejscu rozmawiać z modelami od różnych firm, porównywać ich odpowiedzi i wybierać najlepsze narzędzie do konkretnego zadania. Problem polegał na tym, że dodawanie kolejnych modeli z usługi Amazon Bedrock – która sama jest hubem dla AI od Anthropic, Meta czy Mistral – wymagało ogromnych zasobów inżynieryjnych. Każdy model był osobnym projektem integracyjnym.
Rozwiązaniem okazała się warstwa abstrakcji, nazwana przez twórców „zunifikowanym frameworkiem API”. W praktyce działa to jak inteligentny adapter. Z jednej strony mamy system Poe, oparty na nowoczesnej, strumieniowej architekturze Server-Sent Events, idealnej do rozmów w czasie rzeczywistym. Z drugiej – korporacyjny standard Amazon Bedrock, bazujący na REST API. Framework stworzony przez AWS Generative AI Innovation Center i Quorę tłumaczy komunikację między tymi dwoma światami w locie. Dzięki niemu system Poe „widzi” wszystkie modele Bedrock w ten sam, ujednolicony sposób.
“Zbuduj raz, wdrażaj wielokrotnie”. Na czym polega ta magia?
Sercem innowacji jest podejście oparte na szablonach konfiguracyjnych. Zamiast pisać setki linijek kodu dla każdego nowego modelu, programiści Quory teraz po prostu wypełniają gotowy formularz. Definiują w nim nazwę bota, identyfikator modelu w AWS, region oraz kilka specyficznych parametrów, jak maksymalna liczba tokenów czy temperatura. Resztę – czyli całą logikę połączenia, autoryzacji i tłumaczenia danych – załatwia automat. Efekt? Redukcja wymaganych zmian w kodzie o 95%.
Co więcej, system jest niezwykle elastyczny. Za pomocą prostych flag w konfiguracji (np. ‘enable_image_comprehension: True‘) można rozszerzyć możliwości modeli. Przykładowo, model czysto tekstowy, jak Amazon Nova Micro, dzięki tej funkcji zyskuje zdolność „rozumienia” obrazów. Jak? Platforma Poe sama analizuje obraz, zamienia go na opis tekstowy i dopiero wtedy wysyła go do modelu. Użytkownik końcowy ma wrażenie, że rozmawia z modelem multimodalnym, a wszystko dzieje się pod maską, bez skomplikowanych zmian w kodzie.
Co to oznacza dla branży AI?
Przypadek Quory i Amazona to coś więcej niż tylko wewnętrzny sukces dwóch firm. To studium przypadku, które pokazuje, jak radzić sobie z rosnącą fragmentacją w ekosystemie AI. Inwestycja w elastyczną architekturę i automatyzację przyniosła wymierne korzyści: wdrożenie nowego modelu przyspieszyło 96-krotnie, a czas testów skrócił się o 87%. Zespół inżynierów, który wcześniej poświęcał 65% czasu na żmudne integracje, teraz może przeznaczyć 60% swoich zasobów na rozwijanie nowych, innowacyjnych funkcji dla użytkowników.
Wszystko wskazuje na to, że podobne „bramy” czy „warstwy abstrakcji” staną się standardem w firmach, które chcą na poważnie korzystać z dobrodziejstw generatywnej AI. Zamiast budować od zera połączenia z każdym nowym modelem, który pojawia się na rynku, znacznie mądrzej jest zainwestować w system, który zrobi to za nas. Szybciej, taniej i z mniejszym ryzykiem błędów. To po prostu pragmatyzm w czystej postaci.