Hiszpański gigant bankowy BBVA, we współpracy z AWS, dokonał niemal niemożliwego. Stworzył globalną platformę AI, która obsługuje 6500 analityków danych.
W skrócie:
- BBVA zmigrowało swoją globalną platformę danych i analityki do chmury AWS, aby obsłużyć ponad 6500 analityków danych i inżynierów w siedmiu krajach.
- Sercem systemu jest usługa Amazon SageMaker, która daje zespołom dostęp do narzędzi w izolowanych, bezpiecznych środowiskach zwanych “piaskownicami” (sandboxes).
- Dzięki nowej architekturze BBVA skróciło czas udostępniania środowisk analitycznych swoim zespołom o niewiarygodne 94%, co radykalnie przyspieszyło innowacje.
Globalna korporacja to skomplikowany organizm. Tysiące pracowników, petabajty danych, dziesiątki projektów naraz. Utrzymanie tego w ryzach, zwłaszcza w sektorze finansowym, gdzie precyzja i bezpieczeństwo to świętość, przypomina próbę dyrygowania orkiestrą, w której każdy muzyk gra z innych nut. Bank BBVA postanowił jednak napisać partyturę od nowa, a batutę powierzył technologii chmurowej od Amazon Web Services. Efekt? Projekt, o którym w branży będzie się mówić latami.
Jak ujarzmić 6500 analityków w jednym systemie?
Wyobraźmy sobie ponad 6500 analityków danych i inżynierów rozrzuconych po siedmiu krajach i dwóch kontynentach. Każdy z nich potrzebuje dostępu do danych, narzędzi do modelowania i mocy obliczeniowej. W starym, on-premise’owym świecie oznaczało to niekończące się prośby do działu IT, długie oczekiwanie i masę biurokracji. BBVA rozwiązało ten problem, wprowadzając koncepcję “piaskownic” (sandbox accounts) – w pełni izolowanych, ale i w pełni wyposażonych środowisk pracy. Każdy zespół lub projekt dostaje własną piaskownicę, w której może swobodnie eksperymentować.
Kluczem do tego świata jest Amazon SageMaker Studio, które działa jak centralny kokpit dla analityka. Z jego poziomu użytkownicy mogą budować modele uczenia maszynowego, przetwarzać dane za pomocą AWS Glue czy Amazon EMR, a nawet tworzyć raporty BI. Co istotne, platforma daje swobodę, ale pod ścisłym nadzorem. To nie jest Dziki Zachód. Dostęp do danych jest precyzyjnie regulowany przez AWS Lake Formation, a administratorzy centralnie zarządzają dostępnymi narzędziami i zasobami. To genialne połączenie autonomii z centralnym ładem korporacyjnym.
Kto za to wszystko zapłaci? Czyli FinOps w praktyce
Chmura jest potężna, ale potrafi być też kosztowna, jeśli nikt nie pilnuje rachunków. BBVA podeszło do tematu z żelazną dyscypliną, tworząc dedykowaną praktykę FinDataOps (FinOps for Data). Jej zadanie jest proste: zapewnić, by innowacyjność nie prowadziła do bankructwa. Zespół FinDataOps wdrożył ponad 60 “barierek ochronnych” (guardrails), które pilnują kosztów na każdym kroku.
Barierki są dwojakiego rodzaju. Prewencyjne, które działają już na etapie tworzenia piaskownicy – na przykład ograniczają maksymalny rozmiar klastrów obliczeniowych, do jakich ma dostęp dany użytkownik. I detektywistyczne, które monitorują pracę w czasie rzeczywistym. Przykład? Jeśli zapytanie do bazy danych trwa zbyt długo, generując niepotrzebne koszty, system automatycznie je zatrzyma i powiadomi konsolę. Ponadto każda piaskownica ma przypisany budżet. Jeśli jego zużycie przekroczy 200%, środowisko jest automatycznie wyłączane do czasu wyjaśnienia przyczyny. To twarde, ale skuteczne zasady, które uczą odpowiedzialności finansowej za wykorzystywane zasoby.
Dlaczego skrócenie czasu wdrożenia o 94% to rewolucja?
Największe wrażenie robi jednak liczba, którą BBVA chwali się na każdym kroku: 94% redukcji czasu potrzebnego na udostępnienie analitykom gotowego środowiska pracy. To nie jest kosmetyczna poprawa. To zmiana zasad gry. Wcześniej proces ten mógł trwać tygodniami. Dziś analityk może zacząć pracę niemal natychmiast. W branży, gdzie szybkość wprowadzania nowych modeli – na przykład oceny ryzyka kredytowego – decyduje o przewadze konkurencyjnej, taka optymalizacja jest bezcenna.
Migracja objęła ponad 250 piaskownic i 5000 zasobów analitycznych, w tym potężnych potoków danych (pipelines). Co więcej, aby dalej optymalizować koszty, środowiska pracy są aktywne tylko w określonych godzinach – zazwyczaj w standardowych godzinach biznesowych od poniedziałku do piątku. Poza tym czasem kluczowe usługi są automatycznie wyłączane. To dowód na to, że prawdziwa transformacja cyfrowa to nie tylko wdrożenie nowej technologii. To przede wszystkim zmiana sposobu myślenia o zasobach, kosztach i efektywności.