Anthropic przed debiutem giełdowym uruchamia własny alarm bezpieczeństwa: postęp AI szybszy niż oczekiwano
Anthropic ujawnił w dokumentacji IPO, że tempo postępów w badaniach nad AI uruchomiło dodatkowe mechanizmy bezpieczeństwa firmy. Instytucja oceniająca METR odkryła, że postępy technologiczne Anthropic w ostatnim roku były równoważne z poprzednimi dwoma latami, a AI uczestnicząca w własnym rozwoju przyspiesza ten proces. Ryzyko utraty kontroli spowodowane przez rekursyjne samodoskonalenie budzi również obawy w dziedzinie bezpieczeństwa AI.
Anthropic wkrótce zadebiutuje na Wall Street, jednak w dokumentacji dotyczącej wejścia na giełdę ujawniono ostrzeżenie dotyczące bezpieczeństwa: postępy firmy w zakresie badań nad AI osiągnęły ustalony przez nią próg bezpieczeństwa, co wymaga wdrożenia dodatkowych środków kontroli.
19 listopada brytyjski „Financial Times” poinformował, że Anthropic w zaktualizowanych dokumentach IPO przyznaje, że tempo rozwoju technicznego firmy uruchomiło dodatkowe mechanizmy bezpieczeństwa określone w „Polityce Odpowiedzialnego Rozszerzania” (Responsible Scaling Policy) z 2023 roku. Ujawnienie tej informacji następuje właśnie wtedy, gdy firma ustala cenę emisji IPO na 83 USD za akcję, wyżej niż wcześniejsze szacunki, a wycena wynosi około 1,5 biliona dolarów.
Wyzwalaczem mechanizmu bezpieczeństwa jest raport opublikowany w tym miesiącu przez instytucję METR zajmującą się oceną AI. Po uzyskaniu szerokiego dostępu do systemów Anthropic, personelu oraz niewydanych modeli, METR odkryła, że postępy firmy w AI w ciągu ostatniego roku odpowiadają blisko dwóm latom wcześniejszych osiągnięć. Badacze, wspomagani narzędziami AI, coraz bardziej przyspieszają rozwój, będąc istotnym czynnikiem tej tendencji.
Tempo rozwoju AI podwaja się, uruchamiając wewnętrzny mechanizm bezpieczeństwa
METR jest instytucją badawczą koncentrującą się na ocenie zaawansowanych możliwości AI oraz związanych z nimi ryzyk. Z najnowszego raportu wynika, że Anthropic w ciągu 12 miesięcy osiągnął postęp techniczny odpowiadający około dwóm latom historii, a tempo wzrostu zdolności w porównaniu z rokiem poprzednim podwoiło się.
Ta prędkość osiągnęła próg bezpieczeństwa wyznaczony przez Anthropic. Zgodnie z polityką firmy z 2023, jeśli tempo rozwoju AI pozwala skondensować dwa lata postępu technologicznego w ciągu jednego roku, konieczne jest zastosowanie bardziej rygorystycznej kontroli bezpieczeństwa.
Anthropic podkreśla, że ta decyzja opiera się na przewidywaniach co do możliwości przyszłych modeli oraz ogólnego tempa rozwoju i nie oznacza, że systemy AI już są zdolne do pełnej samodzielnej poprawy. Nowe środki obejmą zabezpieczenia, struktury zarządzania oraz wewnętrzne kontrole w procesie opracowywania modeli.
Sam McCandlish, członek zarządu Anthropic, stwierdził, że wnioski METR są zgodne z jego własnymi obserwacjami. Przyznał, że AI przyspiesza prace badawcze firmy, lecz wpływ ten trudny jest do precyzyjnego oszacowania.
AI bierze udział w swoich badaniach – ryzyko rekursywnej poprawy rośnie
Za przyspieszonym rozwojem technicznym stoi fakt, że AI coraz częściej uczestniczy w tworzeniu kolejnych generacji systemów AI. Proces ten określany jest jako „rekursywna poprawa” (RSI), gdzie system AI wykorzystuje swoje zdolności do wspierania budowy bardziej zaawansowanych modeli.
Anthropic w prospekcie giełdowym podkreśla, że zdolność jednego modelu do zamkniętej współpracy przy tworzeniu następnego stanowi ważną przewagę konkurencyjną firmy i znacząco poprawia efektywność wykorzystania mocy obliczeniowej.
Ta zdolność jednak niesie nowe ryzyka bezpieczeństwa. Prezes Apollo Research, Marius Hobbhahn, zaznacza, że dotychczas wśród badaczy panowały rozbieżne opinie co do terminu realizacji rekursywnej poprawy, a dziś okno czasowe szybko się skraca, podczas gdy branża nie jest jeszcze odpowiednio przygotowana pod kątem bezpieczeństwa.
Instytucja AI Futures Project twierdzi, że przyspieszenie ujawnione przez METR jest zaskakujące, a pojawienie się nadludzkich badaczy AI może nastąpić już w 2027 roku. Organizacja zaleca pilne zawieszenie lub istotne spowolnienie rozwoju zaawansowanych systemów AI.
Prezes Anthropic, Dario Amodei, także we wrześniu ubiegłego roku sugerował konieczność wprowadzenia „ograniczenia prędkości” dla rekursywnej poprawy w AI, gdyż postępy mogą nastąpić znacznie szybciej niż przewidywano.
Podejście do bezpieczeństwa budzi wątpliwości, narasta krytyka z zewnątrz
W momencie ujawnienia uruchomienia mechanizmu bezpieczeństwa coraz więcej zewnętrznych podmiotów kwestionuje podejście Anthropic do bezpieczeństwa.
W środę, z inicjatywy organizacji non-profit Center for AI Safety, grupa badaczy AI i zwolenników bezpieczeństwa, w tym założyciele Hugging Face oraz xAI, opublikowała oświadczenie publiczne, zarzucając Anthropic wykorzystywanie wizerunku firmy bezpiecznej w celu przyciągnięcia inwestorów, pracowników i opinii publicznej, stwierdzając jednocześnie, że „nie jest to bezpieczna firma AI”.
Oświadczenie podkreśla, że Anthropic z jednej strony ostrzega, iż rekursywna poprawa może prowadzić do koncentracji władzy i utraty kontroli przez człowieka, a z drugiej intensywnie pracuje nad tymi technologiami.
Podobne obawy pojawiają się również w branży AI. Członek rady dyrektorów OpenAI i badacz bezpieczeństwa AI, Paul Christiano, niedawno w podcaście zaznaczył, że rosnący poziom automatyzacji w rozwoju AI może w krótkim czasie doprowadzić do powstania bardzo potężnych systemów. Jeśli branża doświadczy gwałtownej eksplozji inteligencji i osiągnie superinteligencję, człowiek może ostatecznie utracić kontrolę nad tymi systemami.
Hobbhahn uważa, że nawet jeśli IPO Anthropic zakończy się niepowodzeniem, a rynek finansowy AI pogrąży się w stagnacji, nie powstrzyma to dalszych postępów technologicznych. Stwierdził, że obecne laboratoria AI mają dość środków, by sfinansować przynajmniej dwie rundy dużych przełomów technicznych – nawet jeżeli nastąpi pęknięcie bańki rynkowej, mogą powstać modele znacznie przewyższające ludzkie możliwości.
Zastrzeżenie: Treść tego artykułu odzwierciedla wyłącznie opinię autora i nie reprezentuje platformy w żadnym charakterze. Niniejszy artykuł nie ma służyć jako punkt odniesienia przy podejmowaniu decyzji inwestycyjnych.
Może Ci się również spodobać
VIX wzrósł do najwyższego poziomu od kwietniowego zamieszania z taryfami w zeszłym roku, Goldman Sachs Indeks Paniki zbliża się do maksimum, a giełda amerykańska może być narażona na sprzedaż przekraczającą 80 miliardów dolarów w przyszłym tygodniu.
Po piątkowej gwałtownej wyprzedaży na amerykańskiej giełdzie, dwa główne wskaźniki ryzyka na Wall Street jednocześnie wydały ostrzeżenia.
Nvidia (NVDA.US) przez siedem tygodni z rzędu spadła o 46%, ustanawiając najdłuższą serię spadków od czasu kryzysu finansowego w 2008 roku, a jej wartość rynkowa wyparowała o 2,6 biliona dolarów.
Nvidia doświadcza najdłuższego ciągłego spadku tygodniowego od globalnego kryzysu finansowego w 2008 roku.
Przegląd nocny amerykańskiego rynku | Giełda, złoto i bitcoin gwałtownie spadły bez rozróżnienia, indeks VIX strachu wzrósł chwilowo do 40, Nasdaq stracił cały wzrost z tego roku
Na zamknięciu sesji indeks Dow Jones spadł o 949,73 punktu, czyli o 1,93%, do poziomu 48 147,32 punktu; indeks S&P 500 spadł o 265,44 punktu, czyli o 3,70%, do poziomu 6 910,39 punktu; indeks Nasdaq spadł o 1 261,46 punktu, czyli o 5,28%, do poziomu 22 617,73 punktu, co oznacza spadek od początku roku o 2,7%.
Co się stało? Lawina handlu AI! Nasdaq spadł o ponad 5%, Anthropic IPO drugiego dnia prawie poniżej ceny emisyjnej, Nvidia spadła o ponad 10%
Inwestorzy nie kwestionują perspektyw technologii AI, lecz zaczynają wątpić, czy obecna wycena już w pełni uwzględnia przyszły wzrost. Popularność Anthropic nie dowodzi logiczności inwestycji w cały sektor. Od rezygnacji Jensen Huang ze stanowiska CEO Nvidia spadała siedem dni z rzędu, tracąc niemal 28%, a dochodzenie SEC po sprawie Huang’a dodatkowo zwiększa presję; od szczytu w październiku wartość rynkowa straciła 2,65 biliona dolarów. AMD zakończyło dzień spadkiem powyżej 10% i po dwóch dniach silnych tąpnięć po raporcie short sellers, cały łańcuch przemysłu AI został wystawiony na wyprzedaż. Zwrot z nakładów kapitałowych na AI podlega weryfikacji, masowe zamykanie pozycji powoduje eskalację spadków.
