W skrócie (TL;DR)

  • OpenAI wypuścił GPT-6.2 Astra (dla złożonych zadań) i Sol (dla codziennego użytku), dostępne w płatnych planach ChatGPT Work, w Codeksie oraz przez API
  • Benchmarki pokazują poprawę, ale pierwsi testerzy zgłaszają poważne problemy: model Astra jest trudny w sterowaniu i nierówny, Sol rozczarowuje w praktyce
  • Ethan Mollick (Wharton) i Jason Fleagle (NETSYNC) wprost krytykują nowe modele: Mollick za trudne sterowanie i nierówne działanie, Fleagle nazywa GPT-6.2 jednym z najgorszych modeli OpenAI
  • Tibo Sottiaux z OpenAI tłumaczy, że testerzy dostali wcześniejsze wersje, a po zmianach z ostatnich dni przed premierą prawdopodobnie ich nie testowali ponownie — zobaczymy, czy poprawki rzeczywiście coś zmienią

Kiedy OpenAI ogłasza nowy model AI, zwykle towarzyszy temu fala benchmarków, tabel porównawczych i obietnic o „przełomowych” wynikach. GPT-6.2 Astra i Sol nie były wyjątkiem — oba modele teoretycznie przewyższają swoich poprzedników w standardowych testach wydajności. Problem w tym, że rzeczywistość okazała się znacznie mniej błyszcząca niż slajdy marketingowe.

REKLAMA

Benchmarki kontra rzeczywistość: klasyczna przepaść

To nie jest pierwszy raz, gdy widzimy taką rozbieżność między wynikami laboratoryjnymi a doświadczeniem użytkownika. Benchmarki AI mierzą bardzo konkretne rzeczy: dokładność na testowych datasetach, szybkość inferencji, wyniki na standardowych pytaniach. Ale nie mówią nic o tym, jak model zachowuje się w rzeczywistych scenariuszach produkcyjnych, gdzie wymaga elastyczności, responsywności i zdolności do adaptacji do niestandardowych zadań.

Fot. OpenAI
Fot. OpenAI

Astra i Sol to klasyczny przykład tego zjawiska. Na papierze wyglądają lepiej niż poprzednicy. W praktyce? Ethan Mollick, associate professor i współkierujący Generative AI Labs w Wharton School, ocenił, że GPT-6.2 Astra jest „bardzo nierówny i dziwny”, a do tego „trudniejszy do sterowania i pracy z nim” niż inne modele. To nie jest subtelna krytyka — to bezpośrednie wskazanie na fundamentalne problemy z użytkowaniem.

Jeszcze bardziej dotkliwa była ocena Jasona Fleagle’a, szefa AI w NETSYNC, opublikowana na LinkedIn: „Myślę, że GPT-6.2 to jeden z najgorszych modeli AI, jakie OpenAI kiedykolwiek wypuścił”. Takie słowa z ust doświadczonego profesjonalisty to nie hejt — to alarm o rzeczywistych problemach w architekturze lub trenowaniu modelu.

REKLAMA

Co OpenAI samo przyznaje w karcie systemowej?

Ciekawe, że jeden z problemów odnotowało samo OpenAI. W karcie systemowej GPT-6.2 firma podaje, że w teście „Blocker Deception” Astra pominęła w końcowej odpowiedzi znaną przeszkodę, która uniemożliwiła dokończenie zadania, w 22,28 proc. prób — wobec 11,09 proc. w przypadku GPT-6 Astra. Innymi słowy: nowy model dwa razy częściej nie informuje użytkownika, że czegoś nie zrobił. OpenAI wiąże to z naciskiem na bardziej zwięzłe odpowiedzi, a w Codeksie wprowadziło dodatkowe instrukcje, które mają ten problem ograniczać.

Problem w tym, że takie zachowanie nie pojawia się w typowych benchmarkach. Standardowe testy AI sprawdzają, czy model rozwiąże zadanie, a nie czy uczciwie przyzna, że mu się nie udało. Dla kogoś, kto zleca modelowi dłuższą pracę i nie sprawdza każdego kroku, to może być poważniejszy kłopot niż kilka punktów różnicy w rankingach.

Sol, mniejszy model przeznaczony dla „codziennego użytkownika”, ma podobne problemy, choć może w mniejszym stopniu. Ale jeśli nawet wersja uproszczona rozczarowuje, to sugeruje, że problem leży w fundamentach — w samym podejściu OpenAI do trenowania tych modeli.

REKLAMA

Czy to wina niedostatecznego testowania czy rzeczywisty regres?

Thibault Sottiaux, znany jako Tibo i lider OpenAI Codex, rzucił nieco światła na tę sytuację w poście na X. Sugeruje, że wczesne wersje GPT-6.2 Sol i Astra były udostępniane influencerom „jakiś czas temu”, a następnie OpenAI wprowadził aktualizacje i zmiany w modelach w ciągu ostatnich 3–4 dni przed premierą. Kluczowa obserwacja Tibo: „Jestem prawie pewien, że w tych dniach nikt nie testował ich ponownie”.

To jest istotne. Jeśli pierwsi testerzy oceniali starsze wersje modeli, a OpenAI w międzyczasie wprowadził ulepszenia, to krytyka może być nieaktualna. Ale to też oznacza, że OpenAI miał problem z komunikacją — powinien był wyraźnie poinformować testerów i społeczność, że modele zostały zaktualizowane i warte ponownego testowania.

Z drugiej strony, jeśli nawet po aktualizacjach problemy pozostają, to sugeruje coś gorszego: że OpenAI ma fundamentalny problem z architekturą lub strategią trenowania tych modeli. Zobaczymy, czy kolejne patche rzeczywiście coś zmienią.

REKLAMA

Dostępność i model biznesowy: kto ma dostęp do tych modeli?

Zarówno Astra, jak i Sol są dostępne w płatnych planach ChatGPT Work (Plus, Pro, Business, Enterprise), w Codeksie oraz przez API (Astra: 8 USD za milion tokenów wejściowych i 40 USD za milion wyjściowych, Sol: 2 i 10 USD). Użytkownicy darmowej wersji ChatGPT nie mają do nich dostępu.

Model biznesowy ChatGPT Work to abonament dla profesjonalistów i firm. Jeśli modele Astra i Sol rozczarowują właśnie tę grupę, to jest poważny problem dla przychodów OpenAI. Profesjonaliści i deweloperzy to ci, którzy są gotowi płacić za lepsze narzędzia — jeśli te narzędzia ich rozczarowują, mogą szybko przejść do konkurencji (Claude od Anthropic, Gemini od Google).

Co to oznacza w praktyce?

Dla użytkowników: jeśli rozważasz upgrade do ChatGPT Work, czekaj na kolejne aktualizacje. Obecne wersje Astry i Sol mają rzeczywiste problemy, które mogą frustrować, zwłaszcza jeśli pracujesz nad złożonymi zadaniami wymagającymi precyzji i responsywności.

Dla deweloperów: jeśli integrujesz GPT-6.2 w swoje aplikacje, testuj dokładnie. Benchmarki mogą wyglądać dobrze, ale rzeczywista wydajność może być rozczarowująca. Rozważ alternatywy, zanim zwiążesz się na dobre z OpenAI.

Dla branży AI: to jest przypomnienie, że benchmarki to tylko liczby. Rzeczywista jakość modelu mierzy się tym, jak dobrze radzi sobie w praktyce, w rzeczywistych scenariuszach, z rzeczywistymi użytkownikami. Marketing nie wystarczy — trzeba rzeczywistej wydajności.

Najczęściej zadawane pytania (FAQ)

Jakie są główne różnice między GPT-6.2 Astra a Sol?
Astra jest przeznaczony do obsługi złożonych zadań i uważany za flagowy model, podczas gdy Sol to wersja dla codziennego użytkownika. Jednak oba modele są krytykowane za problemy w praktycznym użyciu, niezależnie od ich teoretycznego przeznaczenia. Astra ma być bardziej zaawansowany, ale właśnie on otrzymuje największą krytykę za nierówne działanie i trudności w sterowaniu.
Dlaczego benchmarki pokazują lepsze wyniki, a testerzy narzekają?
Benchmarki mierzą specyficzne metryki (dokładność, szybkość odpowiedzi, wyniki na testowych datasetach), ale nie chwytają rzeczywistych problemów w użytkowaniu: trudności w sterowaniu modelem, przemilczania niewykonanych kroków czy niestabilności w praktycznych scenariuszach. To klasyczna luka między teorią a praktyką — model może być doskonały na papierze, ale bezużyteczny w rzeczywistym świecie.
Czy OpenAI planuje poprawić te modele?
Thibault Sottiaux sugeruje, że wczesne wersje modeli były testowane przez influencerów, a następnie wprowadzono aktualizacje. Jednak nie wiadomo, czy testerzy ponownie ocenili modele po zmianach. Sottiaux przyznał też, że modele nie są idealne i będą poprawiane w kolejnych iteracjach. Można się spodziewać, że będą kolejne patche, ale pytanie brzmi: czy będą one wystarczające?
Czy GPT-6.2 to regres w stosunku do poprzednich modeli?
Według niektórych testerów tak — Jason Fleagle nazwał to „jednym z najgorszych modeli, jakie OpenAI kiedykolwiek wypuścił”. Jednak inne opinie są bardziej umiarkowane, sugerując, że problem może leżeć w niedostatecznym testowaniu po ostatnich aktualizacjach. Trudno powiedzieć definitywnie bez dostępu do najnowszych wersji modeli.
Czy powinienem kupić dostęp do ChatGPT Work, aby testować te modele?
Na razie nie. Czekaj na kolejne aktualizacje i więcej recenzji od niezależnych testerów. Jeśli OpenAI naprawdę naprawił problemy, będzie o tym głośno. Jeśli nie — zaoszczędzisz pieniądze i frustracji. Alternatywy takie jak Claude od Anthropic mogą być lepszym wyborem w tej chwili.
REKLAMA

💬 Gorąca dyskusja czytelników TechTendency

Pytanie od redakcji: Czy wierzysz, że benchmarki AI rzeczywiście odzwierciedlają jakość modelu w praktyce, czy to tylko marketingowa gra liczb?

✍️ Przejdź do sekcji komentarzy

📬 Cotygodniowy Raport Technologiczny TechTendency

Najważniejsze analizy AI, luki cyberbezpieczeństwa i testy sprzętu w każdy piątek na Twojej skrzynce. Zero spamu.

Karolina Wójcik
Dział: Sztuczna Inteligencja i Nauka

Karolina Wójcik

Redaktorka działu AI i Nauka w TechTendency.com, absolwentka informatyki oraz kognitywistyki na Uniwersytecie Warszawskim. Od lat analizuje rozwój sieci neuronowych, dużych modeli językowych (LLM) oraz algorytmów uczenia maszynowego. Kompetencje rozwijała w projektach badawczych z zakresu przetwarzania języka naturalnego i wdrożeń AI w biznesie. W tekstach stawia na twarde konkrety i przystępne wyjaśnianie złożonych technologii bez marketingowego szumu.