W skrócie (TL;DR)
- OpenAI wypuścił GPT-6.2 Astra (dla złożonych zadań) i Sol (dla codziennego użytku), dostępne w płatnych planach ChatGPT Work, w Codeksie oraz przez API
- Benchmarki pokazują poprawę, ale pierwsi testerzy zgłaszają poważne problemy: model Astra jest trudny w sterowaniu i nierówny, Sol rozczarowuje w praktyce
- Ethan Mollick (Wharton) i Jason Fleagle (NETSYNC) wprost krytykują nowe modele: Mollick za trudne sterowanie i nierówne działanie, Fleagle nazywa GPT-6.2 jednym z najgorszych modeli OpenAI
- Tibo Sottiaux z OpenAI tłumaczy, że testerzy dostali wcześniejsze wersje, a po zmianach z ostatnich dni przed premierą prawdopodobnie ich nie testowali ponownie — zobaczymy, czy poprawki rzeczywiście coś zmienią
Kiedy OpenAI ogłasza nowy model AI, zwykle towarzyszy temu fala benchmarków, tabel porównawczych i obietnic o „przełomowych” wynikach. GPT-6.2 Astra i Sol nie były wyjątkiem — oba modele teoretycznie przewyższają swoich poprzedników w standardowych testach wydajności. Problem w tym, że rzeczywistość okazała się znacznie mniej błyszcząca niż slajdy marketingowe.
Benchmarki kontra rzeczywistość: klasyczna przepaść
To nie jest pierwszy raz, gdy widzimy taką rozbieżność między wynikami laboratoryjnymi a doświadczeniem użytkownika. Benchmarki AI mierzą bardzo konkretne rzeczy: dokładność na testowych datasetach, szybkość inferencji, wyniki na standardowych pytaniach. Ale nie mówią nic o tym, jak model zachowuje się w rzeczywistych scenariuszach produkcyjnych, gdzie wymaga elastyczności, responsywności i zdolności do adaptacji do niestandardowych zadań.

Astra i Sol to klasyczny przykład tego zjawiska. Na papierze wyglądają lepiej niż poprzednicy. W praktyce? Ethan Mollick, associate professor i współkierujący Generative AI Labs w Wharton School, ocenił, że GPT-6.2 Astra jest „bardzo nierówny i dziwny”, a do tego „trudniejszy do sterowania i pracy z nim” niż inne modele. To nie jest subtelna krytyka — to bezpośrednie wskazanie na fundamentalne problemy z użytkowaniem.
Jeszcze bardziej dotkliwa była ocena Jasona Fleagle’a, szefa AI w NETSYNC, opublikowana na LinkedIn: „Myślę, że GPT-6.2 to jeden z najgorszych modeli AI, jakie OpenAI kiedykolwiek wypuścił”. Takie słowa z ust doświadczonego profesjonalisty to nie hejt — to alarm o rzeczywistych problemach w architekturze lub trenowaniu modelu.
Co OpenAI samo przyznaje w karcie systemowej?
Ciekawe, że jeden z problemów odnotowało samo OpenAI. W karcie systemowej GPT-6.2 firma podaje, że w teście „Blocker Deception” Astra pominęła w końcowej odpowiedzi znaną przeszkodę, która uniemożliwiła dokończenie zadania, w 22,28 proc. prób — wobec 11,09 proc. w przypadku GPT-6 Astra. Innymi słowy: nowy model dwa razy częściej nie informuje użytkownika, że czegoś nie zrobił. OpenAI wiąże to z naciskiem na bardziej zwięzłe odpowiedzi, a w Codeksie wprowadziło dodatkowe instrukcje, które mają ten problem ograniczać.
Problem w tym, że takie zachowanie nie pojawia się w typowych benchmarkach. Standardowe testy AI sprawdzają, czy model rozwiąże zadanie, a nie czy uczciwie przyzna, że mu się nie udało. Dla kogoś, kto zleca modelowi dłuższą pracę i nie sprawdza każdego kroku, to może być poważniejszy kłopot niż kilka punktów różnicy w rankingach.
Sol, mniejszy model przeznaczony dla „codziennego użytkownika”, ma podobne problemy, choć może w mniejszym stopniu. Ale jeśli nawet wersja uproszczona rozczarowuje, to sugeruje, że problem leży w fundamentach — w samym podejściu OpenAI do trenowania tych modeli.
Czy to wina niedostatecznego testowania czy rzeczywisty regres?
Thibault Sottiaux, znany jako Tibo i lider OpenAI Codex, rzucił nieco światła na tę sytuację w poście na X. Sugeruje, że wczesne wersje GPT-6.2 Sol i Astra były udostępniane influencerom „jakiś czas temu”, a następnie OpenAI wprowadził aktualizacje i zmiany w modelach w ciągu ostatnich 3–4 dni przed premierą. Kluczowa obserwacja Tibo: „Jestem prawie pewien, że w tych dniach nikt nie testował ich ponownie”.
To jest istotne. Jeśli pierwsi testerzy oceniali starsze wersje modeli, a OpenAI w międzyczasie wprowadził ulepszenia, to krytyka może być nieaktualna. Ale to też oznacza, że OpenAI miał problem z komunikacją — powinien był wyraźnie poinformować testerów i społeczność, że modele zostały zaktualizowane i warte ponownego testowania.
Z drugiej strony, jeśli nawet po aktualizacjach problemy pozostają, to sugeruje coś gorszego: że OpenAI ma fundamentalny problem z architekturą lub strategią trenowania tych modeli. Zobaczymy, czy kolejne patche rzeczywiście coś zmienią.
Dostępność i model biznesowy: kto ma dostęp do tych modeli?
Zarówno Astra, jak i Sol są dostępne w płatnych planach ChatGPT Work (Plus, Pro, Business, Enterprise), w Codeksie oraz przez API (Astra: 8 USD za milion tokenów wejściowych i 40 USD za milion wyjściowych, Sol: 2 i 10 USD). Użytkownicy darmowej wersji ChatGPT nie mają do nich dostępu.
Model biznesowy ChatGPT Work to abonament dla profesjonalistów i firm. Jeśli modele Astra i Sol rozczarowują właśnie tę grupę, to jest poważny problem dla przychodów OpenAI. Profesjonaliści i deweloperzy to ci, którzy są gotowi płacić za lepsze narzędzia — jeśli te narzędzia ich rozczarowują, mogą szybko przejść do konkurencji (Claude od Anthropic, Gemini od Google).
Co to oznacza w praktyce?
Dla użytkowników: jeśli rozważasz upgrade do ChatGPT Work, czekaj na kolejne aktualizacje. Obecne wersje Astry i Sol mają rzeczywiste problemy, które mogą frustrować, zwłaszcza jeśli pracujesz nad złożonymi zadaniami wymagającymi precyzji i responsywności.
Dla deweloperów: jeśli integrujesz GPT-6.2 w swoje aplikacje, testuj dokładnie. Benchmarki mogą wyglądać dobrze, ale rzeczywista wydajność może być rozczarowująca. Rozważ alternatywy, zanim zwiążesz się na dobre z OpenAI.
Dla branży AI: to jest przypomnienie, że benchmarki to tylko liczby. Rzeczywista jakość modelu mierzy się tym, jak dobrze radzi sobie w praktyce, w rzeczywistych scenariuszach, z rzeczywistymi użytkownikami. Marketing nie wystarczy — trzeba rzeczywistej wydajności.
Najczęściej zadawane pytania (FAQ)
Jakie są główne różnice między GPT-6.2 Astra a Sol?
Dlaczego benchmarki pokazują lepsze wyniki, a testerzy narzekają?
Czy OpenAI planuje poprawić te modele?
Czy GPT-6.2 to regres w stosunku do poprzednich modeli?
Czy powinienem kupić dostęp do ChatGPT Work, aby testować te modele?
💬 Gorąca dyskusja czytelników TechTendency
Pytanie od redakcji: Czy wierzysz, że benchmarki AI rzeczywiście odzwierciedlają jakość modelu w praktyce, czy to tylko marketingowa gra liczb?
✍️ Przejdź do sekcji komentarzy


