Podczas konferencji OpenAI DevDay, która odbyła się 6 listopada 2023 roku, dyrektor generalny OpenAI, Sam Altman, ponownie przekroczył oczekiwania, oferując nowe możliwości dla deweloperów AI. W tym artykule przyjrzymy się, jakie korzyści dla programistów niesie ze sobą GPT-4 Turbo.

OpenAI zorganizowało konferencję OpenAI DevDay 6 listopada 2023 roku. Podczas gdy inne duże firmy technologiczne wciąż próbują dogonić wydajność GPT-4, Sam Altman ponownie wyprzedził OpenAI, oferując nowe możliwości dla deweloperów AI i potwierdzając wiodącą pozycję OpenAI w dziedzinie sztucznej inteligencji.

GPT-4 Turbo: Szybszy, większy i tańszy

Kontekst odnosi się do całkowitej ilości tekstu wprowadzanego do modelu językowego, w tym podpowiedzi i dialogów. Wcześniej maksymalna ilość tekstu wynosiła 32 000 tokenów (dostępna tylko dla niektórych deweloperów), a GPT-4 Turbo obsługuje aż 128 000 tokenów, co odpowiada wprowadzeniu całej książki o 300 stronach do modelu. W przeszłości największą wadą GPT-4 była wolna prędkość generowania, co często prowadziło do długiego oczekiwania, dlatego firmy częściej korzystały z GPT-3.5 do rozwiązywania większości problemów praktycznych. GPT-4 Turbo rozwiązał ten problem, zbliżając prędkość generowania do GPT-3.5 i wzbogacając przyszłe scenariusze integracji z GPT-4 Turbo. W porównaniu do poprzedniej wersji GPT-4, koszt podpowiedzi jest trzykrotnie niższy, a koszt generowanego tekstu jest dwukrotnie niższy.

Bardziej przyjazna dla deweloperów funkcja wywoływania funkcji

Co to jest wywoływanie funkcji?

OpenAI wprowadziło funkcję wywoływania funkcji na początku tego roku, która pozwala deweloperom na wywoływanie niestandardowych funkcji kodu podczas korzystania z GPT. Innymi słowy, umożliwia to inteligentnej AI łączenie się z różnymi API, znacznie zwiększając zakres zastosowań OpenAI. Model ten jest potężny, ponieważ pozwala deweloperom dostarczać wiele interfejsów poleceń, a GPT może samodzielnie decydować, które polecenie wywołać i jakie parametry zastosować.

Przykład: Deweloper inteligentnej żarówki dostarcza dwa polecenia: „ustaw kolor” i „ustaw czas reakcji”. Polecenie ustawienia koloru ma trzy parametry: światło białe, światło naturalne i nocne. Gdy do GPT wprowadzisz podpowiedź: „Proszę ustawić odpowiednią żarówkę na noc”, GPT automatycznie wybierze polecenie „ustaw kolor” i użyje parametru „nocne”, bez potrzeby interwencji człowieka. W przeszłości osiągnięcie tej funkcji wymagało pisania niestandardowej logiki za pomocą technologii NLP, teraz wystarczy wywołać program GPT.

Co zostało zmienione?

Aktualizacja pozwala GPT na bardziej precyzyjne określenie, które polecenie i parametry powinny być użyte, jednocześnie poprawiając ograniczenie GPT do wywoływania tylko jednego polecenia na raz. W przeszłości, gdy sytuacja była bardziej skomplikowana, deweloperzy musieli pisać dodatkowy kod, aby funkcja mogła wywoływać wiele poleceń; aktualizacja pozwala GPT na jednoczesne wykonywanie wielu poleceń i przekazywanie wyników między nimi. Na przykład, używając podpowiedzi „Mam zwyczaj wstawać w nocy, aby uzupełnić wodę, proszę ustawić odpowiedni tryb żarówki”, GPT może zdecydować się na wywołanie poleceń „ustaw kolor” i „ustaw czas reakcji”, ustalając parametr „czas reakcji” na „01:00 do 06:30” oraz używając „ustaw kolor” z parametrem „nocne”.

Ponadto, odpowiedzi modelu językowego były wcześniej w formacie tekstu o nieokreślonym formacie, a jeśli chciano odpowiedzi w określonym formacie, trzeba było w podpowiedzi zaznaczyć „proszę odpowiedzieć w formacie XML”; jednak deweloperzy często napotykali problem, że odpowiedzi nie były w pełni w formacie XML, często zawierały części tekstu, co prowadziło do błędów przy konwersji formatu. GPT-4 Turbo pozwala teraz na ustawienie parametru response_format, który może być ustawiony na XML lub JSON, co zwiększa stabilność programu.

Na koniec, OpenAI pozwala użytkownikom ustawić parametr Seed, który decyduje o losowości odpowiedzi GPT. Dzięki temu parametrowi deweloperzy mogą zapewnić spójność odpowiedzi modelu językowego, co daje większą pewność podczas pisania przypadków testowych (unikając nagłych zmian w odpowiedziach modelu), zwiększając testowalność i jakość programu.


Oprócz dwóch powyższych ogłoszeń, w kontekście rozszerzenia scenariuszy zastosowań, ogłoszenie Assistants API było głównym wydarzeniem DevDay.

Assistants API

W przeszłości, aby wykorzystać duże modele językowe do tworzenia aplikacji generatywnej AI, trzeba było korzystać z zewnętrznych pakietów, takich jak LangChain, które nadawały modelom językowym bardziej zaawansowane możliwości, takie jak: użycie wielu modeli językowych, personalizacja danych, pamięć i agenci (umożliwiający AI wykonywanie ciągłych zadań i decyzji), aby zrealizować bardziej złożone scenariusze AI.

Na DevDay ogłoszono Assistants API, które integruje wiele z tych funkcji w oficjalnym API, eliminując problemy, z jakimi deweloperzy spotykali się przy integracji z zewnętrznymi pakietami. To pierwszy raz, gdy oficjalnie wychodzą poza optymalizację wydajności dużych modeli językowych, zaczynając eksplorować zastosowania „agentów”. Oficjalna dokumentacja stwierdza, że „asystent to AI zorientowane na cel, które pozwala na użycie określonych poleceń, korzystanie z zewnętrznych danych lub użycie różnych modeli językowych i narzędzi do wykonywania zadań”.

Nowe Assistants API zawiera również kilka narzędzi, w tym „wywoływanie funkcji”, „kompilator kodu” i „wyszukiwanie danych”.

Kompilator kodu

„Kompilator kodu” GPT-4 pozwala na uruchamianie napisanego kodu w środowisku piaskownicy (obecnie obsługuje tylko Python), co wcześniej wymagało od inżynierów kopiowania i wklejania kodu napisanego przy pomocy GPT-4 do własnego środowiska deweloperskiego w celu testowania. Środowisko piaskownicy dostarczane przez OpenAI pozwala GPT-4 na samodzielne sprawdzanie poprawności kodu i stopniowe jego modyfikowanie, aż do osiągnięcia zamierzonego celu.

Jednak rola kompilatora kodu wykracza poza „sprawdzanie poprawności własnego kodu przez GPT-4”. Jego większe znaczenie polega na „dawaniu dużemu modelowi językowemu własnego komputera”, który może wykonywać większość zadań. Obecnie duże modele językowe mogą wchodzić w interakcje w sposób programowy, a chociaż działają w ograniczonym środowisku piaskownicy, kompilator kodu może używać określonych zewnętrznych pakietów, ale jest wystarczający do wykonywania „większości zadań, w których Python jest biegły”, takich jak przetwarzanie danych i wywoływanie API, oraz może czytać większe pliki kodu dostarczone przez użytkownika. Środowisko piaskownicy zapewnia bezpieczeństwo, zapobiegając nadużywaniu potężnych możliwości dużego modelu językowego, co zapewnia pewien poziom bezpieczeństwa.

Wyszukiwanie danych

„Wyszukiwanie danych” pozwala użytkownikom na przesyłanie własnych danych (np. danych z określonej branży, informacji o produktach lub dokumentów wewnętrznych) i umożliwia dużemu modelowi językowemu odpowiadanie na pytania dotyczące tych danych, stosując je w swojej branży lub dziedzinie. Ta funkcja była kluczowym punktem rywalizacji od czasu wprowadzenia GPT-3. Wyszukiwanie danych ogłoszone na DevDay to pierwsze natywne rozwiązanie tej funkcji, które pozwala firmom na tworzenie wewnętrznych botów wiedzy, takich jak AI project manager, AI system analyst; w branżach takich jak medycyna, finanse, jako boty obsługi klienta, które wcześniej wymagały skomplikowanych technik przetwarzania języka. Teraz, dzięki potężnemu modelowi językowemu GPT-4 i oficjalnej funkcji wyszukiwania danych dostarczanej przez OpenAI, deweloperzy mogą skupić się na logice biznesowej, dokładności danych i dostosowywaniu szczegółów. Ponadto, w przeszłości korzystanie z zewnętrznych pakietów wymagało bazy danych wektorowych, przetwarzania danych w segmentach lub specyficznych algorytmów wyszukiwania, które teraz, dzięki wsparciu OpenAI, nie wymagają dodatkowego wysiłku w zakresie tych procesów i związanych z nimi kosztów. OpenAI podkreśla również, że rozmowy i pliki używane w Assistants API nie będą wykorzystywane do szkolenia następnej generacji modeli OpenAI.

Podsumowanie

Ogólnie rzecz biorąc, OpenAI nie tylko nieustannie optymalizuje wydajność modeli, ale także rozszerza zastosowania dużych modeli językowych. Sam Altman powiedział, że GPT-5 nie pojawi się w najbliższym czasie, a biorąc pod uwagę obecne możliwości GPT-4, wydaje się, że nie ma potrzeby ponoszenia dodatkowych kosztów na szkolenie większych modeli językowych. Zamiast tego, poprawa wydajności, łatwości użycia i skalowalności GPT-4 jest obecnie głównym celem OpenAI. Dla deweloperów, firm i końcowych konsumentów, wprowadzenie bardziej zaawansowanej AI, która może być stosowana w większości scenariuszy, stało się kluczowym punktem kolejnej generacji transformacji cyfrowej. GPT stworzone przez OpenAI jest jak mózg w przyszłym świecie technologii, a wierzymy, że nadchodzące innowacje i postępy sprawią, że sztuczna inteligencja będzie lepiej radzić sobie z używaniem narzędzi, będzie mogła „widzieć”, „słyszeć” oraz płynnie „mówić” i „rysować”.