Ved OpenAI DevDay den 06/11/2023, overgik OpenAI's CEO Sam Altman endnu en gang OpenAI, hvilket gav AI-udviklere nye muligheder. Gennem denne artikel vil vi forstå, hvad der gør GPT-4 Turbo så attraktiv for softwareudviklere.

OpenAI afholdt OpenAI DevDay den 06/11/2023, mens andre store teknologivirksomheder stadig kæmper for at indhente GPT-4's ydeevne. OpenAI's CEO Sam Altman overgik endnu en gang OpenAI, hvilket gav AI-udviklere nye muligheder og demonstrerede OpenAI's førende position inden for kunstig intelligens.

Den imponerende GPT-4 Turbo: Hurtigere, større tekstmængde og billigere

Kontekst refererer til den samlede tekstmængde, der gives som input til en stor sprogmodel og dialogen frem og tilbage. Tidligere var den maksimale tekstmængde 32.000 tokens (kun tilgængelig for nogle udviklere), mens GPT-4 Turbo tillader op til 128.000 tokens, hvilket svarer til at kunne indtaste en 300-siders bog på én gang til GPT-4 Turbo for generering. Med hensyn til hastighed var den største ulempe ved GPT-4 tidligere dens langsomhed, hvilket ofte resulterede i lang ventetid under generering. Derfor brugte virksomheder ofte GPT-3.5 til at løse de fleste praktiske applikationsproblemer. GPT-4 Turbo har løst dette problem ved at gøre genereringshastigheden tættere på GPT-3.5, hvilket beriger fremtidige integrationer af GPT-4 Turbo. Med hensyn til omkostninger er prisen for inputtokens tre gange billigere, og outputtokens er to gange billigere sammenlignet med den tidligere version af GPT-4.

Mere udviklervenlig funktionkald (Function calling)

Hvad er funktionkald (Function calling)?

OpenAI lancerede tidligere i år funktionen "funktionkald", som gør det muligt for udviklere at kalde brugerdefinerede kodefunktioner, når de bruger GPT. Med andre ord kan den intelligente AI forbinde til forskellige API'er, hvilket i høj grad øger de anvendelsesområder, OpenAI kan bruges i. Modellens stærke ydeevne ligger i, at så længe udviklere giver flere grænseflader til programmet, kan GPT selv bestemme, hvilken kommando der skal kaldes, og bruge passende parametre til udførelse.

Eksempel: En udvikler af en smart sensorlampe giver to kommandoer: "indstil farve" og "indstil sensorens tidsperiode". Kommandoen for at indstille farve har tre parametre: hvidt lys, naturligt lys og natlys. Når der gives input til GPT: "Indstil venligst en passende lampe til natten", vil GPT automatisk vælge kommandoen "indstil farve" og automatisk bruge parameteren "natlys". Denne beslutningsproces kræver ingen menneskelig indgriben. Tidligere krævede det brug af NLP-teknologi til at skrive brugerdefineret logik for at opnå denne funktion, men nu kan det opnås ved blot at kalde GPT-programmet.

Hvad er ændret denne gang?

Denne opdatering gør det muligt for GPT at vurdere mere præcist, hvilken kommando og parameter der skal bruges, samtidig med at GPT tidligere kun kunne kalde én kommando ad gangen. Tidligere, når situationen var mere kompleks, skulle udviklere skrive yderligere kode for at få funktionen til at kalde flere gange; denne opdatering gør det muligt for GPT at udføre flere kommandoer på én gang og lade resultaterne af hver kommando blive videregivet til hinanden. For eksempel: Brug af input "Jeg har for vane at stå op midt om natten for at få vand, indstil venligst en passende lampetilstand" vil GPT kunne vælge at kalde både "indstil farve" og "indstil sensorens tidsperiode" og bestemme parameteren for "sensorens tidsperiode" til "01:00 til 06:30", samtidig med at "indstil farve" bruges med parameteren "natlys".

Desuden var sprogmodellens tidligere svar altid i "ikke-specifik tekstformat", hvis man ønskede et specifikt format, skulle man anmode om "venligst svar i xml-format" i inputtet; dog stødte udviklere ofte på problemet med, at svaret ikke altid var i xml, og ofte indeholdt dele af almindelig tekst, hvilket førte til fejl i formatkonverteringen. Denne gang tillader GPT-4 Turbo udviklere at indstille parameteren response_format, som kan indstilles til xml eller json, som er almindelige API-returformater, hvilket øger programmets stabilitet.

Endelig tillader OpenAI også brugere at indstille Seed-parameteren, som bestemmer tilfældigheden af GPT's svar. Ved at indstille denne parameter kan udviklere sikre, at sprogmodellens svar forbliver konsistente, hvilket giver udviklere større tryghed, når de skriver testcases (undgår at sprogmodellen pludselig giver forskellige svar), og øger programmets testbarhed og kvalitet.


Ud over de to ovennævnte punkter er lanceringen af Assistants API det centrale punkt på DevDay, når det kommer til udvidelse af anvendelsesscenarier.

Assistants API

Tidligere, hvis man ønskede at bruge store sprogmodeller til at udvikle generative AI-applikationer, var det nødvendigt at bruge tredjepartsbiblioteker som LangChain for at give store sprogmodeller mere avancerede evner, såsom brug af flere sprogmodeller, brugerdefinerede data, hukommelse og agenter (Agent, som gør det muligt for AI at udføre kontinuerlige opgaver og beslutninger) for at fuldføre mere komplekse AI-scenarieapplikationer.

Men ved DevDay blev Assistants API lanceret, som integrerer de ovennævnte evner i den officielle API, hvilket sparer udviklere for de mange problemer, der opstår ved integration af tredjepartsbiblioteker. Dette er også første gang, at den officielle version går ud over blot at optimere ydeevnen af store sprogmodeller og begynder at udforske anvendelsen af "agenter". Ifølge den officielle dokumentation er "en assistent en målorienteret AI, der tillader brug af specifikke kommandoer, eksterne data eller forskellige sprogmodeller og værktøjer til at udføre opgaver".

Den nye Assistants API har også indbyggede værktøjer, ud over "funktionkald" tilbyder den også "kodekompilator" og "dataindhentning".

Kodekompilator (Code Interpreter)

GPT-4's "kodekompilator" tillader, at den selvskrevne kode kan udføres i et sandkassemiljø (i øjeblikket kun understøttet af Python). Tidligere, når ingeniører fik hjælp fra GPT-4 til at skrive kode, skulle de kopiere og indsætte det i deres eget udviklingsmiljø for at teste det. Men med det sandkassemiljø, som OpenAI tilbyder, kan GPT-4 selv inspicere, om koden er korrekt, og gradvist selv rette koden baseret på resultaterne, indtil målet er nået.

Dog er kodekompilatorens rolle langt større end "at lade GPT-4 inspicere sin egen kode for korrekthed"; dens større betydning ligger i "at give store sprogmodeller deres egen computer", som kan udføre de fleste opgaver. Nu kan store sprogmodeller interagere ved hjælp af kommandoer, og selvom udførelsen er begrænset til et sandkassemiljø, kan kodekompilatoren kun bruge specifikke tredjepartsbiblioteker, men det er tilstrækkeligt til at udføre "de fleste opgaver, som Python-programmeringssproget er godt til", såsom databehandling og API-kald, og kan læse større kodefiler, som brugeren leverer. Med hensyn til sikkerhed kan sandkassemiljøet forhindre, at den store sprogmodells stærke evner bliver misbrugt, hvilket giver en vis sikkerhedsgaranti.

Dataindhentning (Retrieval)

"Dataindhentning" giver brugere mulighed for at uploade deres egne data (f.eks. data fra specifikke industrier, produktinformation eller interne dokumenter) og lade den store sprogmodel svare på disse data, anvendt i deres egen industri eller felt. Denne funktion har været et centralt fokus siden GPT-3 blev lanceret. Dataindhentningen, der blev lanceret på DevDay, er den første gang, den officielle version tilbyder en indfødt løsning til denne funktion, f.eks. at lade virksomheder oprette interne vidensrobotter, såsom AI-projektledere, AI-systemanalytikere; i medicinske, finansielle og andre sektorer, kundeservicerobotter, som tidligere krævede komplekse sprogbehandlingsteknologier for at blive implementeret. Nu med GPT-4's stærke sprogmodel og OpenAI's officielle dataindhentningsfunktion kan udviklere fokusere på forretningslogik, datanøjagtighed og detaljejustering. Desuden krævede brugen af tredjepartsbiblioteker tidligere vektordatabaser, datasegmentering eller specifikke søgealgoritmer, men med OpenAI's officielle støtte er der ingen grund til at bruge ekstra tid og omkostninger på disse udviklingsprocesser og deres afledte omkostninger. OpenAI understreger også, at samtaler og filer, der bruges med Assistants API, ikke vil blive brugt til at træne OpenAI's næste generations modeller.

Konklusion

Samlet set fortsætter OpenAI med at optimere modellens effektivitet og udvider også anvendelsen af store sprogmodeller. Sam Altman har sagt, at GPT-5 ikke vil blive lanceret på kort sigt, og med den nuværende præcision af GPT-4 ser det ikke ud til at være nødvendigt at bruge store omkostninger på at træne en sprogmodel med større parametre. I stedet er fokus på at forbedre GPT-4's ydeevne, brugervenlighed og skalerbarhed. For udviklere, virksomheder og slutbrugere er det blevet et centralt fokus i den næste generation af digital transformation at implementere mere kraftfulde AI'er, der kan anvendes i de fleste scenarier. GPT, skabt af OpenAI, er som hjernen i fremtidens teknologiske verden, og vi tror, at de kommende innovationer og fremskridt vil gøre kunstig intelligens bedre til at bruge værktøjer, "se", "høre" og flydende "tale" og "tegne".