På OpenAI DevDay-arrangementet den 06.11.2023, overgikk OpenAI-sjef Sam Altman igjen forventningene, og ga AI-utviklere nye muligheter. La oss gjennom denne artikkelen forstå hva som gjør GPT-4 Turbo så attraktiv for programvareutviklere.

OpenAI holdt OpenAI DevDay den 06.11.2023, og mens andre store teknologiselskaper fortsatt strever med å matche ytelsen til GPT-4, har OpenAI-sjef Sam Altman igjen overgått forventningene, og gitt AI-utviklere nye muligheter, noe som tydelig viser OpenAIs ledende posisjon innen kunstig intelligens.

Den kraftige GPT-4 Turbo: Raskere, større tekstmengde og billigere

Kontekst refererer til den totale tekstmengden som gis til en stor språkmodell som input og dialog. Tidligere var den maksimale tekstmengden begrenset til 32 000 tokens (kun tilgjengelig for noen utviklere), mens GPT-4 Turbo tillater opptil 128 000 tokens, noe som tilsvarer å kunne gi en 300-siders bok til GPT-4 Turbo for generering. Når det gjelder hastighet, var den største kritikken mot GPT-4 tidligere at den var treg, noe som ofte førte til lang ventetid under generering. Derfor brukte bedrifter ofte GPT-3.5 for å løse de fleste praktiske problemer. GPT-4 Turbo har løst dette problemet, og genereringshastigheten nærmer seg GPT-3.5, noe som beriker fremtidige integrasjoner med GPT-4 Turbo. Når det gjelder kostnader, er prisen for input tokens tre ganger billigere enn forrige versjon av GPT-4, og prisen for output tokens er halvert.

Mer utviklervennlig funksjonskall (Function Calling)

Hva er funksjonskall (Function Calling)?

OpenAI lanserte tidligere i år funksjonen "funksjonskall", som lar utviklere kalle tilpassede kodefunksjoner når de bruker GPT. Dette betyr at AI kan kobles til ulike API-er, noe som betydelig øker bruksområdet for OpenAI. Modellen er kraftig fordi den kan velge hvilken kommando som skal kalles basert på flere grensesnitt som utvikleren gir, og bruke passende parametere for utførelse.

Eksempel: En utvikler av en smart sensorlampe gir to kommandoer: "sett farge" og "sett sensorperiode". Kommandoen for å sette farge har tre parametere: hvitt lys, naturlig lys og nattlys. Når GPT får input "hjelp meg med å sette en passende nattlampe", vil GPT automatisk velge "sett farge"-kommandoen og bruke parameteren "nattlys", helt uten menneskelig inngripen. Tidligere krevde dette bruk av NLP-teknologi for å skrive tilpasset logikk, men nå kan det oppnås ved å kalle GPT-programmet.

Hva er endret denne gangen?

Denne oppdateringen gjør at GPT kan bestemme mer presist hvilken kommando og parameter som skal brukes, samtidig som den forbedrer GPTs evne til å kalle flere kommandoer samtidig. Tidligere, når situasjonen var mer kompleks, måtte utviklere skrive ekstra kode for å tillate flere funksjonskall; denne oppdateringen lar GPT utføre flere kommandoer samtidig og overføre resultatene mellom dem. For eksempel, når man bruker input "Jeg pleier å stå opp om natten for å drikke vann, hjelp meg med å sette passende lampeinnstillinger", kan GPT bestemme seg for å kalle både "sett farge" og "sett sensorperiode"-kommandoene, og bestemme "sensorperiode"-parameteren til "01:00 til 06:30", samtidig som "sett farge"-parameteren settes til "nattlys".

I tillegg har språkmodellens svar tidligere vært i "ikke-spesifikke tekstformater", og hvis man ønsket et spesifikt format, måtte man be om "vennligst svar i XML-format" i input. Utviklere opplevde ofte problemer med at svaret ikke alltid var i XML, og ofte inneholdt deler av ren tekst, noe som førte til feil ved formatkonvertering. Denne gangen tillater GPT-4 Turbo utviklere å sette parameteren response_format til XML eller JSON, som er vanlige API-returformater, noe som øker programmets stabilitet.

Til slutt tillater OpenAI brukere å sette Seed-parameteren, som bestemmer tilfeldigheten i GPTs svar. Ved å sette denne parameteren kan utviklere sikre at språkmodellens svar forblir konsistente, noe som gir trygghet når man skriver testcaser (for å unngå at språkmodellen plutselig gir forskjellige svar), og øker programmets testbarhet og kvalitet.


Utover de to punktene som ble lansert, er det utgivelsen av Assistants API som er høydepunktet på DevDay.

Assistants API

Tidligere, for å bruke store språkmodeller til å utvikle generative AI-applikasjoner, måtte man bruke tredjepartsverktøy som LangChain for å gi språkmodellen mer avanserte evner, som bruk av flere språkmodeller, tilpasset databehandling, minne og agenter (som gir AI evnen til å utføre kontinuerlige oppgaver og beslutninger), for å fullføre mer komplekse AI-scenarioapplikasjoner.

Assistants API, lansert på DevDay, integrerer de nevnte evnene i den offisielle API-en, og sparer utviklere for problemer med å integrere tredjepartsverktøy. Dette er første gang den offisielle API-en går utover å bare optimalisere ytelsen til store språkmodeller, og begynner å utforske "agent"-applikasjoner. Ifølge den offisielle dokumentasjonen er "en assistent en målrettet AI som tillater bruk av spesifikke kommandoer, eksterne data eller forskjellige språkmodeller og verktøy for å utføre oppgaver".

Den nye Assistants API inkluderer også flere verktøy, i tillegg til "funksjonskall", tilbyr den også "kodekompilator" og "datahenting".

Kodekompilator

GPT-4s "kodekompilator" tillater at egen skrevet kode kan kjøres i et sandkassemiljø (for tiden kun støttet for Python). Tidligere måtte ingeniører kopiere og lime inn kode skrevet med hjelp fra GPT-4 i sitt eget utviklingsmiljø for testing, men OpenAIs sandkassemiljø er tilstrekkelig for at GPT-4 kan selvvurdere om koden er korrekt, og gradvis endre koden basert på resultatene til målet er nådd.

Imidlertid er kodekompilatorens rolle langt større enn "å la GPT-4 vurdere korrektheten av egen kode"; dens større betydning ligger i "å gi store språkmodeller sin egen datamaskin", som kan utføre de fleste oppgaver. Nå kan store språkmodeller interagere ved hjelp av kommandoer, og selv om de kjører i et begrenset sandkassemiljø, kan kodekompilatoren bruke spesifikke tredjepartsverktøy, men er tilstrekkelig for å utføre "de fleste oppgaver som Python-programmeringsspråket er godt egnet for", som databehandling og API-kall, og kan lese større kodefiler levert av brukeren. Sandkassemiljøet gir sikkerhet ved å forhindre misbruk av språkmodellens kraftige evner, og gir dermed en viss grad av sikkerhet.

Datahenting

"Datahenting" lar brukere laste opp sine egne data (som bransjespesifikke data, produktinformasjon eller interne dokumenter) og lar språkmodellen svare basert på disse dataene, anvendt i sin egen bransje eller felt. Denne funksjonen har vært et fokusområde siden GPT-3 ble lansert. Datahenting, lansert på DevDay, er den første offisielle løsningen for denne funksjonen, som for eksempel å la bedrifter bygge interne kunnskapsroboter, som AI-prosjektledere eller AI-systemanalytikere; kundeserviceroboter i helse- og finanssektoren. Tidligere krevde dette komplekse språkbehandlingsteknikker for å realisere, men nå, med GPT-4s kraftige språkmodell og OpenAIs offisielle datahentingsfunksjon, kan utviklere fokusere på forretningslogikk, datanøyaktighet og detaljjustering. Tidligere krevde bruk av tredjepartsverktøy vektordatabaser, datasegmentering eller spesifikke søkealgoritmer, men med støtte fra OpenAI er det ikke nødvendig å håndtere disse utviklingsprosessene og de tilhørende kostnadene. OpenAI understreker også at samtaler og filer brukt med Assistants API ikke vil bli brukt til å trene OpenAIs neste generasjons modeller.

Konklusjon

Samlet sett fortsetter OpenAI å optimalisere modellens effektivitet og utvide bruken av store språkmodeller. Sam Altman har sagt at GPT-5 ikke vil bli lansert på kort sikt, og med den nåværende nøyaktigheten til GPT-4, virker det ikke nødvendig å bruke betydelige ressurser på å trene en språkmodell med større parametere. I stedet er det nåværende fokuset for OpenAI å forbedre GPT-4s ytelse, brukervennlighet og utvidbarhet. For utviklere, bedrifter og sluttbrukere har det blitt et fokus for neste generasjons digital transformasjon å implementere kraftigere AI som kan brukes i de fleste scenarier. GPT, skapt av OpenAI, er som hjernen i fremtidens teknologiske verden, og vi tror at fremtidig innovasjon og fremgang vil gjøre kunstig intelligens bedre til å bruke verktøy, samt "se", "høre", "snakke" og "tegne" flytende.