Vid OpenAI DevDay den 6 november 2023 presenterade OpenAIs VD Sam Altman återigen något som överträffade förväntningarna och öppnade nya möjligheter för AI-utvecklare. I denna artikel utforskar vi vad som gör GPT-4 Turbo så attraktivt för mjukvaruutvecklare.

OpenAI höll sin DevDay den 6 november 2023, och medan andra stora teknikföretag fortfarande försöker komma ikapp GPT-4:s prestanda, har OpenAIs VD Sam Altman återigen överträffat förväntningarna och visat OpenAIs ledande position inom artificiell intelligens.

GPT-4 Turbo: Snabbare, större textmängd och billigare

Kontext avser den totala textmängden som ges till en stor språkmodell som indata och dialog. Tidigare stödde den maximalt 32 000 tokens (endast tillgängligt för vissa utvecklare), medan GPT-4 Turbo tillåter upp till 128 000 tokens, vilket motsvarar att mata in en 300-sidig bok till GPT-4 Turbo för generering. Tidigare var den största nackdelen med GPT-4 dess långsamhet, vilket ofta ledde till långa väntetider under genereringsprocessen. Därför använde företag oftare GPT-3.5 för att lösa de flesta praktiska applikationsproblem. GPT-4 Turbo har löst detta problem och erbjuder genereringshastigheter nära GPT-3.5, vilket berikar framtida integrationer av GPT-4 Turbo. Kostnadsmässigt är det dubbelt så billigt för indata och hälften så dyrt för utdata jämfört med den tidigare versionen av GPT-4.

Mer utvecklarvänlig funktion för funktionsanrop

Vad är funktionsanrop?

OpenAI lanserade tidigare i år funktionen "funktionsanrop", som gör det möjligt för utvecklare att anropa anpassade kodfunktioner när de använder GPT. Detta innebär att den intelligenta AI:n kan ansluta till olika API:er, vilket kraftigt ökar de områden där OpenAI kan användas. Modellen är kraftfull eftersom den kan bestämma vilken instruktion som ska anropas och använda lämpliga parametrar när utvecklare tillhandahåller flera gränssnitt för programmet.

Exempel: En utvecklare av smarta sensorlampor tillhandahåller två instruktioner: "ställ in färg" och "ställ in sensorperiod". Parametrarna för färginstruktionen är tre: vit, naturligt ljus och nattlampa. När GPT får indata: "Ställ in en lämplig nattlampa", bestämmer GPT automatiskt att använda instruktionen "ställ in färg" och använder parametern "nattlampa" utan mänsklig inblandning. Tidigare krävdes det att man skrev anpassad logik med NLP-teknik för att uppnå detta, men nu kan det göras genom att anropa GPT-programmet.

Vad har ändrats denna gång?

Denna uppdatering gör att GPT kan avgöra mer exakt vilken instruktion och vilka parametrar som ska användas, samtidigt som den förbättrar GPT:s förmåga att anropa flera instruktioner samtidigt. Tidigare, när situationen var mer komplex, behövde utvecklare skriva ytterligare kod för att låta funktionen göra flera anrop; denna uppdatering gör att GPT kan utföra flera instruktioner på en gång och låta resultaten från varje instruktion överföras mellan dem. Till exempel: När man använder indata "Jag brukar vakna mitt i natten för att dricka vatten, ställ in en lämplig lampinställning", kan GPT bestämma att anropa både "ställ in färg" och "ställ in sensorperiod" och bestämma "sensorperiod"-parametern till "01:00 till 06:30" och samtidigt använda "ställ in färg" med parametern "nattlampa".

Dessutom var språkmodellens svar tidigare i "icke-specifik textformat", och om man ville ha ett specifikt format behövde man be om "svara i xml-format" i indatan. Utvecklare stötte ofta på problemet att svaret inte alltid var i xml, utan ibland blandades med vanlig text, vilket ledde till fel vid formatkonvertering. Denna gång tillåter GPT-4 Turbo utvecklare att ställa in parametern response_format, som kan ställas in till xml eller json, vilket är vanliga API-svarformat, vilket ökar programmets stabilitet.

Slutligen tillåter OpenAI användare att ställa in Seed-parametern, som bestämmer slumpmässigheten i GPT:s svar. Genom att ställa in denna parameter kan utvecklare säkerställa att språkmodellens svar förblir konsekventa, vilket gör det lättare att skriva testfall och ökar programmets testbarhet och kvalitet.


Förutom de två punkterna ovan är lanseringen av Assistants API den stora höjdpunkten på DevDay när det gäller utökning av applikationsscenarier.

Assistants API

Tidigare, för att använda stora språkmodeller för att utveckla generativa AI-applikationer, behövde man använda tredjepartsbibliotek som LangChain för att ge språkmodellerna mer avancerade förmågor, såsom användning av flera språkmodeller, anpassad datahantering, minne och agenter (som gör att AI kan utföra kontinuerliga uppgifter och beslut), för att slutföra mer komplexa AI-scenarier.

På DevDay presenterades Assistants API, som integrerar de ovan nämnda förmågorna i den officiella API:n, vilket eliminerar de problem utvecklare möter när de integrerar tredjepartsbibliotek. Detta är första gången som den officiella API:n går bortom att bara optimera språkmodellens prestanda och börjar utforska "agent"-applikationer. Enligt den officiella dokumentationen är "en assistent en målorienterad AI som tillåter användning av specifika instruktioner, extern data eller olika språkmodeller och verktyg för att utföra uppgifter".

Den nya Assistants API innehåller också flera verktyg, inklusive "funktionsanrop", "kodkompilator" och "datahämtning".

Kodkompilator

GPT-4:s "kodkompilator" tillåter att egen skriven kod kan köras i en sandlådemiljö (för närvarande endast Python stöds). Tidigare behövde ingenjörer kopiera och klistra in koden som GPT-4 hjälpte till att skriva i sin egen utvecklingsmiljö för att testa den. OpenAIs sandlådemiljö gör det möjligt för GPT-4 att själv granska om koden är korrekt och gradvis justera koden baserat på resultaten tills målet är uppnått.

Dock är kodkompilatorns funktion mycket större än "att låta GPT-4 granska sin egen kods korrekthet". Dess större betydelse ligger i "att ge språkmodellen en egen dator", som kan utföra de flesta uppgifter. Nu kan språkmodeller interagera genom programmeringsinstruktioner, och även om de körs i en begränsad sandlådemiljö där kompilatorn endast kan använda specifika tredjepartsbibliotek, är det tillräckligt för att utföra "de flesta uppgifter som Python-programmeringsspråket är bra på", såsom databehandling och API-anrop, och kan läsa större kodfiler som användaren tillhandahåller. Sandlådemiljön säkerställer att språkmodellens kraftfulla förmågor inte missbrukas, vilket ger en viss säkerhetsnivå.

Datahämtning

"Datahämtning" gör det möjligt för användare att ladda upp sin egen data (t.ex. specifik branschdata, produktinformation eller interna dokument) och låta språkmodellen svara baserat på denna data, vilket kan tillämpas i sin egen bransch eller område. Denna funktion har varit en central punkt sedan GPT-3 lanserades. Datahämtningen som presenterades på DevDay är den första officiella lösningen för denna funktion, vilket gör det möjligt för företag att skapa interna kunskapsrobotar, som AI-projektledare eller AI-systemanalytiker; kundtjänstrobotar inom medicin, finans och andra områden, som tidigare krävde komplex språkbehandlingsteknik för att implementera. Med GPT-4:s kraftfulla språkmodell och den officiella datahämtningsfunktionen från OpenAI kan utvecklare nu fokusera på affärslogik, datakorrekthet och finjustering av detaljer. Tidigare behövde man använda tredjepartsbibliotek för vektordatabaser, datasegmentering eller specifika sökalgoritmer, men med OpenAIs officiella stöd behövs inte längre extra arbete för att hantera dessa utvecklingsprocesser och deras relaterade kostnader. OpenAI betonar också att konversationer och filer som används med Assistants API inte kommer att användas för att träna nästa generations modeller från OpenAI.

Slutsats

Sammantaget fortsätter OpenAI att optimera modellens effektivitet och utöka språkmodellens applikationer. Sam Altman har sagt att GPT-5 inte kommer att lanseras inom kort, och med den nuvarande precisionen hos GPT-4 verkar det inte nödvändigt att spendera stora resurser på att träna en större språkmodell. Istället är OpenAIs nuvarande fokus att förbättra GPT-4:s prestanda, användarvänlighet och skalbarhet. För utvecklare, företag och slutkonsumenter har det blivit en prioritet att införa mer kraftfull AI som kan tillämpas i de flesta scenarier för nästa generations digitala transformation. GPT, som skapats av OpenAI, fungerar som hjärnan i framtidens teknologivärld, och vi tror att framtida skapelser och framsteg kommer att göra artificiell intelligens bättre på att använda verktyg, "se", "höra" och flytande "tala" och "rita".