Med tanke på att ämnet dyker upp lite då och då, och jag tenderar att vara en dysterkvist om innevarande hypecykel om AI tänkte jag att jag alltid kunde starta en tråd för att dryfta AI, istället för att kleta runt i alla möjliga trådar istället.
Så, varför vet jag något om AI? Jag skrev ett överkomplicerat examensprojekt på högskolan i just AI, det innefattade perceptroner, beslutsträd och ett neuralt nätverk och jag har haft ett intresse för AI sedan jag lärde mig om det där, och har försökt hålla mig någorlunda a jour.
Varför är jag så negativ om hypen för nuvarande AI? De kallas LLM, vilket är en galen uppskalning av neurala nätverk, vilket är teknik som funnits sedan sextiotalet. De gamla expertsystemen som började dyka på på sextiotalet och sjuttiotalet var neurala nätverk, bland annat. Vi har sett den här hypecykeln förut.
Vad är en LLM? Det är en förkortning på Large Language Model, och det är en statistisk modell som kan generara ord (eller symboler på nördspråk) enligt statistisk relevans. De har också en gnutta ren slump inblandat i genereringen för att det inte alltid ska generera exakt samma svar för samma input. Denna slumpfaktor gör det väldigt uppenbart varför de "hallucinerar" felaktigheter, tillsammans med att det inte finns någon förståelse, utan bara är en hög statistiskt relevanta ord i en statistisk relevant ordning som reaktion på orden och ordningen av orden i inputen.
Första releasen av GPT-3 var skenbart revolutionerande, en maskin man kunde prata med! Men egentligen pratar man inte med någon eller något, man får bara ett eko tillbaka av orden man ropar in i maskinen, och väggen ekot studsar mot är den enorma mängd data som används för att träna den statistiska modellen.
Varför ser jag inte någon exponentiell vidareutveckling av LLMer?
Flera anledningar, dels så har NN en egenhet att börja tackla av när man börjar närma sig taket för datan som nätet kan representera, och mer inputdata kommer att asymptotiskt närma sig gränsen, så ju närmare man kommer desto exponentiellt mer data kommer man behöva för att få några förbättrngar. LLMer har kommit in i den delen av kurvan, något som diverse experter påtalat i ett halvår till ett år redan. Riskkaptitalet har börjat bli upprörda på icke infriade löften från säljare med.
Varför tror jag inte på LLMer som AGI?
För att de är statistiska modeller av kopplingen mellan ord, och inget mer. Rent tekniskt sett kan man se dem som chattbottar på stereoider.
Kodgenerering med AI dårå?
Koden som AI genererar är av skamligt låg kvalité, och ökningen av användning av AI för att skriva kod har ökat code churn med extremt mycket. OCh som alla utvecklare vet är code churn väldigt dåligt, och en källa till buggar och kass kvalité. AI-kodning har dessutom en extrem hög vikt på ny kod istället för att ändra existerande kod, så mängden kod sväller enormt för ett givet projekt, och även detta är dåligt av en hel handfull skäl, det enklaste att förstå för en lekman är att varje givet mjukvaruprojekt har en fast ratio på buggar per kodrad, denna ratio har visat sig hålla sig över åratal av utveckling, så att jobba på att skriva så lite kod som möjligt är att föredra.
Kan AI skriva sin egen kod då? Mjo, typ. Men man måste beskriva vad den ska generera, AI har ingen agens, och kan inte ta egna beslut utan att någon säger vad som ska genereras blir det ingen kod genererad, och eftersom att koden som AI genererar är på en kvalitativ nivå av en nyutexad gröngöling och de som jobbar med AI är experter så skulle det snabbt bli mycket sämre. Sedan är den huvudsakliga produkten i LLMer inte koden, utan det är den enorma mängd data man snott över hela internet och som man använder för att mata LLMen med. Vill man skriva en egen LLM så finns det gott om avhandlingar och kodexempel för att göra det.
Vad är agens och varför har inte LLMer detta?
Agens är i detta sammanhang en aktörs förmåga att agera i ett givet system. LLMer saknar agens, och är rena reaktiva datamodeller. De saknar förståelse för systemet de existerar i av sin direkta natur, och på grund av sin natur kommer de aldrig att få emergent inelligens eller agens. Det är något som ligger bortom vad en statistisk modell av ord kan uppnå. Att det känns som om man pratar med en individ är ett trick.
Vad tycker jag allmänt om LLMer?
Det är en lite häftig teknik, men jag tycker att det är oförsvarbart att använda så extremt mycket energi för något som i praktiken är en leksak. Det går inte att lita på outputen man får från dem, eftersom att de genererar rena falsarier, för att inte tala om att folket i Silly Con Valley också har satt tummen på vågen och har gjort att de speglar deras egna politiska syn på världen. Det finns också numera en lång rad exempel på folk som använt LLMer för att generera dokument istället för att göra jobbet själva, och som sedan hamnat i blåsväder för att det är rena falsarier.
Säljarfolket lovar inför varje ny generation enorma framsteg, och varje ny generation uteblir dessa. Det kommer inte komma någon revolution i AI från LLMer igen, men det kommer att långsamt förbättras med iterativa uppgraderingar. LLMer kommer inte att kunna göra mer än vad de kan idag, och alla fräsiga saker de gör idag handlar om att någon manuellt skrivit kod för att särhantera vissa saker.
Vad tror jag om aktier för AI?
Jag tror att hypen kommer hänga i en stund till, och att man fortfarande kan göra sig vinster på det. Men jag har börjat klura på om det nu är inne i ett skede där de stora drakarna börjat förbereda sig på nergången och därför vill att småaktörerna ska gå in och köpa upp deras aktier så att de kan hoppa av tåget innan kraschen.
Så, nu kan alla påpeka alla fel jag har så kan vi ha en lugn och sansad diskussion om ämnet. Jag gillar faktiskt ämnet, trots att jag framstår som negativ.
Så, varför vet jag något om AI? Jag skrev ett överkomplicerat examensprojekt på högskolan i just AI, det innefattade perceptroner, beslutsträd och ett neuralt nätverk och jag har haft ett intresse för AI sedan jag lärde mig om det där, och har försökt hålla mig någorlunda a jour.
Varför är jag så negativ om hypen för nuvarande AI? De kallas LLM, vilket är en galen uppskalning av neurala nätverk, vilket är teknik som funnits sedan sextiotalet. De gamla expertsystemen som började dyka på på sextiotalet och sjuttiotalet var neurala nätverk, bland annat. Vi har sett den här hypecykeln förut.
Vad är en LLM? Det är en förkortning på Large Language Model, och det är en statistisk modell som kan generara ord (eller symboler på nördspråk) enligt statistisk relevans. De har också en gnutta ren slump inblandat i genereringen för att det inte alltid ska generera exakt samma svar för samma input. Denna slumpfaktor gör det väldigt uppenbart varför de "hallucinerar" felaktigheter, tillsammans med att det inte finns någon förståelse, utan bara är en hög statistiskt relevanta ord i en statistisk relevant ordning som reaktion på orden och ordningen av orden i inputen.
Första releasen av GPT-3 var skenbart revolutionerande, en maskin man kunde prata med! Men egentligen pratar man inte med någon eller något, man får bara ett eko tillbaka av orden man ropar in i maskinen, och väggen ekot studsar mot är den enorma mängd data som används för att träna den statistiska modellen.
Varför ser jag inte någon exponentiell vidareutveckling av LLMer?
Flera anledningar, dels så har NN en egenhet att börja tackla av när man börjar närma sig taket för datan som nätet kan representera, och mer inputdata kommer att asymptotiskt närma sig gränsen, så ju närmare man kommer desto exponentiellt mer data kommer man behöva för att få några förbättrngar. LLMer har kommit in i den delen av kurvan, något som diverse experter påtalat i ett halvår till ett år redan. Riskkaptitalet har börjat bli upprörda på icke infriade löften från säljare med.
Varför tror jag inte på LLMer som AGI?
För att de är statistiska modeller av kopplingen mellan ord, och inget mer. Rent tekniskt sett kan man se dem som chattbottar på stereoider.
Kodgenerering med AI dårå?
Koden som AI genererar är av skamligt låg kvalité, och ökningen av användning av AI för att skriva kod har ökat code churn med extremt mycket. OCh som alla utvecklare vet är code churn väldigt dåligt, och en källa till buggar och kass kvalité. AI-kodning har dessutom en extrem hög vikt på ny kod istället för att ändra existerande kod, så mängden kod sväller enormt för ett givet projekt, och även detta är dåligt av en hel handfull skäl, det enklaste att förstå för en lekman är att varje givet mjukvaruprojekt har en fast ratio på buggar per kodrad, denna ratio har visat sig hålla sig över åratal av utveckling, så att jobba på att skriva så lite kod som möjligt är att föredra.
Kan AI skriva sin egen kod då? Mjo, typ. Men man måste beskriva vad den ska generera, AI har ingen agens, och kan inte ta egna beslut utan att någon säger vad som ska genereras blir det ingen kod genererad, och eftersom att koden som AI genererar är på en kvalitativ nivå av en nyutexad gröngöling och de som jobbar med AI är experter så skulle det snabbt bli mycket sämre. Sedan är den huvudsakliga produkten i LLMer inte koden, utan det är den enorma mängd data man snott över hela internet och som man använder för att mata LLMen med. Vill man skriva en egen LLM så finns det gott om avhandlingar och kodexempel för att göra det.
Vad är agens och varför har inte LLMer detta?
Agens är i detta sammanhang en aktörs förmåga att agera i ett givet system. LLMer saknar agens, och är rena reaktiva datamodeller. De saknar förståelse för systemet de existerar i av sin direkta natur, och på grund av sin natur kommer de aldrig att få emergent inelligens eller agens. Det är något som ligger bortom vad en statistisk modell av ord kan uppnå. Att det känns som om man pratar med en individ är ett trick.
Vad tycker jag allmänt om LLMer?
Det är en lite häftig teknik, men jag tycker att det är oförsvarbart att använda så extremt mycket energi för något som i praktiken är en leksak. Det går inte att lita på outputen man får från dem, eftersom att de genererar rena falsarier, för att inte tala om att folket i Silly Con Valley också har satt tummen på vågen och har gjort att de speglar deras egna politiska syn på världen. Det finns också numera en lång rad exempel på folk som använt LLMer för att generera dokument istället för att göra jobbet själva, och som sedan hamnat i blåsväder för att det är rena falsarier.
Säljarfolket lovar inför varje ny generation enorma framsteg, och varje ny generation uteblir dessa. Det kommer inte komma någon revolution i AI från LLMer igen, men det kommer att långsamt förbättras med iterativa uppgraderingar. LLMer kommer inte att kunna göra mer än vad de kan idag, och alla fräsiga saker de gör idag handlar om att någon manuellt skrivit kod för att särhantera vissa saker.
Vad tror jag om aktier för AI?
Jag tror att hypen kommer hänga i en stund till, och att man fortfarande kan göra sig vinster på det. Men jag har börjat klura på om det nu är inne i ett skede där de stora drakarna börjat förbereda sig på nergången och därför vill att småaktörerna ska gå in och köpa upp deras aktier så att de kan hoppa av tåget innan kraschen.
Så, nu kan alla påpeka alla fel jag har så kan vi ha en lugn och sansad diskussion om ämnet. Jag gillar faktiskt ämnet, trots att jag framstår som negativ.
