Prompten - hur viktig är den egentligen?

Den sjunde februari utsågs jag som vinnare av Prompt-SM 2025. Tävlingen (som jag skrivit om i tidigare blogginlägg) gick ut på att försöka författa en så bra prompt som möjligt för att lösa tre uppgifter, och jag löste dessa genom att applicera olika rekommenderade tekniker på prompten, så som att ge AI:n en roll, eller att be AI:n att ställa frågor till mig för att klargöra uppgiften.

En fråga som jag fått ett par gånger är hur stor roll prompten egentligen spelar? Blir det olika resultat om du är artig eller ej? Behövs verkligen det där med att ge AI:n en roll?

Jag hade inte ett bra svar på frågan när jag fick den, så jag satte mig ned för att ta reda på det.

Låt oss börja med vad forskningen säger. I en nyligen publicerad artikel, “Prompting Science Report 1: Prompt Engineering is Complicated and Contingent” av Lennart Meincke, Ethan Mollick, Lilach Mollick och Dan Shapiro, finner författarna att det visserligen spelar roll om man är artig eller befallande (“Var vänlig och svara på frågan” eller “Jag befaller dig att svara!”), men utfallet beror på vilken fråga det gäller - för vissa frågor blir svaret mer rätt av en vänlig fråga, för andra är det tvärtom - en befallning ger bättre svar.

Att ge AI:n en roll (“Du är en mycket intelligent assistent som följer instruktioner korrekt”) påverkar inte resultatet på svaret nämnvärt.

För att få ett lite vidare perspektiv bad jag ChatGPT att göra en deep research på ämnet - och här är vad den sökningen resulterade i:

  • Att ge AI:n en roll är en teknik som påverkar hur svaret presenteras, men tycks inte påverka om svaret är mer eller mindre rätt rent faktamässigt.

  • Att be AI:n formatera svaret på något speciellt vis (så som en punktlista) verkar ge viss positiv inverkan på hur rätt svaret är, men främst för mindre modeller (GPT3.5 påverkas exempelvis mer än GPT4). Att det påverkar i vilket format svaret levereras behöver väl knappast påpekas…

  • Artighet påverkar ibland resultatet positivt, men ibland negativt (något som också observeras av Meincke et al).

  • Att erbjuda AI:n en påhittad muta (“om du gör ett bra jobb får du tusen kronor”) kan eventuellt få AI:n att följa instruktionerna något mer stringent, men ger i övrigt liten påverkan på resultatet.

  • Att be AI:n att ställa motfrågor för att klargöra otydligheter är en metod som tycks ha ett mätbart positivt resultat - vilket också var en teknik jag använde i den andra uppgiften i SM-finalen! Man kan jämföra med en mycket enklare prompt: “hjälp mig”, som följs av texten i uppgiften. Den enkla prompten ger ett långt, och lite generisk, svar som listar saker man kan tänka på före, och under, en intervjusituation.

Sammanfattningsvis tycks det som att promptens utformning inte påverkar hur *korrekt rent faktamässigt *ett svar är. Det enda undantaget är när man ber AI:n ställa följdfrågor för att klargöra otydligheter.

Däremot påverkar prompten hur svaret presenteras. Vilket presentationssätt som fungerar bäst beror helt på dina egna preferenser.

Den bästa prompten är därför den som ger just dig svaret i ett format som du föredrar!