Verdien av ekspertise

Abstract

Tidligere studier har vist at kvaliteten på menneskelig input kan forbedre interaksjon og feedback fra store språkmodeller (LLM). Dette indikerer at språkmodellene er mottagelige for menneskelig input. Med dette som utgangspunkt undersøkte denne studien om opplevd ekspertise i input påvirket LLMs verdivurdering av startups. I tillegg undersøkte studien om det var systematiske forskjeller mellom de ledende språkmodellene ChatGPT, Claude, Llama og Gemini. Ved å gjøre et utvalg av 50 norske startups, presenterte vi selskapenes prospekter ved kapitalinnhenting til språkmodellene og spurte om en investeringsanbefaling og en verdivurdering. Språkmodellene ble deretter gitt input som gikk imot deres opprinnelige vurdering. Denne inputen ble presentert som om den kom enten fra en ekspert eller en ikke-ekspert på feltet, med fokus på verdivurdering av oppstartselskaper. Resultatene indikerte at alle modellene endret sine opprinnelige vurderinger basert på menneskelig input. Selv om Gemini var mer skeptisk mot å endre mening uten ytterligere opplysning. Det var ingen signifikant forskjell på hvordan modellene ble påvirket av ekspert- eller ikke-ekspertinput når modellene ble undersøkt samlet. Dette viser at store språkmodeller kan generelt være sensitiv til uenighet, uavhengig av kilden. Studien setter søkelys på behovet for ytterligere forskning på hvordan forbedre robuste og pålitelige språkmodeller ved integrasjon av menneskelig input. Spesielt som beslutningsstøtte i situasjoner med høy usikkerhet og risiko som i Venture Capital (VC)-bransjen.