De 749 snelst groeiende bedrijven analyseren met interviews was onhaalbaar voor InnovationQuarter. Met hulp van AI lukte het in slechts een fractie van de tijd van honderden interviews.
Als regionale ontwikkelingsmaatschappij (ROM) ondersteunt en stimuleert InnovationQuarter het economisch ecosysteem in Zuid-Holland. In dat ecosysteem zijn veel start-ups, hoogtechnologische mkb’ers, universiteiten en andere kennisinstellingen actief. “Veel van die start-ups zijn opgezet op basis van technology push, door mensen zonder ervaring als ondernemer, die vooral bezig zijn met techniek”, zegt Anton Duisterwinkel, senior business developer HTSM bij InnovationQuarter. “Momenteel groeien slechts weinig start-ups door tot significante economische entiteiten. Soms lijkt er alleen aandacht te zijn voor deze valorisatieroute van kennis. Ons idee was dat er zo veel andere mogelijkheden zijn om kennis uit universiteiten naar het bedrijfsleven te brengen, met name naar bestaande bedrijven.”
Datagedreven werken met AI
Om dat idee te concretiseren, deed InnovationQuarter een beroep op de AI-expertise van Berenschot. “Zelf beschikten we op dat moment niet over de ervaring en expertise met AI. We hebben Berenschot daarom gevraagd met AI te onderzoeken hoe kennis wordt overgedragen van universiteiten en kennisinstellingen naar bedrijven die economische impact genereren en wat daarin efficiënte en effectieve methoden zijn”, aldus Duisterwinkel. “Als we dat beter snappen door meer datagedreven te werken, zouden we onze rol daarin kunnen versterken. De vraag aan Berenschot leerde ons ook hoe InnovationQuarter zelf met AI zijn processen kan verbeteren.”
Handmatig onhaalbaar
Het onderzoek moest uitgevoerd worden onder de lijst met 250 snelst groeiende bedrijven die de Erasmus Universiteit jaarlijks publiceert, en dan over de afgelopen vijf jaar: 749 in totaal (sommige bedrijven komen vaker voor). “Door te groeien, versterken deze bedrijven de economie in Nederland. Daarom wilden wij achterhalen welke valorisatieroute zij hanteren”, verklaart Duisterwinkel. “Voor ons was een dergelijk onderzoek via interviews volledig onhaalbaar. Reken maar uit wat het kost om 749 interviews uit te voeren en de uitkomsten handmatig te verwerken.”
Eigen AI-script voor betrouwbaar onderzoek
Toen een eerste test aan de hand van drie bekende large language models (LLM’s) – ChatGPT, Copilot en Perplexity – geen volledige en ook geen valide informatie opleverde, ontwikkelde Berenschot een eigen AI-script voor het onderzoek. Dit script zocht naar informatie over de 749 bedrijven en hun mogelijke betrokkenheid bij zestien verschillende valorisatieroutes. Zodra het script vermoedde dat een bedrijf een van de routes benut (een ‘hit’), checkte een ander script of de website waar de informatie gevonden was ook echt bestaat, en of de aangegeven tekst op die website voorkomt. Op basis daarvan kwalificeerde dit tweede script de ‘hit’ als zeker of waarschijnlijk. Zo werden 60.000 websites doorzocht. Vervolgens werden de uitkomsten steekproefsgewijs gevalideerd door een aantal ondernemers te interviewen over de door hen gebruikte valorisatieroutes.
De bekende modellen geven elk afzonderlijk veel meer hits per bedrijf. “Die programma’s zijn ingericht om de vraagsteller te pleasen, wat leidt tot hallucineren: het geven van niet-gefundeerde antwoorden om maar een antwoord te geven”, verklaart Duisterwinkel. “Maar als je alleen de routes pakt die én ChatGPT én Copilot én Perplexity vinden, zijn dat er maar een paar, en die hits komen dan heel behoorlijk overeen met het script van Berenschot en de antwoorden uit de interviews. Dat gaf mij behoorlijk vertrouwen.”
Uiteraard zullen we de resultaten altijd kritisch moeten beoordelen, maar met andere bronnen moet je dat ook.
Uitkomsten van het onderzoek
“Twee derde van de snelst groeiende bedrijven gebruikt geen kennisinstellingen (zoals universiteiten, hbo’s en TNO) en groeit toch hard,” zegt Duisterwinkel. “Een derde benut die kennis wél, via samenwerking, personeel of overdracht.” Start-ups en octrooilicenties zijn zeldzaam. Kennisinstellingen moeten volgens hem inzetten op “een breder palet van activiteiten, zoals webinars en netwerkbijeenkomsten”, waarbij ROM kan helpen “door bedrijven uit onze ecosystemen uit te nodigen of onderwerpen aan te dragen.”
Efficiëntieverbetering
Als meerwaarde van het onderzoek noemt Duisterwinkel de enorme efficiëntieverbetering. “In hele korte tijd hebben we tegen lage kosten veel nieuwe inzichten gekregen. De indicatie van valorisatieroutes is heel waardevol, net als de validatie door middel van interviews”, zegt hij. “Uiteraard zullen we de resultaten altijd kritisch moeten beoordelen, dat is een belangrijke maar geen nieuwe les: met andere bronnen moet je dat ook.” Gedurende het traject veranderde tevens zijn persoonlijke visie op AI. “Mijn kennis over AI is toegenomen en mijn kijk positiever. Zo was het fenomeen hallucineren mij bekend, maar weet ik nu ook waar het vandaan komt en hoe je het zo veel mogelijk kunt beperken.”
Berenschot blijft kritisch kijken voor een zo betrouwbaar mogelijk resultaat.
Anton Duisterwinkel, senior business developer HTSM bij InnovationQuarter.
Prettig, flexibel en deskundig
Om de samenwerking met Berenschot te karakteriseren, heeft Duisterwinkel maar drie woorden nodig. “Prettig, flexibel en deskundig. Dat blijkt uit de kennis die ze hebben van AI en de toepassing ervan, de ervaring met vergelijkbare vraagstukken en het feit dat ze kritisch blijven kijken voor een zo betrouwbaar mogelijk resultaat.” Intussen heeft InnovationQuarter de uitkomsten besproken met universiteiten en andere belanghebbenden. Zelf komt Duisterwinkel graag in contact met mensen binnen ROM’s of kennisinstellingen die ervaring hebben met andere routes voor kennisoverdracht naar de markt en mee willen helpen een actieplan te laten ontwikkelen. “We willen niet alleen onderzoek laten uitvoeren, maar er ook iets mee bereiken.”