Kennisland ontwikkelt nieuwe evaluatiemethode voor innovatieprocessen

Presentatie tussentijdse resultaten MD voor Europese Commissie.


2 juli 2013

Op 18 juni jl. presenteerde Marlieke Kieboom voor de Europese Commissie in Brussel de voorlopige resultaten van ons experiment met de ontwikkeling van een evaluatie-instrument voor het stimuleren van innovatieprocessen (presentatieslides). Het onderzoek naar de ontwikkeling van een theorie, een methode en een digitaal instrument voor Dynamische Evaluatie (DE) is onderdeel van het onderzoeksprogramma ‘Emergence by Design’ (MD). Naast Kennisland presenteerden ook andere leden van het consortium voor de strenge jury. De uitkomst van de Mid-Term Review: “Het gaat goed, en het kan nog beter!”

Wat is Emergence by Design?

Hoe mobiliseer je innovatiekracht in een complexe samenleving? En hoe kun je deze beweging ondersteunen? Het MD-onderzoeksconsortium, bestaande uit o.a. Nederlandse, Italiaanse, Poolse, Zweedse en Franse onderzoekers, praktijkorganisaties en ICT-specialisten, experimenteert op verschillende manieren met deze moeilijke vraag. In drie casestudies wordt gekeken hoe netwerkmodellen, evaluatiemethodes en spelontwerpen van invloed zijn op het stimuleren van innovatie. Binnen MD is Kennisland betrokken bij het onderzoek naar een nieuwe manier van evalueren. Hoe kun je in een snel veranderende sociale context waar meerdere belangen spelen, sturen op resultaten die in hun kern van waarde zijn voor de gemeenschap zelf? Kennisland kijkt binnen het onderzoek vooral hoe je projecten gelijktijdig kunt evalueren en bijsturen tijdens de uitvoering zodat maximale impact wordt bereikt.

Complexe vernieuwingsprocessen vragen nieuwe manier van evalueren

Er bestaat in het veld van sociale innovatie een noodzaak om de traditionele evaluatiemodellen te herzien. Traditionele evaluatiemethoden gaan uit van a priori vastgestelde doelstellingen die op een objectieve manier, van buitenaf en regelmatig kunnen worden gemeten. Traditionele vragen zijn: ‘Boekt het programma vooruitgang?’ en achteraf: ‘Werkte het programma?’. Deze manier van evalueren is onbruikbaar en contraproductief voor innovatietrajecten in complexe, sociale contexten. Waarom? Ten eerste behartigt deze manier van evalueren vooral het belang van organiserende partijen, zoals programmamakers, financiers en beleidsmakers. Zij, en niet de innovatieve leraar of ambtenaar, hebben de beoogde resultaten van tevoren vast vastgelegd. Door op zoek te gaan naar bewijzen die laten zien dat de doelen worden behaald, wordt evaluatie een controlemiddel: er wordt van tevoren bepaald door een select aantal mensen welke kwaliteit verbeterd moet worden. Dit is geen supportmodel voor innovatie. Ten tweede komen onderzoeksdata veelal pas halverwege of na het einde van een innovatieprogramma beschikbaar. En dan vaak ook nog alleen voor de eerdergenoemde organiserende partijen. Hierdoor is deze manier van evalueren van weinig waarde voor een pionier in het veld. Ten derde slaat evaluatie gericht op vooraf bepaalde resultaten bij innovatieprocessen volledig de plank mis. Het gaat bij innovatieprocessen juist om het herkennen en stimuleren van onverwachte wendingen, contacten en kansen in hun eigen context, en het leren anticiperen op deze dynamiek.

Dynamische evaluatie op papier

Dynamische evaluatie maakt (kwalitatief) onderzoek tot een instrument om het lerend en onderzoekend vermogen van innovators en organisaties te verbeteren. Dynamische evaluatie maakt hiervoor gebruik van tools die verhalenvertellerij structureren en onderbrengen in constante feedbackloops. Feedbackloops zijn terugkerende informatiestromen die mogelijkheden bieden om gedrag te veranderen of te verbeteren. De onderliggende hypothese stelt namelijk dat dit proces het ontstaan van productieve relaties stimuleert. Dit zijn contacten tussen mensen die innovaties verbeteren en innovators verder helpen ontwikkelen, dan wel zelf nieuwe innovaties genereren. Op deze manier is het DE-proces een supportmodel gericht op het stimuleren van toekomstgericht handelen teneinde sociale innovaties op een positieve manier te ondersteunen.

In de praktijk betekent dit proces dat er drie componenten worden ontwikkeld en gebruikt:

  1. constante feedbackloops in een programmadesign
  2. theorie en model voor narratieve data-analyse
  3. methodes voor gestructureerde verhalenvertellerij

Bij een dynamisch evaluatieproces zijn drie rollen te onderscheiden die deze drie componenten ontwikkelen en gebruiken:

  1. de innovators
  2. de programmaleider en zijn projectteam
  3. de evaluator/onderzoeker

De rol van de evaluator/onderzoeker is uitvoerder van kwalitatieve data-analyse. Samen met de projectleider ontwerpt hij de daaropvolgende interventie in het programmadesign en samen faciliteren zij het proces waarin innovators data generen, interpreteren, ordenen, verbeteren en gebruiken. Op deze manier evalueert niet alleen de evaluator ten opzichte van zijn data, maar ook de projectleider ten opzichte van zijn programmadesign, en de pioniers ten opzichte van hun innovatieomgeving. Dit collectief waarborgt en verbetert samen de kwaliteit van de innovaties en bepaalt zelf wat nodig is om toekomstgericht te kunnen handelen.

Dynamisch evalueren met Onderwijs Pioniers

In het afgelopen jaar heeft Kennisland het project Onderwijs Pioniers als casestudie genomen voor het experiment. De projectleider en een ‘dynamisch evaluator’ gingen samen met 20 pionierende basisschoolleraren aan de slag om hun plannen voor de verbetering van hun onderwijsomgeving tot een succes te maken. Op basis van de theorie die ten grondslag ligt aan het MD-onderzoek werd een aantal nieuwe elementen toegevoegd aan het programmadesign, dat grofweg bestaat uit eenmalige financiële ondersteuning per pionier (€5000,-), een individuele coach en een collectief van medepioniers die elkaar gedurende het jaar vier maal ontmoeten op een ‘pioniersdag’. Ten eerste werden er twee nieuwe feedbackloops aangelegd: één tussen het Onderwijs Pioniers-projectteam en de leraren, en één tussen de leraren zelf. Ten tweede werden de pioniers gestimuleerd om in deze feedbackloops verhalen te delen over hun innovatiestrategieën, en deze verhalen te structureren en te verbeteren (!) aan de hand van storytellingmethodes. Op deze manier wordt de ontwikkeling van een derde feedbackloop gestimuleerd: de uitwisseling van verhalen over hun innovatie in hun eigen gemeenschap op en rond de school met als doel nieuwe, productieve relaties tot stand te brengen.

Onderliggende werkprincipes en randvoorwaarden

De methode heeft zijn succes voor Onderwijspioniers ruim bewezen. Ten opzichte van vorig jaar zijn de resultaten van de pioniersprojecten bijvoorbeeld zichtbaarder, steviger en van hogere kwaliteit (aldus de eindjuryleden). Verder heeft DE als mooie bijkomstigheid dat de vooruitgang van de innovaties gedurende het jaar gevisualiseerd worden en dus tastbaar worden gemaakt. Dit maakt het makkelijker voor organisaties zoals Kennisland om doorgaans ‘onzichtbare’ of moeilijk meetbare resultaten van sociale innovatieprocessen te presenteren aan beleidsmakers en financiers.

Maar een succes met DE komt niet vanzelf. Belangrijker dan de precieze vorm van de uitvoering zijn de onderliggende werkprincipes die bij DE in acht moeten worden genomen om de onderzoeksmethode succesvol te laten zijn als innovatiesupportmodel. Ten eerste is het belangrijk dat de data wordt gegenereerd, geordend, verbeterd en getest door een collectief van innovators. De dynamisch evaluator en de projectleider ondersteunen dit proces met aanvullende data-analyse en storytellingmethodes. Ten tweede moeten de ontworpen interventies die data genereren stimulerend (en niet verstorend of tijdrovend) zijn voor de beoogde innovaties. Bij Onderwijs Pioniers werd daarom gewerkt met storytellingmethodes zoals het schrijven van een nieuwsbrief, of het maken van een promotiefilmpje.

Verder is het belangrijk om, voordat een DE-proces van start gaat, een aantal randvoorwaarden te scheppen met de samenwerkende partijen. Idealiter bieden deze voorwaarden voldoende ruimte voor de ontwikkeling van zelfgeorganiseerde innovatie en het dynamische evaluatieproces. Zo moeten de criteria voor deelname aan een innovatieprogramma zo open mogelijk gedefinieerd worden. Ook moeten de samenwerkende partijen een dynamisch evaluator aanstellen en faciliteren in hun organisatie. Dit vergt moed en durf van de financierende en organiserende partijen!

Plannen voor de toekomst

DE heeft nog last van een aantal kinderziekten. Zo is het momenteel moeilijk om de grote hoeveelheden data op een gestructureerde manier en tijdig te verwerken. Ook moeten er creatieve manieren worden gezocht om de innovatiekwaliteit door de innovatiegemeenschap zelf te laten meten en beoordelen. De ontwikkeling van de digitale storytelling-tool moet hier uitkomst bieden. Onze partner Factlink is momenteel bezig om de architectuur en software van de betaversie van deze spiksplinternieuwe tool te ontwikkelen en testen. Hier is al een voorproefje te zien.

In de komende 18 maanden gaat Kennisland door met de ontwikkeling van de evaluatiemethode en de bijbehorende digitale tool. Aan de hand van nieuwe experimenten met innovatieprocessen die Kennisland begeleidt, wordt het proces verfijnd en verbeterd zodat DE geschikt wordt voor elk programma dat het stimuleren van zelfgeorganiseerde innovatie als doelstelling heeft. Aan het einde van het MD-onderzoeksproject, dat nog loopt tot oktober 2014, komen zowel de methode als de tool publiek beschikbaar. Kennisland werkt aan de ontwikkeling van een cursus voor projectleiders die Dynamische Evaluatie effectief willen inzetten in hun programma’s.

Meer weten? Ga naar de website van Emergence by Design.