Opmerking

Reactie van Frank Huysmans op 19 April 2012 op 16.01

Oh, en wie een presentatie (in het Engels) wil zien van Marjolein en mij op de Bobcatsss-2012-conferentie in Amsterdam is welkom op

http://prezi.com/ggfrzbnveahm/

Reactie van Frank Huysmans op 19 April 2012 op 16.00

Eind vorig jaar was er in de VS een bijeenkomst over precies hetzelfde onderwerp als waar wij ons mee bezighouden: van outputs naar outcomes. Hier een verslag ip de site van Library Journal:

http://lj.libraryjournal.com/2012/01/managing-libraries/data-driven...

Reactie van Marjolein Oomes op 2 November 2011 op 11.01

Beste allemaal,

Allereerst: hartelijk dank voor alle bijdragen die tot nu toe geleverd zijn binnen deze groep! Onderstaand geef ik een korte samenvatting en interpretatie van thema’s en aandachtpunten die we voorbij zagen komen. We zullen deze punten meenemen als informatie ‘in het achterhoofd’ of op een later moment op deze website nog eens agenderen als discussiepunt. Om de discussie wat meer te laten aansluiten bij het vooronderzoek dat momenteel wordt uitgevoerd, sluit ik mijn bijdrage af met een aantal vragen aan jullie allemaal.

Ten eerste kan ik concluderen dat het SIOB-onderzoekstraject Meten Maatschappelijke Opbrengst wordt gezien als een relevant project dat tegemoetkomt aan een behoefte uit de branche. Zowel op deze website als daarbuiten zijn de reacties positief en geven mensen aan bereid te zijn een steentje bij te dragen.

Wat betreft het doel en de relevantie van het onderzoek merkt Fer Harleman terecht op dat het onderzoek niet puur voort zou moeten komen uit de wens om te bewijzen dat bibliotheken belangrijk zijn en daarom niet gekort moeten worden. De aanleiding van het onderzoek zou juist moeten zitten in de wens om het belang van bibliotheken in de maatschappij te vergroten dan wel behouden. Dit betekent dat de focus niet moet liggen op puur het aantonen van wat voor goede dingen we doen, maar op het aantonen van de mate waarin we nog op de goede weg zitten in het nastreven van onze maatschappelijke doelen.

Wat betreft deze maatschappelijke doelen moeten we volgens enkelen vooral het perspectief van en onze betrokkenheid met de (lokale / landelijke) beleidsvisie vanuit de politiek niet uit het oog verliezen. Jan Klerk spreekt zelfs over de bibliotheek als instrument voor politieke doelen. Tegelijkertijd roept dit (bij Lydia van Duijn en Lourina de Voogd) de vraag op wie nou eigenlijk bepaalt wat de maatschappelijke waarde moet zijn en op welk niveau we de opbrengst van de bibliotheek dan ook het beste meetbaar kunnen maken. De opbrengst die men nastreeft zal immers niet overal hetzelfde zijn.
Deze afbakening van waarde en meetniveau zijn punten die zich in de loop van het traject duidelijker af moeten gaan tekenen. Op dit moment wordt middels een literatuurstudie en kwalitatief onderzoek in kaart gebracht welke typen (mogelijke) opbrengst er allemaal zijn die op verschillende niveaus gemeten zouden kunnen/moeten worden. Opbrengst of waarde wordt daarbij belicht vanuit het perspectief van zowel bibliotheekorganisaties, als politiek, stakeholder en (zoals Kees van Hensbergen ook aanbeveelt) de eindgebruiker.

Punt van moeilijkheid in dit onderzoek is volgens Kees Hamann de vrijblijvendheid en vluchtigheid waarmee veel bibliotheken functioneren. Hun activiteiten zouden zich vaak kenmerken door gebrek aan structuur en continuïteit en lijken niet (altijd) voort te komen uit een strategische langetermijnvisie. Dit maakt niet alleen het meten, maar ook het teweegbrengen van structurele effecten in de samenleving moeilijk of zelfs onmogelijk.
Ik verwacht dat dit punt ook naar voren zal komen in het kwalitatieve vooronderzoek dat deze maand wordt gestart. Als we een wat concreter beeld hebben van waar (op welke maatschappelijke terreinen) en in welke mate er sprake is van gebrek aan structuur en continuïteit, kunnen we bepalen wat hiermee te doen bij de uiteindelijke ontwikkeling van het meetinstrument.

Een ander punt van aandacht voor het meetinstrument wordt aangestipt door Erna Winters. Zij stelt de vraag of de specifieke invloed van de bibliotheek eigenlijk wel te onderscheiden is, aangezien de bibliotheek in de samenleving functioneert als onderdeel van een keten.
De mate van ‘zuiverheid’ van het effect dat uitgaat van de bibliotheek zullen we inderdaad alleen maar kunnen bepalen door zoveel mogelijk te controleren voor de bijdragen van andere partijen en de interacties tussen bibliotheek en ketenpartners. Dit is in het verleden al eens gedaan in de praktijk, o.a. in een studie van de Nijmeegse hoogleraar sociologie Gerbert Kraaykamp voor Stichting Lezen. Welke factoren dat zijn en hoe we dat doen, zal afhangen van o.a. het type effecten waar we uiteindelijk naar gaan zoeken.

Een belangrijke vraag die Josje Calff stelt en die wat mij betreft centraal zou moeten staan in de vervolgdiscussie op dit platform, luidt: wat moeten we nu precies gaan meten en welke conclusies kunnen we daaruit trekken?

Lydia van Duin doet een eerste aanzet tot concretisering door te komen met een duidelijke vraag: wat voegt de bibliotheek en onze werkwijze toe aan de taalontwikkeling, inburgering en het zich thuis voelen in Nederland van mensen die op deze wijze met de bibliotheek in aanraking worden gebracht?
Johanna Kasperkovitz maakt de outcome op de genoemde gebieden al wat concreter en noemt als voorbeelden van indicatoren de mate waarin mensen (door een aanbod van de bibliotheek i.s.m. een ROC): beter hun weg kunnen vinden in de maatschappij, sneller aan de slag gaan met solliciteren en sneller aan een baan komen.

Kees Hamann noemt als concrete voorbeelden van outcome de invloed van een schoolbibliotheek op de onderwijsprestaties van scholieren en de invloed van de bibliotheek op het leesplezier van kinderen, bijvoorbeeld via klassenbezoeken, de kinderboekenweek of een voorleesontbijt (hoewel hij daarbij tevens opmerkt dat dergelijke activiteiten momenteel nog te vrijblijvend en te weinig gestructureerd zijn om hout te snijden).

Frank Huysmans haalt een aantal studies aan waarin het effect centraal staat van leesopvoeding op schoolprestaties. Hoewel de specifieke rol van de bibliotheek hierin niet wordt onderscheiden, vormen de studies een goed voorbeeld van het meten van de outcome van (leren) lezen.

Kees van Hensbergen stelt voor de vraag ook eens om te draaien. Dus niet alleen stil te staan bij wat bibliotheken betekenen, maar ook bij wat er verloren raakt wanneer de bibliotheken er niet meer zijn. In de mogelijke antwoorden die hij vervolgens opsomt, beperkt hij zich echter tot activiteiten die de bibliotheken onderneemt / aanbiedt, maar komt hij nog niet tot de uiteindelijke outcome: de consequenties van (het verdwijnen van) dit aanbod (bijv. studiemogelijkheid, zitplek, debattenclub, etc.) voor (de mensen in) onze samenleving.

Al met al is er op deze website al een goede eerste denk- en discussieslag gemaakt rondom het meten van de maatschappelijke opbrengst van openbare bibliotheken. Graag zou ik de discussie nu wat meer aan laten sluiten bij het lopende vooronderzoek, zodat deze daaraan ook een nog betere bijdrage kan leveren. De vraag die bij dit vooronderzoek centraal staat, luidt: welke elementen van maatschappelijke opbrengst zijn er te onderscheiden? Deze vraag sluit aan bij de vraag van Josje Calff over welke effecten we nu willen gaan meten. Om dit te bepalen wil ik jullie uitnodigen om mee te denken over en een zo concreet mogelijk antwoord te geven op de volgende vier vragen:
- Op welke maatschappelijke terreinen (denk bijv. ook aan beleidsterreinen van gemeenten) is de openbare bibliotheek van belang (bijv. educatie/onderwijs, cultuur, zorg en welzijn, misschien wel ruimtelijke ordening?, etc.)?
- Welke concrete aspecten zijn bij deze domein onder te brengen (bijv. laaggeletterdheid, inburgering, sociale contacten, etc.)?
- Op welke manier of met welk aanbod (producten, diensten, activiteiten) probeert de bibliotheek op deze terreinen of aspecten van toegevoegde waarde te zijn?
- Hoe uit deze meerwaarde zich bij burgers / in de maatschappij?

De resultaten uit het uitgebreide vooronderzoek, aangevuld met uw antwoorden op bovenstaande vragen bieden input om in de tweede fase van het project aan de slag te gaan met het prioriteren en operationaliseren (meetbaar maken) van de verschillende elementen van maatschappelijke opbrengst.

Reactie van Anneke Dirkx op 27 September 2011 op 15.25

Ik ben niet thuis in het onderwerp Maatschappelijke Opbrengst, maar houd mij zijdelings bezig met de impact van wetenschappelijke bibliotheken. Op een recent congres in York (Performance Measurement in Libraries) sprak Charles McClure over dit onderwerp.  http://mcclure.ii.fsu.edu/publications.html . Wellicht voor deze groep de moeite waard. Over mijn ervaringen op het congres heb ik geblogd: http://annekedirkx.wordpress.com/

Reactie van Fer Harleman op 30 Augustus 2011 op 15.59

Van mijn kant wil ik graag meewerken aan een discussie over het meten van het maatschappelijk rendement van de bibliotheek. Het nummer van Bibliotheekblad over rendement is een mooi beginpunt. Jammer alleen dat het heel erg uitgaat van de huidige bezuinigingsgolf en de wens om aan wethouders en andere politici te bewijzen hoe belangrijk wij zijn in de maatschappij. Maar daarmee draaien we de zaak wel om. Een bedrijf, dat vooral aan zijn aandeelhouders wil bewijzen belangrijk te zijn zal geen lang leven beschoren zijn. Een bedrijf streeft naar maximale winst (materieel en immaterieel) en als dat lukt zijn de aandeelhouders ook meestal tevreden . Als bibliotheek hebben wij maatschappelijke doelen en omdat wij voor een groot deel worden betaald uit publieke middelen zijn wij verplicht te zoeken naar die activiteiten, die het meeste maatschappelijk rendement binnen onze doelstellingen opleveren. Dat is de hoofdreden om ons rendement te willen meten. Dat is het uitgangspunt van de discussie. Activiteiten met een afnemend maatschappelijk rendement zouden in de loop der tijd vervangen kunnen worden door activiteiten met een hoger maatschappelijk rendement. We moeten dan wel bedenken, dat het teruglopen van het aantal uitleningen niet direct te vertalen is in een vermindering van het maatschappelijk rendement. Het eerste is een kwantitatieve norm, het tweede een kwalitatieve norm. Als deze discussie en de activiteiten van het SIOB er toe leiden, dat wij meer gaan doen aan maatschappelijk rendementsmaximalisatie dan is het ook veel eenvoudiger om politici duidelijk te maken hoe hoog het maatschappelijk rendement is van hun investering in de bibliotheek.

Reactie van Kees Hamann op 25 Augustus 2011 op 17.49

Het special Rendement vond ik ook een boeiend nummer van BibliotheekBlad. De discussie over de feitelijke kerntaken van de bibliotheek zou meer en meer in de context van maatschappelijke meerwaarde moeten staan. Puur beschikbaar stellen van boeken wordt, zeker als het dan nog in hoge mate van recreatieve aard is, niet meer als een noodzakelijke of wezenlijke taak van de overheid gezien. Vandaar alle bezuinigingen.

Retail-ervaringen toepassen in bibliotheken vind ik erg belangrijk, maar voorkomen moet worden dat het beeld ontstaat dat bibliotheken koste wat het kost vooral investeren in verkopen. Onze adviesfunctie en de begeleiding tot mediawijze volwassenen zijn daarentegen onomstreden en worden steeds belangrijker gevonden. Alleen dient onomstotelijk vastgesteld te worden welk effect de bibliotheekdiensten op die terreinen dan realiseren. Omdat veel bibliotheken nauwelijks enige structuur en continuiteit in dergelijke activiteiten hebben aangebracht, is de vrijblijvendheid troef en het effect beperkt. Op dat punt zouden bibliotheken veel meer strategisch moeten aansturen. Mensen worden immers niet door een eenmalige activiteit of een projectje mediawijs of leesgierig.

In Vlissingen beschikken we sinds 1993 over een onderzoeksafdeling die voortdurend probeert bibliotheekactiviteiten te evalueren door te meten. Dat staat in schril contrast tot het feit dat De Vergelijkende Bibliotheek, (het project dat van 2006 tot 2009 probeerde benchmarkgegevens naast uitleen- en klantencijfers te genereren), ter ziele is gegaan omdat veel bibliotheek de daarvoor noodzakelijke gegevens niet had of niet wilde verzamelen. Dit laatste aspect dient zwaar mee te tellen bij de opzet van nieuwe outcome-indicatoren, want voor je het weet bouwen we weer iets op dat door niemand gevoed wordt.

Hiermee alle hulp om dit verder uit te denken aangeboden!

Reactie van Lourina de Voogd op 25 Augustus 2011 op 16.59

Bibliotheekblad 10 van 12 augustus is een special: Rendement. Dit nummer is een prima document om de discussie van deze groep weer aan te zwengelen. Ondanks de interessante groep leden is het stil gebleven de laatste maanden. De special geeft verschillende invalshoeken, de artikelen roepen allemaal weer vragen op. Voor deze groep is de beschrijving van het onderzoek Huysmans en Oomes handig. Het onderscheid tussen de outcome-aspecten; kunnen we ons daarin vinden? En is het genoeg dat landelijk de meerwaarde van de bibliotheken onderzocht wordt, of zijn er toch centraal ontwikkelde tools nodig die lokaal ingezet kunnen worden?

De Vlamingen constateren bij het Participatiesurvey van 2009 onder andere dat de aandacht voor (innovatieve) dienstverlening aan ouderen achterblijft; hebben wij daar nu mooie nieuwe voorbeelden van, inspelend op de demografische ontwikkelingen? Wat vinden we van de voorbeelden uit Amerika, waar de job-centers floreren in de bibliotheek? Voor de filosofisch ingestelde mensen is er Martha Nussbaum en zeker nog meer interessante items. Cultureel ondernemerschap wordt veelvuldig genoemd, het is een logische manier van werken in elke organisatie, ook in de non-profitsector. Maar hoe definieer je strategisch ondernemerschap in de context van maatschappelijke waarde?

Ik mis nog de gedachte dat gemeenten ook vanuit een strategische lange termijn visie werken. De zakelijke doelen staan niet op zichzelf maar in de context van een (maatschappelijke) beleidsvisie. Bv de stad Utrecht, als snel ontwikkelende creatieve industrie; de landelijke gemeente Noord-Beveland, waar toerisme, landbouw en duurzaamheid verbonden worden. Kunnen de bibliotheken daar (zichtbaar) aan bijdragen?

Kortom, na enkele maanden reflectie is er weer genoeg stof tot nadenken en uitwisselen.

Reactie van Josje Calff op 20 Januari 2011 op 14.06

Allemaal relevante commentaren, maar de vraag blijft: wat zijn bruikbare criteria, wat moeten we precies tellen of meten en welke conclusies kunnen we daaruit trekken. Onze collega's in Groot Brittannië breken zich het hoofd over dezelfde vragen. Leerzaam:

Value and impact. Numbers and pictures: capturing the impact of public libraries. In: Library & Information Update, December 2010, pp. 44-46.

Reactie van Frank Huysmans op 19 Januari 2011 op 16.16

Wie zijn counterparts wil overtuigen van de educatieve opbrengst van goed leren lezen, heeft wellicht baar bij twee recente studies van Nijmeegse sociologen naar de (positieve, jawel) invloed van de door ouders aan hun kinderen leesopvoeding op de leesvaardigheid van kinderen en de schoolprestaties die daar het gevolg van zijn. Nota bene: de studies gaan dus niet specifiek in op de rol van de bibliotheek specifiek, maar wel van het belang van goed leren lezen (en de rol van de ouders daarin).

Notten et al. 2008

Kloosterman et al. 2010

 

En: excuses voor de vijf mailtjes waarmee ik jullie opzadelde met mijn vorige post. Ik wilde twee foutjes wegpoetsen maar een editfunctie vond ik zo snel niet...

Reactie van Frank Huysmans op 19 Januari 2011 op 15.25

@ Lourina: in een recent paper van de Finse onderzoekers Vakkari en Serola wordt het als volgt geformuleerd: "We can distinguish between normative and subjective benefits. Normative benefits are defined by an institution, which is authorized to establish such norms like legislation. Normative benefits are indicated in the legislation, in our case in the public library law. It describes the goals of the public library, which in the case of Finland are e.g. advancing equal access to information, life-long learning and social inclusion. Diverging from normative benefits, subjective benefits are benefits as perceived by the actors. They are whatever the users feel contribute to their good. The normative and subjective benefits do not necessary overlap." Het lijkt mij dat zowel normatieve als subjectieve opbrengsten relevant zijn om te meten; beide vullen elkaar mooi aan.

• ‹ Vorige
• 1
• 2
• 3
• Volgende ›
• Pagina