Zoals eerder aangegeven, doe ik op dit moment onderzoek naar het gebruik van social media in het onderwijs. Dit betreft zowel het organisatorische als het didactische gebruik van social media in het onderwijs waarbij mijn speciale belangstelling uitgaat naar het hoger onderwijs.
Afgelopen weken heb ik samen met mijn collega’s alle hogescholen en universiteiten benaderd voor een online enquete. Daarnaast hebben we ook zelf deskresearch gedaan waarbij we hebben gekeken naar het bereik en de integratie van social media van de onderwijsinstellingen. De verschillen zijn groot, zowel tussen de hogescholen en universiteiten als binnen de groep van hogescholen en universiteiten. Interessant is om te zien dat er geen significant verband bestaat tussen de prestatie op social media en de grootte van de hogeschool of universiteit. Wel is er een significant verband tussen de prestatie en de verhouding tussen het aantal studenten en medewerkers (de zgn student faculty ratio). Kort door de bocht is mijn hypothese: hoe groter de werkdruk op een hogeschool of universiteit, des te lager de prestatie op social media.
Hierboven alvast een eerste analyse van de hogescholen waaruit Avans Hogeschool als ‘beste’ uit de bus komt als we alleen kijken naar de aanwezigheid op Facebook en Twitter. De Hogeschool van Arnhem en Nijmegen, waar ik zelf als gastdocent werkzaam ben, scoort redelijk goed. De Hogeschool van Amsterdam en de Hogeschool Utrecht scoren slecht waarbij de laatste vooralsnog (bewust) niet aanwezig is op Facebook.
De resultaten van het onderzoek zal ik presenteren op de laatste dag van het Nationaal Congres Onderwijs & Sociale Media.
31 reacties
Ben overigens nog bezig met de validatie van een ranking op basis van zowel bereik, engagement en impact:
http://www.rankingz.com/dutch-higher-education/
Ook deze resultaten zal ik meenemen in mijn presentatie op NCOSM.
Kwaliteit of Kwantiteit? Reactie op onderzoek Marco Derksen: HvA en sociale media
Op 20 april verscheen er op de blog Koneksa Mondo een post van Marco Derksen over zijn onderzoek naar het gebruik van social media in het hoger onderwijs. De resultaten van dit onderzoek lieten volgens Derksen zien dat de Hogeschool van Amsterdam slecht scoort. De onderzoeksindicatoren die Derksen gebruikt zijn het bereik van Twitter en Facebook-accounts en de ratio van het aantal studenten en medewerkers op een hogeschool in relatie tot de prestatie op sociale media.
Derksen stelt dat de grootte van accounts een relevant gegeven is voor de bepaling van prestaties op sociale mediakanalen. Het aantal volgers hangt daarbij samen met het bereik- Ook legt hij een verband tussen het aantal medewerkers en studenten op een hogeschool.
Derksen heeft een meting gedaan die voor de HvA niet relevant is en waar wij niet achter staan. De meting is kwantitatief van aard, dit past niet bij de aard van de social media accounts van de HvA. Deze zijn namelijk gericht op dienstverlening waardoor een meting naar de kwaliteit van de interactie met volgers een beter beeld schetst van de prestaties van de HvA op sociale mediakanalen.
Doelstellingen
Het is onduidelijk welke accounts van de HvA Derksen precies gemeten heeft. Het is een gemiste kans dat Derksen de doelstellingen van de onderzochte accounts niet achterhaald heeft. Doelstellingen zijn namelijk interessant wanneer je ze uitzet tegen het aantal volgers en de mate van activiteit en interactie op het account en niet te vergeten de kwaliteit van deze interactie.
Het is bijvoorbeeld voor een account met een dienstverlenend karakter niet zozeer een doelstelling om een maximaal aantal volgers te verkrijgen. Het is dan juist van belang om activiteit op het account en mate van interactie met de actieve volgers te meten. Dit in tegenstelling tot accounts met een profilerend karakter. Deze accounts hebben vaak externe doelgroepen en zijn wel gebrand op zo veel mogelijk volgers.
Webcare
Ook in de organisatie van de webcare zitten grote verschillen tussen een dienstverlenend account en een profilerend account. Een profilerend account vereist minder webcare-force dan een dienstverlenend account omdat zij minder vragen ontvangen. (ING vs. TUdelft). Bij een dienstverlenend account is de inrichting van de webcare vaak ingewikkelder. Voor dienstverlening bij de HvA is een interdisciplinair webcareteam ingericht, die alle vragen, eerstelijns beantwoordt namens alle diensten en domeinen.
Achter het account @hva_student zitten bijvoorbeeld afgevaardigden van drie grote afdelingen; Administratief Centrum, Facility Services en de ICT. De opbouw van de organisatiestructuur van deze webcare heeft tijd gekost en was een grotere prioriteit dan de groei van het aantal volgers. Het doel van de HvA is namelijk om kwalitatieve dienstverlening via Twitter te bieden. HvA hoopt in de komende drie maanden te ondervinden of de webcare-organisatie bestand is tegen groei van het aantal volgers en dus ook vragen.
Pilots
De HvA is afgelopen januari 2013 gestart met het traject pilotlabs social media. Met een grotere aanwezigheid op sociale media kanalen wil de HvA betrokkenheid bij doelgroepen vergroten en zich dienstbaarder opstellen naar studenten, medewerkers en aankomende studenten. Onderwerpen van de pilots zijn:
– Dienstverlening studenten (met twitteraccount @hva_student)
– Studievoorlichting (primair dienstverlenend, met twitteraccount @hva_sv)
– Domein Economie en Management (met dienstverlenend twitteraccount @DEMDuaal en profilerend facebookaccount DEMDuaal)
– International (met dienstverlenend en profilerend facebookaccount IBS)
– Amstelcampus (met profilerend facebookaccount Amstelcampus Pleinen).
– HvA Nieuws (met twitteraccount @hva_nieuws en facebookpage HvA Nieuws)
Voor de HvA zijn de volgende gegevens van belang bij het bepalen van het succes van de accounts:
– Hoeveel vragen worden er gesteld, welke vragen en hoe (snel) worden die beantwoord.
– Worden er door inzet sociale media minder vragen gesteld via email of telefoon?
Uiteraard moet de vindbaarheid (integratie website en communicatiemiddelen) optimaal zijn, maar niet voordat je webcare organisatie waterdicht is.
Het zou goed zijn om behalve de kwantitatieve metingen onze aandacht ook te vestigen op kwalitatieve metingen.
Goed punt, de doelstelling van HvA is inderdaad niet meegenomen in deze analyse en daarmee heb je dus gelijk als je stelt dat bereik op Twitter en Facebook geen doel is voor HvA. Ik zal daar in de definitieve analyse ook zeker rekening mee houden evenals je andere punten die je noemt. Dank voor je reactie!
@Ilse, kan er niets aan doen maar ook als we een aantal andere factoren meenemen scoort Hogeschool van Amsterdam niet hoog: http://koneksa-mondo.nl/2013/05/11/social-media-in-het-hoger-onderwijs-2/
Dank voor je reactie, uiteraard kan de HvA groeien op het gebied van sociale media en moeten er grote stappen gemaakt worden betreft presence. HvA_Student is het gemeten account in de rankinglijst. Wel interessante gegevens, goed om te lezen. Bedankt voor je update!
@Ilse: Ben je vrijdag ook op het congres in Amsterdam? Wellicht even kennismaken en dan kan ik je ook eea toelichten hoe we nu naar de data hebben gekeken. En idd, het geeft een momentopname dat door HvA (maar ook door de andere opleidingen) gebruikt kan worden om te kijken waar verbetering mogelijk is!
Welke verdeelsleutels heb je gebruikt om van twitter+klout+facebook naar een ranking te komen?
@Wouter In bovenstaande grafiek is heel simpel het bereik op Facebook en Twitter genormaliseerd ten opzicht van de instelling met hoogste bereik. Deze is afgezet tegen de verhouding tussen het aantal studenten en medewerkers van de betreffende instelling.
Op de site waar ik in mijn reactie naar link wordt een berekening gebruikt die ik nog niet in detail heb gevalideerd. De website is niet van mij maar van Denis Doeland. Een toelichting op die score is te vinden op:
http://www.rankingz.com/the-ranking-index/
Dag Marco, leuk dat Avans Hogeschool het zo goed doet met social media. Ik ben inderdaad wel zeer benieuwd hoe je tot deze resultaten bent gekomen. Zonder de huidige prestaties van onze school onder de tafel te willen vegen denk ik dat we het nog veel beter kunnen doen. In de nieuwe website van Avans zijn social media volop aanwezig, maar de integratie is (naar mijn persoonlijke mening) nog tamelijk marketinggestuurd. Met de onlangs aangetrokken community manager gaat dat mogelijk veranderen en gaan we nog meer ‘als echte mensen converseren’.
Mogelijk heb je ook gemeten in een aantal weken die voor Avans Hogeschool gunstig uitpakken, omdat we half april de Avans Onderwijsdag hebben gehouden die altijd veel ‘buzz’ oplevert.
@Eric: In het land der blinden is eenoog al snel koning, en dat geldt zeker ook in dit geval. Uiteraard kan Avans het nog veel beter en dat geldt ook voor Fontys en HAN die het ook prima doen.
Beste Marco, Ik gebruik twitter in het hbo maar ben niet uitgenodigd voor je onderzoek. Gemiste kans?
Groet, Sacha
Op 20 apr. 2013 om 14:09 heeft Koneksa Mondo het volgende geschreven:
> >
@Marco, thanks, ik ga kijken naar de ranking van Denis Doeland.
@Eric, op school zit ik niet, maar bij mijn bedrijf met maar 25 mensen is het al een uitdaging om iedereen ‘gewoon’ te laten converseren. We doen ons best. Al mijn collega’s als ambasadeur en gezicht van TOP b.v. dat is uiteindelijk mijn doel.
Marco, boeiend onderwerp. Hoe ben je gekomen tot de relatie werkdruk en aanwezigheid op sociale media? Kan het zijn dat er andere verklarende variabelen in het spel zijn ?
Oops was nog niet klaar :). Het verband dat in deze grafiek getoond wordt zou er namelijk op kunnen duiden dat als de HVA en de HU hun studenten aantallen maar verlagen of het aantal medewerkers verhogen het dan wel goed komt met het social media bereik. Het omgekeerde geldt dan voor Avans en de HAN. Een factor als hoe groter men is hoe minder noodzaak men voelt voor social media aanwezigheid zou wellicht meer voor de hand liggen? De kleineren moeten immers harder vechten?
Circa 150 studenten van Avans Hogeschool hebben recent voor mij ten behoeve van Sportclubdeal een communicatieproject gerealiseerd. In geen enkele aanbeveling ontbrak een vergrote inzet van social media en dan met name Facebook: http://blog.sportclubdeal.nl/bedankt-studenten-avans-hogeschool/.
@Sacha: van welk opleidingsinstituut ben je? We hebben van iedere HBO of WO geprobeerd om iemand van corporate communicatie mee te laten doen met het onderzoek. Gaat om organisatorische aspecten van social media.
@Ronald: Ik heb gekeken of er een relatie bestaat tussen aantal studenten en prestatie op social media, aantal medewerkers en prestatie op social media en de ratio aantal studenten/medewerkers en prestatie op social media. Waarbij prestatie in dit geval is uitgedrukt in een bereikscore (beter zou nog geweest als daar ook engagement en impact ook in was meegenomen). Opvallend was dat de eerste twee geen enkele correlatie laten zien maar dat er wel een correlatie is tussen ratio en prestatie op social media. Zeker geen wetenschappelijk onderzoek en kans is zeker aanwezig dat er nog meer factoren een rol spelen. Ik zou zeggen, daar ligt een mooie onderzoeksuitdaging! 😉
Het wordt nog interessanter Marco wanneer je gaat kijken naar het emotionele kapitaal van de organisatie in relatie tot sociale media. De betrokkenheid van medewerkers bij de organisatie bepaald volgens onderzoekers van Insead de ROI op sociale media. Zie ook blog.han.nl/internalbranding
@Hans: emotioneel kapitaal of de betrokkenheid van medewerkers speelt hierin zeker een rol! Maar ik denk dat ook die betrokkenheid zijn grens kent en zal afnemen als het aantal studenten per medewerker (als we die even als maat nemen voor werkdruk) te hoog wordt. Maar zoals ik ook al aangaf bij Ronald, bovenstaande is geen harde wetenschap. Vond het wel aardig dat de ratio een goede indicator bleek voor prestatie op social media.
Dank voor de link naar het Insead-verhaal!
http://blog.han.nl/internalbranding/sterke-goodwill-bij-medewerkers-voorwaarde-voor-succesvolle-interne-social-media/
Ken jij trouwens het verhaal van The smell of the place nu we het toch over internal branding hebben? Al wat ouder maar absoluut een aanrader!
http://koneksa-mondo.nl/2012/12/01/the-smell-of-the-place/
Heel interessant onderzoek Marco, maar dat vertelde ik je al 😉
Je statement dat betrokkenheid en prestatie op social media lager wordt naar mate de werkdruk hoger wordt komt mij logisch en geloofwaardig over. Het zou inderdaad wel handig zijn als het een en ander gevalideerd wordt. Het andere of aanvullend onderzoek lijkt me ook heel interessant.
Nog een paar vraag:
– Heb jullie alleen gekeken naar de eigen accounts van de hbo’s en universiteiten of ook naar de totale buzz van een instelling over die instelling? Want daar kan veel verschil in zitten. Het zou in dat verband ook handig en interessant zijn te kijken naar hoeveel medewerkers en studenten voor/over de instelling tweeten, op facebook zitten.
– Waarom heb je blogs, videoblogs e.d. niet meegenomen? Volgens leveren die ook een flinke bijdrage aan de zichtbaarheid en dialoog van een instelling
– Waar hebben jullie precies naar gekeken? Hashtags, accounts, tweets, retweets,….? Ook dat is natuurlijk van invloed. Een tag als #han levert veel ruis op terwijl die van #avans precies goed is.
Succes met je zeer interessante onderzoek en ik kijk nu al uit naar het vervolg.
Heeft iemand trouwens meer informatie over de zgn. Student Faculty Ratio (en dan specifiek voor het hoger onderwijs)? Alvast dank!
Interessant!
Ik heb wat zitten zoeken naar die Student Faculty Ratio, maar kom weinig bruikbare info tegen voor het NL hoger onderwijs. Amerikaanse universiteiten schermen nogal met de term, als indicator voor kwaliteit.
Ik heb de indruk dat in Nederland soms andere terminologie wordt gebruikt voor deze meetfactor; zo kom je o.a. de termen ‘staff student ratio’ en ‘medewerker student ratio’ tegen. En ook de ‘docent student ratio’ tref je hier en daar aan, maar da’s een andere waarde. Zo heeft het Ministerie van OC&W t/m 2009 het rapport ‘Kennis in Kaart’ gepubliceerd, waarin die ‘docent student ratio’ (hbo- en wo-breed) werd vermeld. Wellicht dat het Ministerie over recentere cijfers beschikt.
Ook de ‘Vereniging Hogescholen’ (voorheen HBO-raad) is een mogelijke ingang. In de publicatie ‘Feiten en cijfers, personeel in het hoger beroepsonderwijs’ tref je een overzicht aan van het aantal medewerkers per hogeschool. Deze factsheet is echter alweer van augustus 2011.
Tot slot zou je eens bij de accreditatieorganisatie NVAO kunnen informeren.
Overigens ben ik erg benieuwd naar de uiteindelijke uitkomsten en de conclusie die je daar uit gaat trekken. In je bericht noem je zaken als bereik, prestatie en aanwezigheid, gestaafd naar aantal followers, fans, kloutscore en buzz (als ik het juist interpreteer?). En je hypothese is dat er een relatie zou bestaan met de Student Faculty Ratio? Zou kunnen. Wat mij meer zou interesseren is of er een verband te leggen is met de organisatiecultuur. Of dat het ‘m in de ‘kleine dingen’ zit; dat je toevallig een medewerker in dienst hebt die gewoon erg handig is in het gainen van followers en fans. Mijn hypothese zou zijn: de prestatie (gemeten naar fans/followers/kloutscore/buzz) van een instelling op social media is in grote mate afhankelijk van de social media slimheid van je key-users 😉
Maar uiteindelijk gaat het niet alleen om kwantitatief bereik, maar ook om de kwaliteit van je volgers en om de impact, zoals je zelf in de comments al aangeeft. Benieuwd hoe je de doorvertaling gaat maken!
@Ik mis een beschrijving van de gehanteerde onderzoeksmethodologie. Er is tegenwoordig bij onderwijsonderzoek een hang naar ‘exacte’ getallen, liefst in x decimalen nauwkeurig. Maar zonder te weten hoe men aan die getallen is gekomen heeft publicatie ervan volgens mij geen enkele zin.
Ik vind dat zelfs gevaarlijk: zeker minder geschoolden hechten te veel waarde aan ranglijstjes. De voornaamste conclusie die zij vermoedelijk zullen trekken: Avans is de beste! Hierboven is er al een, naar ik aanneem redelijk geschoold iemand, die deze conclusie nu al trekt, véééls te voorbarig.
Succes met de publicatie van de gebruikte methodes!
Spijker op de kop!
Op 28 apr 2013 om 16:25 heeft “Koneksa Mondo” <comment-reply@wordpress.com> het volgende geschreven:
hanswisbrunHans Wisbrun commented: “@Ik mis een beschrijving van de gehanteerde onderzoeksmethodologie. Er is tegenwoordig bij onderwijsonderzoek een hang naar ‘exacte’ getallen, liefst in x decimalen nauwkeurig. Maar zonder te weten hoe men aan die getallen is gekomen heeft publicatie erva”
@Hans: op welk onderzoek en onderbouwing doel jij nu? Is met voorgaande reactie ook een antwoord op jouw vraag gegeven? Hoe zou jij het evt anders aanpakken?
@Hanswisbrun: Over welke cijfers en methodologie heb je het nu? De cijfers en methodologie van de blogpost zijn hierboven toegelicht (even goed lezen). Gaat om de ratio tussen studenten en medewerkers van een opleidingsinstituut vs het bereik op Twitter en Facebook. Ik gaf daarbij zelf al aan dat je voorzichtig moet zijn met conclusies trekken uit dit soort onderzoeken. Als je het hebt over de methodologie op de website waar ik naar verwijs, ik heb daar inmiddels navraag gedaan en de ranking vindt plaats op basis van Klout score, aantal Twitter followers, aantal Facebook fans, de hoeveelheid gegenereerde buzz op Twitter en de hoeveelheid gegenereerde buzz op Facebook (beide op basis van trefwoorden die door Rankingz zijn meegegeven). Deze scores worden allemaal gewogen tot een eindscore. Bij een maximale Kloutscore krijg je maximaal 200 punten, account met de meeste Facebook buzz krijgt 200 punten, etc. Deze punten bij elkaar opgeteld levert een score. Alle opleidingsinstituten worden geordend op basis van deze score.
@Marco: ik heb je artikeltje voldoende goed gelezen, heus.
Ik heb het vooral over de eerste grafiek (HBO en Twitter en Facebook). Ik hoop dat je niet serieus bent dat dit een beschrijving van de methodologie is. Er staat namelijk alleen iets vaags als . Wie benaderde je in eerste instantie? Hoe? Voor wie precies stond de enquete open? Wat was de vraagstelling? Welke uitschieters heb je weggelaten?.. Ik hoop dat ik niet alles hoef voor te kauwen: gewoon wat wetenschappelijk onderzoek altijd impliceert.
Dat zou nog tot daar aan toe zijn, maar je bent zelf al volop aan het interpreteren, zonder dat wij kunnen controleren of je interpretatie wel klopt met de rest. Kwalificaties als ‘best’ en ‘redelijk goed’ zijn al interpretaties. Misschien vinden wij, lezers, wel dat hoe hoger een instituut scoort, hoe slechter dat instituut is. Voor die interpretatie valt namelijk ook wat te zeggen: als die instituten zó in de weer zijn met sociale media, dan zullen ze minder tijd overhouden voor waar het in het onderwijs werkelijk om draait.
Voor de goede orde: ik ben geen tegenstander van de inzet van sociale media in het HO. Ik ben, als wiskundige, zeker ook niet tegen cijfertjes. Ik ben wel een tegenstander van ondeugdelijke rapportage. Wellicht is je onderzoek prima, maar wij kunnen weinig of niets controleren.
Ik hoop dus op een nadere uiteenzetting/verantwoording hier. Ik zal het rekenwerk en de statistiek daarin extra in de gaten houden, dat beloof ik je bij deze!
@Hanswisbrun: Enquête? Dat bedoel ik, je hebt het niet goed gelezen. De enquete heeft namelijk helemaal niets met de getoonde grafiek te maken. De grafiek is ouderwets handwerk. Gewoon cijfers uit jaarrapporten opzoeken en deze afzetten tegen gemeten bereik op Twitter en Facebook.
Beste Marco: e schept zelf wel de (onnodige onduidelijkheid door het direct onder de grafiek over die online enquete te hebben. Maar ik heb beide gelezen; het bericht (met grafiek) hierboven en het cijfermateriaal op http://www.rankingz.com/dutch-higher-education/..
Voor beide geldt overigens dat een beschrijving van de gehanteerde methodes er gewoon bij hoort. En niet pas na wat getrek van mijn kant. Ik zie met spanning uit naar verdere verantwoording/uitleg. Succes!
@Hanswisbrun: mijn eigen simpele analyse is hierboven al eerder beschreven en vwb de tweede, dat is een externe website waar ik geen invloed op heb. Net zo min als ik invloed heb op de methodieken achter Klout, Edgerank, etc. Maar ik zal in het uiteindelijk rapport zeker toelichten, dank!