Voice bij
Visio Onderwijs

Samen met het innovatie team van Visio Onderwijs, kijken we vanuit VisioLab onder andere naar de mogelijkheden van spraaktechnologie in de klas.

Voice-assistenten worden gezien als een potentieel leermiddel voor kinderen. Het heeft als voordeel dat het stemgestuurd is. Dit biedt kinderen met een visuele beperking een interactieve en zelfstandige manier van leren aan. Wat leren leuker, maar vooral makkelijker en minder tijdrovend maakt.

Het (leren) gebruiken en toepassen van spraaktechnologie past naadloos bij het ontwikkelen van digitale geletterdheid door de leerlingen. Het is één van de 21e-eeuwse vaardigheden.

Met het onderzoek naar kansen voor voice bij Visio Onderwijs vanuit het project VoiceLab, sluiten we aan bij een aantal van de aspecten van digitale geletterdheid. Onder andere bij “computational thinking: Het vermogen om problemen op te lossen en processen te begrijpen op een gestructureerde en logische manier. Eigenlijk leren te denken zoals computers.

Digitale geletterdheid en leren programmeren

Pauline Maas en Ruben Brandsma zijn leerkrachten op de school in Grave en Amsterdam en geven lessen die de leerlingen digitaal vaardig maken.

Voor het primair onderwijs zijn veel programmeermaterialen beschikbaar die gebruikt kunnen worden in de les. Omdat deze materialen vaak een sterk visueel karakter hebben, is door onderzoekers van de Universiteit Leiden, in samenwerking met Koninklijke Visio, Bartiméus en Hogeschool Saxion in het project Inclusief Programmeren onderzocht welke materialen toegankelijk zijn voor slechtziende en blinde leerlingen.

Er is een behoefte aan niet-visuele codeertools voor jonge leerlingen, die ook leuk en uitdagend zijn. Hoewel professionele programmeertalen juist op tekst gebaseerd zijn, zijn deze vaak op een te hoog niveau, waardoor het leerproces bemoeilijkt wordt.

Een aantal inzichten uit het onderzoek met betrekking tot programmeren:

• Laat leerlingen laagdrempelig beginnen met programmeren, maar bied wel groeimogelijkheden.
• Betrek de leerlingen actief in een project en bied ruimte voor plezier en inbreng van hun eigen ideeën. Dat zorgt voor enthousiasme.

Gastles bij Pauline

Jesse Wienholts en Timon van Hasselt van VisioLab hebben tijdens een codeweek een gastles gegeven in de klas van Pauline op de Visio-school. Met als onderwerp: het zelf programmeren van een voice-app. In de les stond de tool Story Speaker centraal, een Google-experiment dat helaas niet verder doorontwikkeld is. Deze tool stelde leerlingen in staat om eigen voice-verhalen te creëren vanuit Google Docs en deze rechtstreeks uit te voeren op een Google Home.

Leerlingen maakten eigen game

Het enthousiasme van de voortgezet onderwijs leerlingen om op deze manier vanuit hun eigen tekst een avonturengame te maken was groot. De leerlingen maakten in twee uur tijd een zelfbedachte game waarbij zombies de school hadden overgenomen en de speler met spraakcommando’s moest kiezen of hij links of rechts ging om te ontsnappen.

De kracht van deze tool zat in de snelle resultaten. De leerlingen produceren de “scripts” op basis van het invoeren van Engelse tekst in een tekstverwerker en de spraakuitvoer was direct hoorbaar via de slimme speaker. Naast een leuke activiteit was er een positief bijeffect: de leerlingen leerden op een laagdrempelige manier om beter met hun schermlezer te werken.

“In scripttalen zoals deze, zijn inspringingen in de tekstregels essentieel. Om de code uit te voeren en secuur te kunnen werken, is het belangrijk dat de leerling zijn of haar schermlezer goed kan bedienen. We merkten in de praktijk dat leerlingen het daardoor leuker vonden om te leren hoe hun schermlezer werkt.”, aldus Timon. Naast games, is het ook mogelijk om met dit soort scripttalen meer acties te programmeren. Het sluit daarmee aan bij de bevindingen van de Leidse Universiteit om leerlingen een laag instapniveau aan te bieden maar wel de kans te geven om zich door te ontwikkelen in het programmeren.

Toegankelijke scripttalen

Dit praktijkvoorbeeld inspireert om verder onderzoek te doen naar de mogelijkheden van het zelf maken van voice-apps door leerlingen. Om daarmee hun 21e-eeuwse vaardigheden te vergroten. Vanuit VoiceLab is gezocht naar alternatieve scripttalen voor Story Speaker. Uit die verkenning zijn twee interessante tools naar voren gekomen, Custom Conversations en EggScript. Met beide tools die draaien op OVOS, het open voice platform, is het mogelijk om op tekst gebaseerde scripts te maken. De scripttaal van de tools zijn toegankelijk voor beginners, maar bieden ook voldoende uitdaging voor gevorderde leerlingen. Ook kan het een opstap zijn naar het uiteindelijk programmeren van voice skills in de programmeertaal Python.   

De tekens #, + en – zijn parameters in de taal.
# = intentie      
+ = letterlijk vraag van de gebruiker    
- = antwoord van de voice assistent

Eenvoudig EggScript code voorbeeld van 3 regels:
# weer
+ wat is het weer?
- Steek je hoofd maar uit het raam en check het zelf

Voorbeeld uitvoer:

Eén van de wensen van de leerlingen die uit het onderzoek van UX kids naar voren kwam [zie ander kader], was een “schoolmaatje-bot”, als hulpje tijdens de schooldag. Ook vanuit de leerlingen van meester Yannick, van de Visio school in Haren, kwam deze wens naar voren. Het bleek vrij eenvoudig om in Python een eerste versie van een spraakgestuurde overhoor-bot te maken, waarbij de leerkracht, begeleider of de leerling zelf de oefenwoordjes kan toevoegen via een online spreadsheet. 

Je kan naar een website gaan, de woordjes invullen en de leerling krijgt die dan automatisch voorgeschoteld in willekeurige volgorde zodra die de voice-app start.  De volgende stap is om dit eerste prototype in het “wild” te testen en op basis daarvan verbeteringen door te voeren. Bijvoorbeeld: wat kan er leuker aan? Geluiden als je het goed hebt? Meer motiverende opmerkingen tussendoor? Woorden/tafels die fout waren nog een keer herkansen? 

In 2021 heeft UXkids, in opdracht van Visio Onderwijs, onderzoek gedaan naar de mogelijkheden van en de behoefte aan spraakgestuurde toepassingen in de klas. UXkids is gespecialiseerd in user experience (UX) onderzoek voor en mét kinderen en jongeren. Zij concluderen dat de huidige (digitale) leermiddelen voor de doelgroep leerlingen lang niet altijd toegankelijk genoeg zijn. Leren kost daarom veel (meer) tijd en inspanning in vergelijking met ziende leerlingen. In de schoolomgeving wordt niet tot nauwelijks gebruik gemaakt van spraakgestuurde toepassingen. De leerlingen werken alleen met een screenreader, die de leerlingen begeleidt tijdens het werken op een computer, telefoon of tablet. Het aansturen en geven van commando’s aan een computer, telefoon en tablet komt vrijwel niet voor in de schoolomgeving.

Kansen spraakgestuurde toepassingen in het klaslokaal

Op basis van de bevindingen ziet UXkids de volgende kansen m.b.t. een spraakgestuurde toepassingen in het klaslokaal:

• Een spraakgestuurde toepassing kan het aantal handelingen voor het verrichten van een bepaalde leertaak, op de computer, minimaliseren d.m.v. spraakgestuurde commando’s. Hierdoor kan de leerling sneller navigeren naar het gewenste onderdeel van de lesstof en kost het minder tijd en energie.
• Sommige leerlingen maken al gebruik van de spraakassistent op hun mobiele telefoon en zijn bekend met de mogelijkheden en werking van een spraakgestuurde toepassing, waardoor de kans groot is dat zij snel vertrouwd raken met het gebruiken van een nieuwe spraakgestuurde toepassing. Zij gebruiken Siri of de Google Assistent voor het opzoeken van liedjes op YouTube en het vinden en openen van apps op de telefoon.
• Het aanbod in spraakgestuurde leer- en hulpmiddelen is (nog) beperkt en daarom is er ruimte voor nieuwe toepassingen.
• De leerlingen vinden het leuk en grappig om vragen te stellen aan een spraakassistent.
• Een spraakgestuurde toepassing kan de leerling voorzien van de lesstof en vragen stellen aan de leerling, waardoor hij/zij zelfstandig aan de slag kan zonder tussenkomst van de leerkracht. Het mondeling les krijgen wordt door de blinde leerling als prettig ervaren. Het vereist minder handelingen en inspanning. De leerlingen kunnen zich hierbij volledig focussen op wat de leerkracht vertelt. De leerkracht houdt hierdoor tijd over voor individuele aandacht van andere leerlingen.
• De leerlingen vinden het fijn om de lesstof mondeling tot zich te nemen. Zoals bijvoorbeeld met de smart speaker action Willem van Oranje van de NPO SchoolTV, gemaakt door Genius Voice als Google Home voice app, maar ook als voice webapp.
  Zie ook onderstaande video voor een live demo.
  
  

Uitdagingen spraakgestuurde toepassingen in het klaslokaal

• Sommige leerlingen vinden het formuleren van spraakcommando’s moeilijk, omdat ze niet weten welke elementen aan het commando moeten worden toegevoegd om de gewenste handeling uit te voeren.
• De visueelbeperkte leerling, leert en handelt onder andere door te voelen en haalt hier informatie uit. Bij de inzet van een spraakgestuurde toepassing kan de leerling de behoeften voor tactiele informatie missen.
• De (extra) handelingen bij het op zoeken en navigeren naar de lesstof, biedt de leerling inzicht in waar hij of zij zich bevindt. Het overslaan van deze stappen d.m.v. een spraakgestuurde toepassing kan in het begin onwennig zijn voor de leerlingen en hen mogelijk minder inzicht geven in waar de leerling zich bevindt binnen een digitale omgeving. Door de gebruiksonvriendelijke omgevingen met een toepassing/oplossing te versimpelen/omzeilen, mist de leerling ervaring in deze omgeving voor later, wanneer in het Voortgezet Onderwijs en verder in het leven deze omgeving ook zal worden gebruikt.
• Nederlandstalige audio- en spraakondersteuning klinkt vaak monotoon. De leerkracht benoemt de monotone stemmen voor Nederlandstalige audio- en spraakondersteuning als een belemmering op de ervaring van een spraakgestuurde toepassing.

Ideeën vanuit de leerlingen

Uit de brainstorm met de leerlingen komen ideeën voor een spraakgestuurde toepassing; een (school)maatje die de leerlingen vergezelt gedurende de schooldag. Dit maatje zou kunnen worden ingezet op verschillende vlakken:

• Hulp robot: voor het opvragen van waar hulpmiddelen liggen in het klaslokaal.
• Timer robot: voor het vertellen van de tijd.
• Emotiemeter robot: die checkt-in met de leerlingen en vraagt hen elke dag hoe ze zich voelen.
• Touwtjespringen robot: die helpt de blinde leerling bij het op tijd springen voor het springtouw.
• Buddy robot: om mee te kletsen, als een leerling zich eenzaam voelt.
• Omreken robot: voor het omrekenen van getallen en cijfers.
• Sport robot: voor het inplannen en uitvoeren van workouts.