Programmiere ein Hilfsmittel, womit Petra in Online Meetings besser kommunizieren kann!
Bildbeschreibung: Eine lachende Frau mit grauen kurzen Haaren, trägt eine Brille und einen violetten Blazer vor einem grünen, natürlichen Hintergrund.
Über Petra
Petra hat Mehrfachbehinderungen (Sprach-,Gang- und Sehbehinderung). Sie nutzt im Alltag Hilfstechnologien wie Smartphone und Laptop mit Sprachausgabe. In Ihrer Freizeit entwickelt sie selbst mobile Apps für Android oder hört Hörbücher, aber liest auch gerne selbst Bücher. Petra arbeitet Teilzeit bei der Stiftung «Zugang für alle» als Accessibility Consultant. Dort testet sie Webseiten und Apps auf Barrierefreiheit.
Herausforderung
Für Petra ist es aufgrund ihrer Sprachbehinderung schwierig, in den heute allgegenwärtigen Online-Meetings via Mikrophon zu kommunizieren. Dies schränkt sie im geschäftlichen und privaten Umfeld ein. Speziell im Arbeitsumfeld ist es schwierig, einen professionellen Endruck gegenüber unbekannten Kollegen oder Kunden zu machen. Das Ziel des Projektes ist es, ein Computerprogramm zu entwickeln, um Petra das Interagieren in Online-Meetings zu vereinfachen. Das Programm solll Text-to-Speech Technologie nutzen und sich praktisch in Meeting-Tools wie MS Teams integrieren lassen.
Lösung
Wir haben die Challenge von Petra in vier Teile aufgeteilt. Der erste Teil bestand darin, eine Lösung für die korrekte Integration der Audiokanäle zu entwickeln. Der Ton von einer Text-to-Speech Anwendung und der Ton von Petras Mikrofon sollten zusammen den Toneingang in die Teams Software sein. Der Ton vom Text-to-Speech sollte auch in Petras Headset abgespielt werden, zusammen mit dem Ton der Person, die mit ihr in Teams spricht. Glücklicherweise gab es bereits Open-Source Software, VoiceMeeter und VirtualCable, die dabei half, das erforderliche Audio-Routing zu erreichen. Der zweite Teil war die Integration einer Text-to-Speech-Engine. Dafür fügten wir die Möglichkeit hinzu, zwischen der Microsoft Speech API und Google Cloud TTS zu wählen, jeweils mit englischer und deutscher Stimme. Im dritten Teil haben wir eine grafische Benutzeroberfläche (GUI) entwickelt, die es Petra erlaubt, nach Kategorien geordnete Textblöcke auszuwählen, die dann von der Text-to-Speech Anwendung vorgelesen werden. Ausserdem kann Petra direkt im GUI auch Text schreiben und die Textblöcke und Kategorien an ihre Bedürfnisse anpassen. Im vierten Teil wurde eine Art Vervollständigung des Texts zum GUI hinzugefügt. Wenn Text in das Freitextfeld eingetippt wird, werden die vorbereiteten Textblöcke danach gefiltert, um eine schnellere Auswahl zu ermöglichen. Zusätzlich werden die Textblöcke nach der Häufigkeit ihrer Verwendung geordnet.
Am Sonntagnachmittag konnten wir dann alle Teile zusammenfügen und die Lösung mit Petra in einem Teams-Call testen - und es hat funktioniert! Nach dem Hackathon arbeitet das Team noch weiter an der Challenge, um die Dokumentation zu vervollständigen und ein einfach zu installierendes Paket der Software für jeden zur Verfügung zu stellen. Auch wird momentan noch eine Version der Software für MacOs entwickelt.