Dolmetsch-App SayHi ermöglicht Gespräche mit anderssprachigen Menschen

Alles rund um Medien: Hier ist Platz für Filmtipps, Fragen zum perfekten Sound, oder die neusten Hörbücher.
Antworten

Dolmetsch-App SayHi ermöglicht Gespräche mit anderssprachigen Menschen

Beitrag von Robbie Sandberg DBSV Mitarbeiter » 20.03.2022, 20:37

Vielleicht habt ihr davon gehört, dass der ABSV mit unterstützung des DBSV blinde und sehbehinderte Vertriebene aus der Ukraine nach Berlin geholt hat. Aktuelle Infos dazu findet ihr hier:
https://www.dbsv.org/ukraine.html
Mit den Ankömmlingen zu kommunizieren war ein großes Problem, weil keine Leute da waren, die dolmetschen konnten. Wenn eine blinde Person beteiligt ist, kann man nicht mal mit Händen und Füßen reden.
Wir haben also nach einer App gesucht, mit der man möglichst unkompliziert Gespräche in Echtzeit übersetzen lassen kann. Außerdem musste sie natürlich mit VoiceOver bedienbar sein.
SayHi ist verfügbar für iOS und Android. Bedienbar mit VoiceOver und TalkBack. Wir haben eine Anleitung dafür erstellt, damit Leute, die Vertriebene bei sich unterbringen oder ihnen sonst wie helfen möchten, eine Kommunikationshilfe an der Hand haben.
Diese Anleitung beschreibt die Nutzung der App mit VoiceOver.
Die App benötigt eine Internet-Verbindung.
Die Bedienoberfläche ist weitgehend zugänglich und einfach gehalten.
Während der Bedienung wird gelegentlich am oberen Bildschirmrand eine Aufforderung zum Bewerten der App eingeblendet. Dieses Feld ist mit VoiceOver nicht bedienbar und wird mit normalen Wischgesten nicht fokussiert. Man bemerkt es nur dann, wenn man den Finger am oberen Rand auf den Bildschirm setzt. Man kann das Feld ignorieren und einfach weiter wischen.

SayHi bietet folgende Optionen:
• Festlegen zweier Sprachen, zwischen denen übersetzt werden soll, in der App primäre und sekundäre Sprache genannt
• Dolmetsch-Modus zum Übersetzen eines Gesprächs in Echtzeit
• Übersetzung eines gesprochenen Textes, sowohl mit Sprachausgabe als auch in einem Textfeld
• Übersetzung eines per virtueller Tastatur eingegebenen Textes
• Übersetzung der Zwischenablage
• Kopieren und teilen des übersetzten Textes
• Kamera-Modus zur Übersetzung von fotografiertem Text

Aufbau des Bildschirms
Das erste Element ist die Menütaste. Hier wählt man zwischen den o.g. Modi. Standardmäßig ist " zum Sprechen Tippen " ausgewählt.
Der gewählte Modus wird als Überschrift angezeigt.
Auf die Überschrift folgt eine unbeschriftete Taste. Sie öffnet einen Erklärtext in der sekundären Sprache, den man der anderen Person zeigen soll. Der Text informiert darüber, dass man SayHi nutzen möchte, um gegenseitig zu übersetzen. Den Text kann man auch von VoiceOver vorlesen lassen.
Mit der Taste Fertig kann der Bildschirm geschlossen werden.
Auf die unbeschriftete Taste folgt die Taste "Gespräch löschen", die jetzt noch grau ist. Hiermit kann eine übersetzte Konversation gelöscht werden.
Nun folgen die Tasten, "Eingabe in der primären Sprache", "Eingabe in der sekundären Sprache", "Primäre Sprache ändern" und "Sekundäre Sprache ändern".
Bis auf kleine Abweichungen ist der Bildschirmaufbau in allen Modi gleich.

Sprachen festlegen
Zunächst sollte man mit den zwei letzten Tasten die jeweiligen Sprachen einstellen.
Betätigt man eine der Tasten, öffnet sich ein Bildschirm, in dem ganz oben auch noch einmal gewählt werden kann, ob man die primäre oder sekundäre Sprache einstellen möchte.
Darauf folgt eine Liste aller verfügbarer Sprachen. Doppeltippt man auf eine Sprache, ploppen weitere Optionen auf. Hier kann die Sprechgeschwindigkeit und das Geschlecht der Stimme eingestellt werden.
Mit den Tasten "Tippen" und "Sprechen" stellt man das Verhalten der Eingabe-Tasten ein.
Wenn die Option "Sprechen" gewählt ist, kann die Spracheingabe mit einem Doppeltipp auf eine der Tasten gestartet werden. Die Eingabe von Text wird dann mit einem langen Doppeltipp gestartet.
Ist die Option "Tippen" gewählt, verhält sich die Eingabe-Taste umgekehrt.
Achtung! Die Optionen Doppeltipp und langer Doppeltipp können für beide Sprachen individuell eingestellt werden.
Hat jemand z.B. einen starken Akzent oder einen Sprachfehler, kann die Texteingabe vorteilhaft sein. In diesem Fall kann für die betreffende Sprache die Option "Tippen" gewählt werden. um das Textfeld schnell mit einem Doppeltipp öffnen zu können.

Mit VoiceOver ist es nicht möglich, den Bildschirm für die Wahl der Sprachen zu verlassen. Die App muss im App-Umschalter beendet und dann neu gestartet werden. Sie öffnet sich im Standardbildschirm, mit den neu eingestellten Sprachen.

Modus "zum Sprechen Tippen"
Ist in der Sprachauswahl die Standardeinstellung "Sprechen" gewählt, kann die Spracheingabe mit einem Doppeltipp auf eine der Tasten gestartet werden. Die Eingabe wird automatisch beendet, wenn man aufhört zu sprechen.
Alternativ kann die Eingabe mit einem weiteren Doppeltipp beendet werden.
Anfang und Ende der Aufnahme werden durch einen Signalton angezeigt.
Nach Ende der Spracheingabe wird die Übersetzung von der eingestellten Sprach-Ausgabe gesprochen.
Ebenso werden Eingabe und Ausgabe in Textfeldern angezeigt, die man fokussieren kann, um sich den Text noch einmal anzuhören. In diesem Fall wird der Text von VoiceOver vorgelesen. Zu diesem Zweck sollte die betreffende Sprache im Sprachen-Rotor von VoiceOver hinzugefügt werden.

Mit einem langen Doppeltipp auf eine der Eingabetasten öffnet man ein Textfeld mit virtueller Tastatur. Geschriebener Text kann mit der Taste "Senden" unten rechts übersetzt werden.
Leider funktioniert hier die Braille-Eingabe nicht.

Die gesamte Konversation kann mit Wischgesten nachvollzogen werden.
Mit der Taste "Gespräch löschen" wird der Bildschirm zurückgesetzt.
Alternativ kann auf einem fokussierten Textfeld mit einem Finger nach unten gewischt werden, um die Rotor-Aktion "Löschen" zu aktivieren. Mit einem Doppeltipp wird die Konversation gelöscht.

Um den übersetzten Text zu teilen oder in die Zwischenablage zu kopieren, führt man auf dem betreffenden Feld einen Dreifachtipp aus. Es öffnet sich ein Kontextmenü mit den erwähnten Optionen.

Modus "Gespräch"
Mit einem Doppeltipp auf "Eingabe in primärer Sprache" öffnet man zunächst einen Bildschirm mit einem rechtlichen Hinweis in beiden Sprachen. Die App weist darauf hin, dass das Gesprochene aufgezeichnet und zum Zweck der Übersetzung an die Cloud gesendet wird. Hierauf folgen die Tasten "Akzeptieren" und "Abbrechen".
Mit einem Doppeltipp auf "Akzeptieren" wird der Dolmetsch-Modus gestartet, angezeigt durch einen Signalton.
Gesprochenes wird nach wenigen Sekunden in der jeweils anderen Sprache wiedergegeben.
Mit einem weiteren Doppeltipp auf Eingabe kann die Aufzeichnung beendet werden.

Übersetzung der Zwischenablage
Befindet sich Text in der Zwischenablage, wenn man SayHi öffnet, fragt die App, ob die Zwischenablage übersetzt werden soll.
Mit Doppeltipp auf "ja" wird die Übersetzung gesprochen und wie gehabt in Textfeldern angezeigt.
Die Sprach-Ausgabe bricht nach etwa 1330 Zeichen ab. Bei größeren Texten sollte man daher das Textfeld von VoiceOver vorlesen lassen, da hier der vollständige Text angezeigt wird.
Die Wiedergabe der Übersetzung kann mit 2-Finger-Doppeltipp gestoppt werden. Allerdings startet man mit dieser Geste unter Umständen die Medienwiedergabe einer anderen App.
.Auch durch Betätigung der Taste "Gespräch löschen" wird die Wiedergabe abgebrochen. Nach einem Doppeltipp auf "Abbrechen" ist die Übersetzung als Text noch vorhanden.

Modus "Bild"
Im Bildmodus sind die Bedienelemente nicht korrekt beschriftet.
Auf die Überschrift "Bild" folgt eine unbeschriftete Taste, die zum Aufrufen der Fotos-App dient. Hier kann ein Bild ausgewählt werden, dass mit OCR erkannt und übersetzt werden soll.
Eine weitere unbeschriftete Taste ermöglicht das Teilen des übersetzten Bildes.
Es folgt ein Feld, das "Status, 50%" lautet. Die Bedeutung ist unklar.
Darauf folgt die Taste mit der Bezeichnung "ic camera button". Mit einem Doppeltipp wird ein Bild aufgenommen, dessen Übersetzung links der Taste angezeigt wird.
Es gibt keine Sprach-Ausgabe.
Wird eine Übersetzung angezeigt, sagt VoiceOver bei Fokussieren der Taste "Auswahl" an. Mit einem Doppeltipp wird die Übersetzung gelöscht und ein neues Bild kann aufgenommen werden.
Die drei weiteren Tasten führen wieder zur Sprachauswahl.
Bedienung und Ergebnis des Bildmodus sind wenig befriedigend. Für diesen Zweck ist die App Seeing AI besser geeignet.

Antworten