Computer lernen Geräusche mittels Video zu erkennen

Für elektronische Spracherkennung gibt es inzwischen schon gut funktionierende Lösungen wie Siri oder Cortana. Doch nach wie vor haben Computer gewisse Probleme, „nicht-sprachliche“ Geräusche richtig zuzuordnen. Das gilt zum Beispiel für Vogelstimmen, Wellenrauschen oder Jubelgesang.

Für solche Fälle haben jetzt Forscher am MIT Computer Science and Artificial Intelligence Laboratory (CSAIL) einen neuen Ansatz entwickelt. Sie verbinden visuelle Erkennung mit Geräusch-Zuordnung. Denn Computer können inzwischen auch gut genug sehen, um selbständig Objekte und Umgebungen in Videos zu erkennen. Das ermöglicht es, nur mithilfe von Clips zu lernen, zugehörige Geräusche zu erkennen.

Lernende Systeme

„Wir machen uns die natürliche Synchronität von Sicht und Klang zunutze“, erklärt Carl Vondrick, CSAIL-Postgrad in Elektrotechnik und Informatik. Im Prinzip ist das ganz einfach: Eine tosende Brandung beispielsweise ist vor allem dann zu hören, wenn auch brechende Wellen zu sehen sind. Wenn also ein Computer gelernt hat, das sichtbare Wellenbrechen visuell als solches zu erkennen, helfen Brandungs-Videoclips, das dazugehörige Geräusch zu erlernen – und das ganz ohne, dass ein Mensch die Videos erst aufwendig mit Metadaten zur Beschreibung des Inhalts versehen müsste.

Das Team hat daher ein System zum Computer-Sehen genommen, das sie trainiert hatten, Objekte und Umgebungen in Bildern zu erkennen, und damit ein System erstellt, das Geräusche aus Videos erlernt. Bei Tests an zwei Standard-Geräuschdatenbanken war die Erkennung dann 13 bis 15 Prozent genauer als mit bisherigen Lösungen. Bei einem Datensatz mit zehn Geräuschklassen lag das System zu 92 Prozent richtig, bei einem mit 50 Geräuschklassen zu 74 Prozent.

Vielfältige Anwendungen denkbar

Mit dem Video-Ansatz liessen sich also Geräuscherkennungssysteme effizient trainieren. Eben das verspricht grosses Anwendungspotenzial. Denn eine gute Geräuscherkennung könnte in vielen Bereichen nützlich sein. Immerhin sind Audiodaten leichter zu sammeln und kompakter als komplette Videos. Das könnten sich beispielsweise Handys zunutze machen, um den Kontext ihrer Umgebung besser zu verstehen. Es wäre beispielsweise von Vorteil, wenn sich Geräte, die hören, dass sie in einem Kino oder Theater sind, automatisch stumm schalten – egal, ob der Nutzer daran denkt oder nicht.

Auch in der Robotik ortet das Team grosses Potenzial. Eine Geräuscherkennung könnte Systemen helfen, potenziell gefährliche Situationen besser Einzuschätzen. „Denken Sie zum Beispiel an selbstfahrende Autos“, meint CSAIL-Postdoc Yusuf Aytar. „Da kommt ein Rettungswagen, aber das Auto sieht ihn nicht. Wenn es ihn hört, kann es aufgrund des Geräusches Vorhersagen bezüglich des Krankenwagens machen – welchen Weg dieser fahren wird.“ Das ist der Grund, warum Einsatzfahrzeuge Sirenen haben. Auch menschliche Autofahrer werden durch deren Signal vorgewarnt, bevor sie das Fahrzeug tatsächlich sehen.

 

Quelle: pressetext.redaktion
Artikelbild: © Minerva Studio – shutterstock.com (Symbolbild)