Digitale Assistenten: Apples Siri hinkt beim Fragen beantworten Google hinterher

Das Forschungsteam von Loup Ventures hat schon in der Vergangenheit verschiedene Smart Speaker auf ihre Sprachqualitäten getestet. Nun waren vier Sprachassistenten an der Reihe, darunter auch Apples Siri.

Sprachassistenten

Im sogenannten „Annual Digital Assistant IQ Test“ („jährlicher IQ-Test für digitale Assistenten“) scheute Loup Ventures keine Mühen und stellte den vier Sprachassistenten Siri, Google Assistant, Alexa (Amazon) und Cortana (Microsoft) jeweils insgesamt 800 Fragen. Das Ergebnis: Der Google Assistant konnte 86 Prozent der Fragen richtig beantworten, Siri immerhin noch 79 Prozent. Abgeschlagen auf den beiden letzten Plätzen landeten Alexa (61 Prozent) und Cortana (52 Prozent).


Die Methodik, mit der das Loup Ventures-Team dabei vorging, basiert auf zwei Bewertungs-Parametern: 1. Versteht der Sprachassistent, was gefragt wurde? und 2. Liefert der Assistent eine korrekte Antwort? Die Auswahl der insgesamt 800 Fragen, die allen vier Sprachassistenten gestellt wurden, stellten sich aus fünf unterschiedlichen Kategorien zusammen: Lokal („Wo ist die nächste Kaffeebar?), Handel („Kannst du weitere Papiertücher für mich bestellen?“), Navigation („Wie komme ich mit dem Bus ins Stadtzentrum?), Information („Gegen wen spielt Mannschaft X heute Abend?“) und Befehle („Erinnere mich daran, heute um 14 Uhr Steve anzurufen“).

Für den Test verwendete man Siri unter iOS 11.4, Google Assistant auf einem Pixel XL, sowie Alexa und Cortana über die jeweiligen iOS-Apps. Zum Einsatz kamen außerdem intelligente Haussteuerungs-Geräte wie der Wemo Mini Plug, der TP-Link Kasa, Philips Hue Lampen und der Wemo Dimmer Switch.

Siri versteht sich vor allem mit Musiksteuerung

Loup Ventures Sprachassistenten Grafik

„Google Assistant war in der Lage, 86 Prozent aller Fragen richtig zu beantworten und dabei alle Fragen richtig zu verstehen“, heißt es von Seiten Loup Ventures in der Testanalyse. „Siri folgt dicht dahinter: Sie beantwortete 79 Prozent richtig und verstand nur 11 Fragen falsch. Alexa hat 61 Prozent richtig beantwortet und 13 Fragen falsch verstanden. Cortana war der Nachzügler, der nur 52 Prozent richtig beantwortete und bei 19 Fragen versagte.“

Bis auf die Kategorie „Befehle“ sticht der Google Assistant mit seinen Ergebnissen heraus – hier hat Apples Siri die Nase vorn. „Wir empfanden Siri als etwas hilfreicher und vielseitiger (sie reagiert auf eine flexiblere Sprache), wenn es um die Steuerung von Telefon, Smart Home, Musik usw. geht“, erklärt das Loup Venture-Team. „Unser Fragenkatalog enthält auch eine Menge an musikbezogenen Fragen, die häufigste Aktion für intelligente Lautsprecher. Apple hat, getreu seinen Wurzeln, dafür gesorgt, dass Siri sich sowohl mit mobilen Geräten als auch mit intelligenten Lautsprechern beim Musik hören versteht.“ 

Im direkten Vergleich eines gleichwertigen Tests mit digitalen Assistenten, der von Loup Ventures vor etwa 15 Monaten durchgeführt wurde, konnte sich Apples Siri am meisten steigern: Und zwar von 66 auf 79 Prozent korrekt beantworteter Fragen. Der Google Assistant machte einen Sprung um 11 Prozentpunkt, Cortana verbesserte sich lediglich um drei Prozent. Amazons Alexa wurde im ersten Test noch nicht berücksichtigt, daher gibt es in dem Fall keine Vergleichsmöglichkeit. 

Wie zufrieden seid ihr bisher mit Apples Siri? Konntet ihr im Verlauf der Jahre deutliche Verbesserungen erkennen? Oder setzt ihr auch auf den Google Assistant? Wir sind gespannt auf eure Meinungen zu diesem Thema.

Fotos: loupventures.com

Anzeige

Kommentare 17 Antworten

  1. So ein Quatsch! Alexa ist Siri um Meilen voraus. Verständlichkeit und Antwortqualität. Das zumindest der Alltagstest über mehrere Monate und kein unrealistischer Laborversuch….

    1. Besonders beim Schutz der Privatsphäre, da ist Alexa Lichtjahre voraus…wenn das nicht wichtig ist, dann ist Alexa aktuell sicher der „bessere“ Assistent.

          1. @schlupp: Du hast natürlich Recht. Aber Generation ADS mit kurzer Aufmerksamkeitsspanne und noch kürzerer Geduld ist nicht die Zielgruppe für eine solche Argumentation. Solche Exemplare warnt man über eine Gefahr, nach einem Tag ist die Warnung wieder vergessen und sie rennen in Scharen zum Datenverhöker.

          2. Pass mal auf mein Freund! Mit Sicherheit bin ich älter als DU und verstehe von der Materie mehr und hab meine Systeme sicherer als du ! Benutz du mal weiter deine Payback Karte und fein immer WhatsApp und Fratzenbuch!! Lacher so eine Type wie du …. meinst mit einer geschwollen Ausdrucksweise Bildung auszudrücken? Omg immer schön nach labern was andere quatschen…. darum ging es mehr nicht !! So du NULL G (PUNK?) have a nice day ??

          3. Gleich die Diskussion auf so ein Level herabsetzen. Das klingt sehr erwachsen.

            Ich beziehe mich übrigens auf die beiden Ausgangsstatements: Verständlichkeit und Antwortqualität also Funktionen.

            Alter hat übrigens nichts mit Weisheit oder Reife zu tun. Beides scheinst du (oder sollte ich als 48-jähriger besser Sie sagen) mit Löffeln gefressen zu haben…

          4. @schlupp: Ach, man darf das Teddybärchen einfach nicht so ernst nehmen. Manche werden einfach nie erwachsen, egal welches Geburtsdatum in ihrem Ausweis steht. Mit seiner Ausdrucksweise ordnet er sich von ganz alleine irgendwo auf dem Niveau von Bart Simpson ein ?

            Vom Funktionsumfang her bzw. von der Intelligenz der dahinterstehenden KI ist Alexa wahrscheinlich weiter. Es schadet aber generell nicht, sich den Anbieter um den es geht und sein Geschäftsmodell genau anzuschauen. Was hat er wohl für ein Ziel?
            Apple betont zwar immer, dass man mit Verkauf von Hard- und Software sein Geld verdient. Dennoch wird die Versuchung auch für Apple immer größer. Siehe bspw. hier:
            heise.de/mac-and-i/meldung/macOS-High-Sierra-loggt-erstmals-App-Nutzung-4121375.html
            Google macht noch nicht mal ein Geheimnis daraus, dass ihr Geschäftsmodell auf Daten beruht. Doch was ist mit Amazon? Vermutlich irgendwo dazwischen. Insofern hat @Nemios durchaus Recht, wahrscheinlich.

  2. Ich finde, hier sollte man beachten, dass die Assistenten sicher in englischer Sprache getestet werden. Ich habe das Gefühl, dass Siri im Englischen wesentlich besser funktioniert und sich mit dem Deutsch noch ein wenig schwer tut.

    1. @DaSeb: So ist es. Ich habe alle meine Geräte immer auf Englisch und nutze Siri oft. Auf Englisch habe ich eine einwandfreie Erkennung, zumindest für die einfachen Aufgaben die sie von mir bekommt. Auf Deutsch höre ich bei anderen immer nur „ich habe dich nicht verstanden“.

      1. Und das klappt gut? Also Siri in Englisch bei Apple Maps zu nutzen um zu einem Ort zu fahren mit wohlmöglich einer deutschen Straße ist ziemlich schwierig. Auch bei deutschen Musiktiteln tut sie sich schwer. In Deutschland ist in vielen Fällen leider auf Grund der deutschen Wörter Siri in D eigentlich zuverlässiger. Vielleicht kann sie nicht so viel Fragen beantworten, weil sie weniger „clever“ ist als die englische Version.
        Kommt vielleicht auch drauf an, wo man seinen Siri Schwerpunkt hat.

        1. Für die Detailfragen ist natürlich @zeroG gefragt, ich kann aber ganz klar bestätigen, dass es bei Siri im deutschen hauptsächlich an der „Cleverness“ scheitert.

        2. @STR: Genau so ist es, es kommt darauf an, wie man sie einsetzt. Apple Maps nutze ich ausschließlich für die 3D-Ansicht. Zur Navigation nutze ich Google Maps. Aber egal ob Navigation oder Siri: künstliche Ausgabe von deutschen Begriffen/Namen auf einem englischen System ist manchmal recht „interessant“, da hast Du Recht.
          Ich stelle Siri keine Fragen, sondern einfache Aufgaben wie Anruf starten, Nachrichten mit kurzem Text diktieren und versenden, Timer starten. Das erfüllt sie zu 99% fehlerfrei.

  3. Weiß eigentlich einer von euch was aus der automatischen Benutzererkennung von Alexa geworden ist? In Oktober bis Dezember 2017 wurde überall berichtet dass dies demnächst eingeführt wird?!

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Copyright © 2021 appgefahren.de