DE112016001105T5

DE112016001105T5 - Reagieren von konkurrierenden Vorrichtungen auf Sprachauslöser

Info

Publication number: DE112016001105T5
Application number: DE112016001105.9T
Authority: DE
Inventors: Brandon J. NEWENDORP; Evan S. DiBiase
Original assignee: Apple Inc
Current assignee: Apple Inc
Priority date: 2015-03-08
Filing date: 2016-03-08
Publication date: 2017-12-07
Also published as: CN110442319A; JP6291147B1; EP3224708A4; EP3224708A1; WO2016144982A1; CN110442319B; US20160260431A1; US20180033431A1; EP3224708B1; US9721566B2; US10311871B2; CN107430501A; JP2018511218A; US10930282B2; US20190244618A1; CN107430501B

Abstract

Auf einer ersten elektronischen Vorrichtung mit einer Anzeige und einem Mikrofon: ein Abtasten einer Audioeingabe unter Verwendung des ersten Mikrofons; gemäß dem Abtasten der Audioeingabe unter Verwendung des ersten Mikrofons, ein Senden von Stoppanweisungen an eine zweite elektronische Vorrichtung mit einem zweiten Mikrofon, wobei die zweite elektronische Vorrichtung außerhalb der ersten elektronischen Vorrichtung ist, wobei die zweite elektronische Vorrichtung dazu konfiguriert ist, auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, und wobei die Stoppanweisungen die zweite elektronische Vorrichtung anweisen, nicht auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, wobei das Reagieren auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe ein Bereitstellen einer wahrnehmbaren Ausgabe umfasst.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Die vorliegende Anmeldung beansprucht das Prioritätsvorrecht der vorläufigen US-Patentanmeldung Nr. 62/129,922 mit dem Titel „COMPETING DEVICES RESPONDING TO VOICE TRIGGERS”, eingereicht am B. März 2015, und der endgültigen US-Patentanmeldung 14/841,379 mit dem Titel „COMPETING DEVICES RESPONDING TO VOICE TRIGGERS”, eingereicht am 31. August 2015. Die Inhalte dieser Anmeldungen werden hiermit durch Bezugnahme in ihrer Gesamtheit eingeschlossen.
Die vorliegende Anmeldung ist verwandt mit den folgenden gleichzeitig anhängigen vorläufigen Anmeldungen: U. S. Patentanmeldung Nr. 12/987,982 mit dem Titel „INTELLIGENT AUTOMATED ASSISTANT”, eingereicht am 10. Januar 2011; und vorläufige US-Patentanmeldung Nr. 62/026,532 mit dem Titel „Raise Gesture Detection in a Device”, eingereicht am 18. Juli 2014. Die Inhalte dieser Anmeldungen werden hiermit durch Bezugnahme eingeschlossen.
HINTERGRUND
1. Bereich
Die vorliegende Offenbarung betrifft allgemein Computerbenutzerschnittstellen und genauer Techniken zum Auslösen von Diensten und/oder Anwendungen auf elektronischen Vorrichtungen unter Verwendung von gesprochenen Eingaben.
2. Beschreibung der verwandten Technik
Intelligente automatisierte Assistenten (oder virtuelle Assistenten) stellen nützlich Schnittstellen zwischen menschlichen Benutzern und elektronischen Vorrichtungen bereit. Beispielhafte virtuelle Assistenten ermöglichen es Benutzern, mit Vorrichtungen oder Systemen über natürliche Sprache in gesprochenen und/oder Textformen zu interagieren. Zum Beispiel kann ein Benutzer eine Eingabe in natürlicher Sprache bereitstellen, die eine Benutzeranforderung an eine elektronische Vorrichtung enthält. Der virtuelle Assistent der Vorrichtung interpretiert die Benutzerabsicht aus der Eingabe und setzt die Benutzerabsicht in eine oder mehrere Aufgaben um.
Einige elektronische Vorrichtungen sind dazu konfiguriert, einen virtuellen Assistenten durch Abtasten einer Audioeingabe und Bestimmen, ob das abgetastete Audio einen Auslöserausdruck umfasst, auszulösen. Wenn mehrere Vorrichtungen, die diese Funktion bereitstellen, in der Nähe eines Benutzers sind, kann eine einzelne gesprochene Nennung des Auslöserausdrucks durch den Benutzer bewirken, dass mehrere Vorrichtungen reagieren. Dieses Ergebnis ist möglicherweise nicht optimal, weil der Benutzer, der wahrscheinlich erwartet, dass eine Vorrichtung reagiert, durch mehrere Reaktionen überfordert wäre.
KURZE ZUSAMMENFASSUNG
Es wäre hilfreich, wenn benachbarte Vorrichtungen derart miteinander kommunizieren könnten, dass einige Vorrichtungen nicht auf eine gesprochene Eingabe eines Benutzers reagieren. Zum Beispiel kann eine Vorrichtung auf eine Audioeingabe des Benutzers reagieren, während die anderen Vorrichtungen dies vorübergehend unterlassen.
Gemäß einigen Ausführungsformen umfasst ein Verfahren: auf einer ersten elektronischen Vorrichtung mit einer Anzeige und einem Mikrofon: ein Abtasten einer Audioeingabe unter Verwendung des ersten Mikrofons; gemäß dem Abtasten der Audioeingabe unter Verwendung des ersten Mikrofons, ein Senden von Stoppanweisungen an eine zweite elektronische Vorrichtung mit einem zweiten Mikrofon, wobei die zweite elektronische Vorrichtung außerhalb der ersten elektronischen Vorrichtung ist, wobei die zweite elektronische Vorrichtung dazu konfiguriert ist, auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, und wobei die Stoppanweisungen die zweite elektronische Vorrichtung anweisen, nicht auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, wobei das Reagieren auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe ein Bereitstellen einer wahrnehmbaren Ausgabe umfasst.
Gemäß einigen Ausführungsformen umfasst ein nicht flüchtiges, computerlesbares Speichermedium, das ein oder mehrere Programme speichert, wobei das eine oder die mehreren Programme Anweisungen umfassen, die bei Ausführung durch eine erste elektronische Vorrichtung mit einer Anzeige und einem ersten Mikrofon die erste elektronische Vorrichtung zu Folgendem veranlassen: einem Abtasten einer Audioeingabe unter Verwendung des ersten Mikrofons; gemäß dem Abtasten der Audioeingabe unter Verwendung des ersten Mikrofons, einem Senden von Stoppanweisungen an eine zweite elektronische Vorrichtung mit einem zweiten Mikrofon, wobei die zweite elektronische Vorrichtung außerhalb der ersten elektronischen Vorrichtung ist, wobei die zweite elektronische Vorrichtung dazu konfiguriert ist, auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, und wobei die Stoppanweisungen die zweite elektronische Vorrichtung anweisen, nicht auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, wobei das Reagieren auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe ein Bereitstellen einer wahrnehmbaren Ausgabe umfasst.
Gemäß einigen Ausführungsformen umfasst eine elektronische Vorrichtung: eine Anzeige; einen oder mehrere Prozessoren; einen Speicher; ein erstes Mikrofon und ein oder mehrere Programme, wobei das eine oder die mehreren Programme in dem Speicher gespeichert und dazu konfiguriert sind, durch den einen oder die mehreren Prozessoren ausgeführt zu werden, wobei das eine oder die mehreren Programme Anweisungen umfassen für: ein Abtasten einer Audioeingabe unter Verwendung des ersten Mikrofons; gemäß dem Abtasten der Audioeingabe unter Verwendung des ersten Mikrofons, ein Senden von Stoppanweisungen an eine zweite elektronische Vorrichtung mit einem zweiten Mikrofon, wobei die zweite elektronische Vorrichtung außerhalb der ersten elektronischen Vorrichtung ist, wobei die zweite elektronische Vorrichtung dazu konfiguriert ist, auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, und wobei die Stoppanweisungen die zweite elektronische Vorrichtung anweisen, nicht auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, wobei das Reagieren auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe ein Bereitstellen einer wahrnehmbaren Ausgabe umfasst.
Gemäß einigen Ausführungsformen umfasst eine elektronische Vorrichtung: ein Mittel zum Abtasten einer Audioeingabe unter Verwendung des ersten Mikrofons; ein Mittel, gemäß dem Abtasten der Audioeingabe unter Verwendung des ersten Mikrofons, zum Senden von Stoppanweisungen an eine zweite elektronische Vorrichtung mit einem zweiten Mikrofon, wobei die zweite elektronische Vorrichtung außerhalb der ersten elektronischen Vorrichtung ist, wobei die zweite elektronische Vorrichtung dazu konfiguriert ist, auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, und wobei die Stoppanweisungen die zweite elektronische Vorrichtung anweisen, nicht auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, wobei das Reagieren auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe ein Bereitstellen einer wahrnehmbaren Ausgabe umfasst.
Gemäß einigen Ausführungsformen umfasst eine elektronische Vorrichtung: eine Anzeige; ein erstes Mikrofon und eine an die Anzeige und das erste Mikrofon gekoppelte Verarbeitungseinheit, wobei die Verarbeitungseinheit zu Folgendem konfiguriert ist: einem Abtasten einer Audioeingabe unter Verwendung des ersten Mikrofons; gemäß dem Abtasten der Audioeingabe unter Verwendung des ersten Mikrofons, einem Senden von Stoppanweisungen an eine zweite elektronische Vorrichtung mit einem zweiten Mikrofon, wobei die zweite elektronische Vorrichtung außerhalb der ersten elektronischen Vorrichtung ist, wobei die zweite elektronische Vorrichtung dazu konfiguriert ist, auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, und wobei die Stoppanweisungen die zweite elektronische Vorrichtung anweisen, nicht auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, wobei das Reagieren auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe ein Bereitstellen einer wahrnehmbaren Ausgabe umfasst.
KURZBESCHREIBUNG DER FIGUREN
Für ein besseres Verständnis der verschiedenen beschriebenen Ausführungsformen sollte auf die nachfolgende Beschreibung von Ausführungsformen in Verbindung mit den folgenden Zeichnungen Bezug genommen werden, in denen sich gleiche Bezugsziffern durch die Figuren hinweg auf entsprechende Teile beziehen.
1 veranschaulicht ein System und eine Umgebung zum Implementieren eines digitalen Assistenten gemäß einigen Ausführungsformen.
2A veranschaulicht eine Benutzervorrichtung zum Implementieren des clientseitigen Bereichs eines digitalen Assistenten gemäß einigen Ausführungsformen.
2B ist ein Blockdiagramm, das beispielhafte Komponenten zum Ereignisabwickeln gemäß einigen Ausführungsformen veranschaulicht.
3 veranschaulicht eine tragbare Multifunktionsvorrichtung, bei der der clientseitige Bereich eines digitalen Assistenten gemäß einigen Ausführungsformen implementiert ist.
4 ist ein Blockdiagramm einer beispielhaften Multifunktionsvorrichtung mit einer Anzeige und einer berührungsempfindlichen Oberfläche gemäß einigen Ausführungsformen.
5A veranschaulicht eine beispielhafte Benutzerschnittstelle für ein Anwendungsmenü auf einer tragbaren Multifunktionsvorrichtung gemäß einigen Ausführungsformen.
5B veranschaulicht eine beispielhafte Benutzerschnittstelle für eine Multifunktionsvorrichtung mit einer berührungsempfindlichen Oberfläche, die von der Anzeige separat ist, gemäß einigen Ausführungsformen.
6A veranschaulicht eine persönliche elektronische Vorrichtung gemäß einigen Ausführungsformen.
6B ist ein Blockdiagramm, das eine persönliche elektronische Vorrichtung gemäß einigen Ausführungsformen veranschaulicht.
7A veranschaulicht ein digitales Assistenzsystem oder einen Serverabschnitt davon gemäß einigen Ausführungsformen.
7B veranschaulicht die Funktionen des in 7A gezeigten digitalen Assistenten gemäß einigen Ausführungsformen.
7C veranschaulicht einen Abschnitt einer Ontologie gemäß einigen Ausführungsformen.
8A–8F veranschaulichen beispielhafte Techniken zum Wechseln zwischen elektronischen Vorrichtungen gemäß einigen Ausführungsformen.
9A–9C sind Flussdiagramme, die ein Verfahren zum Wechseln zwischen elektronischen Vorrichtungen gemäß einigen Ausführungsformen veranschaulichen.
10 ist ein Funktionsblockdiagramm einer elektronischen Vorrichtung gemäß einigen Ausführungsformen.
BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
In der nachfolgenden Beschreibung der Offenbarung und der Ausführungsformen erfolgen Bezugnahmen auf die begleitenden Zeichnungen, in denen spezifische Ausführungsformen veranschaulicht werden. Es versteht sich, dass auch andere Ausführungsformen und Beispiele möglich sind und Änderungen vorgenommen werden können, ohne vom Geist und Umfang der Offenbarung abzuweichen.
Techniken zum Vermeiden von gleichzeitigen Reaktionen von mehreren elektronischen Vorrichtungen aufgrund einer Nennung eines gesprochenen Auslösers durch einen Benutzer sind wünschenswert. Diese Techniken helfen zu verhindern, dass ein Benutzer mit Benutzerschnittstellenausgaben überflutet wird, und unterstützen allgemein eine Benutzerfreundlichkeit von höherer Qualität. Außerdem kann durch das Vermeiden von redundanten Ausgaben auf mehreren Vorrichtungen Prozessor- und Akkuleistung, die andernfalls verschwendet wird, gespart werden.
Nachstehend beschreiben 1, 2, 7A–7B und 10 beispielhafte Rechenvorrichtungen, die dafür konzipiert sind, ihre Ausgabe in Reaktion auf eine gesprochene Eingabe zu steuern, um gleichzeitige Reaktionen zu vermeiden. 8A–8F veranschaulichen beispielhafte Techniken und Benutzerschnittstellen zum Wechseln zwischen Rechenvorrichtungen. Die Benutzerschnittstellen in den Figuren werden auch verwendet, um die nachstehend beschriebenen Prozesse zu veranschaulichen, einschließlich der Prozesse in 9A–9C.
Obwohl in der folgenden Beschreibung die Begriffe „erstes”, „zweites” usw. verwendet werden, um verschiedene Elemente zu beschreiben, sollten diese Elemente durch die Begriffe nicht eingeschränkt sein. Diese Begriffe werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Zum Beispiel kann eine erste Eingabe als eine zweite Eingabe bezeichnet werden, und gleichermaßen kann eine zweite Eingabe als eine erste Eingabe bezeichnet werden, ohne vom Umfang der verschiedenen beschriebenen Beispiele abzuweichen. Die erste Eingabe und die zweite Eingabe können beide Ausgaben sein und können in einigen Fällen separate und verschiedene Eingaben sein.
Die in der Beschreibung der verschiedenen, hierin beschriebenen Beispiele verwendete Terminologie dient lediglich der Beschreibung bestimmter Beispiele und soll nicht als Einschränkung verstanden werden. So wie sie in der Beschreibung der verschiedenen beschriebenen Beispiele und in den beigefügten Ansprüchen verwendet werden, sollen die Singularformen „ein”, „eine”, „eines” und „der”, „die”, „das” auch die Pluralformen einschließen, es sei denn der Kontext gibt ausdrücklich Gegenteiliges an. Es versteht sich auch, dass der Begriff „und/oder”, so wie er hier verwendet wird, sich auf jegliche und alle möglichen Kombinationen von einem oder mehreren der damit zusammenhängenden, aufgeführten Begriffe bezieht und diese einschließt. Es versteht sich ferner, dass die Begriffe „einschließen”, „einschließend”, „umfasst” und/oder „umfassend”, wenn sie in dieser Patentschrift verwendet werden, die Gegenwart von aufgeführten Merkmalen, ganzen Zahlen, Schritten, Vorgängen, Elementen und/oder Komponenten angeben, aber die Gegenwart oder das Hinzufügen von einem oder mehreren Merkmalen, ganzen Zahlen, Schritten, Vorgängen, Elementen, Komponenten und/oder Gruppen davon nicht ausschließen.
Der Begriff „wenn” kann in seiner Bedeutung je nach Kontext als „während” oder „bei” oder „als Reaktion auf das Feststellen” oder „als Reaktion auf das Erfassen” ausgelegt werden. Auf ähnliche Weise kann die Wendung „wenn festgestellt wird” oder „wenn [eine aufgeführte Bedingung oder ein aufgeführtes Ereignis] erfasst wird” so ausgelegt werden, dass sie je nach Kontext „bei Bestimmung” oder „als Reaktion auf das Bestimmen” oder „bei Erfassen [der aufgeführten Bedingung oder des aufgeführten Ereignisses]” oder „als Reaktion auf das Erfassen [der aufgeführten Bedingung oder des aufgeführten Ereignisses]” bedeutet.
1. System und Umgebung
1 zeigt ein Blockdiagramm eines Systems 100 gemäß verschiedenen Beispielen. In einigen Beispielen kann System 100 einen digitalen Assistenten implementieren. Die Begriffe „digitaler Assistent”, „virtueller Assistent”, „intelligenter automatisierter Assistent” oder „automatischer digitaler Assistent” können sich auf jegliches Informationsverarbeitungssystem beziehen, das Eingabe natürlicher Sprache in gesprochener und/oder textueller Form interpretiert, um die Benutzerabsicht abzuleiten, und das Aktionen auf der Grundlage der abgeleiteten Benutzerabsicht ausführt. Um zum Beispiel auf eine abgeleitete Benutzerabsicht zu reagieren, kann das System eine oder mehrere der folgenden Aktionen durchführen: Identifizieren eines Aufgabenflusses mit Schritten und Parametern, die dafür ausgelegt sind, die abgeleitete Benutzerabsicht zu erreichen, Eingeben von spezifischen Anforderungen aus der abgeleiteten Benutzerabsicht in den Aufgabenfluss, Ausführen des Aufgabenflusses durch Aufrufen von Programmen, Verfahren, Diensten, APIs oder dergleichen und Erzeugen von Ausgabeantworten an den Benutzer in einer hörbaren (z. B. Sprache) und/oder visuellen Form.
Insbesondere kann ein digitaler Assistent in der Lage sein, eine Benutzeranforderung wenigstens teilweise in der Form eines Befehls, einer Anforderung, einer Aussage, einer Erzählung und/oder einer Anfrage in natürlicher Sprache anzunehmen. Üblicherweise kann die Benutzeranforderung entweder eine informationelle Antwort oder die Durchführung einer Aufgabe von dem bzw. durch den digitalen Assistenten anstreben. Eine zufriedenstellende Antwort auf die Benutzeranforderung kann eine Bereitstellung der angeforderten informationellen Antwort, eine Durchführung der angeforderten Aufgabe oder eine Kombination der beiden sein. Zum Beispiel kann ein Benutzer dem digitalen Assistenten eine Frage stellen wie: „Wo bin ich gerade?” Basierend auf dem aktuellen Standort des Benutzers kann der digitale Assistent antworten: „Sie sind im Central Park in der Nähe des Westtors”. Der Benutzer kann auch die Durchführung einer Aufgabe anfordern, indem er zum Beispiel sagt: „Bitte lade meine Freunde zu der Geburtstagsparty meiner Freundin nächste Woche ein.”. Als Reaktion darauf kann der digitale Assistent die Anforderung bestätigen und sagen: „Ja, mache ich sofort.”. Anschließend kann er für den Benutzer eine entsprechende Kalendereinladung an alle Freunde des Benutzers senden, die im elektronischen Adressbuch des Benutzers angegeben sind. Während der Durchführung einer angeforderten Aufgabe kann der digitale Assistent gelegentlich mit dem Benutzer in einem kontinuierlichen Dialog interagieren, der mehrere Informationsaustausche über einen verlängerten Zeitraum beinhaltet. Es gibt zahlreiche andere Wege des Interagierens mit einem digitalen Assistenten, um Informationen oder die Durchführung verschiedener Aufgaben anzufordern. Zusätzlich zur Bereitstellung gesprochener Antworten und zur Durchführung programmierter Aktionen kann der digitale Assistent auch Antworten in anderen visuellen oder hörbaren Formen (z. B. als Text, Warnungen, Musik, Videos oder Animationen) bereitstellen.
Wie in 1 gezeigt, kann in einigen Beispielen ein digitaler Assistent gemäß einem Client-Server-Modell implementiert werden. Der digitale Assistent kann einen clientseitigen Abschnitt 102, (nachstehend „DA-Client 102”) umfassen, der auf der Benutzervorrichtung 104 ausgeführt wird, und einen serverseitigen Abschnitt 106 (nachstehend „DA-Server 106”), der auf einem Serversystem 108 ausgeführt wird. DA-Client 102 kann mit DA-Server 106 durch ein oder mehrere Netzwerke 110 kommunizieren. DA-Client 102 kann clientseitige Funktionalitäten bereitstellen, wie zum Benutzer gerichtete Eingabe- und Ausgabeverarbeitung und Kommunikationen mit DA-Server 106. DA-Server 106 kann serverseitige Funktionalitäten für eine beliebige Anzahl von DA-Clients 102 bereitstellen, die jeweils an einer jeweiligen Benutzervorrichtung 104 sind.
In einigen Beispielen kann DA-Server 106 eine zum Client gerichtete E/A-Schnittstelle 112, ein oder mehrere Verarbeitungsmodule 114, Daten und Modelle 116 und eine E/A-Schnittstelle mit externen Diensten 118 aufweisen. Die clientseitige E/A-Schnittstelle 112 kann die clientseitige Eingabe- und Ausgabeverarbeitung für DA-Server 106 erleichtern. Ein oder mehrere Verarbeitungsmodule 114 können Daten und Modelle 116 zur Verarbeitung der Spracheingabe und Bestimmung der Intention des Benutzers auf der Basis der natürlichen Spracheingabe verwenden. Des Weiteren führen ein oder mehrere Verarbeitungsmodule 114 Aufgaben auf der Basis der gefolgerten Benutzerintention durch. In einigen Beispielen kann DA-Server 106 mit externen Diensten 120 durch das bzw. die Netzwerk(e) 110 kommunizieren, um Aufgaben zu erfüllen oder Informationen zu beschaffen. Die E/A-Schnittstelle mit externen Diensten 118 kann solche Kommunikationen erleichtern.
Benutzervorrichtung 104 kann jede geeignete elektronische Vorrichtung sein. Benutzervorrichtungen können beispielsweise eine tragbare Multifunktionsvorrichtung (z. B. Vorrichtung 200, nachfolgend unter Bezugnahme auf 2A beschrieben), eine Multifunktionsvorrichtung (z. B. Vorrichtung 400, nachfolgend unter Bezugnahme auf 4 beschrieben) oder eine persönliche elektronische Vorrichtung (z. B. Vorrichtung 600, nachfolgend unter Bezugnahme auf 6A–B beschrieben) sein. Eine tragbare Multifunktionsvorrichtung kann zum Beispiel ein Mobiltelefon sein, das andere Funktionen wie PDA- und/oder Musikwiedergabevorrichtungsfunktionen umfasst. Spezifische Beispiele für tragbare Multifunktionsvorrichtungen sind unter anderem die iPhone^®-, iPod Touch^®- und iPad^®-Vorrichtungen von Apple Inc., Cupertino, Kalifornien. Weitere Beispiele für tragbare Multifunktionsvorrichtungen sind unter anderem Laptops oder Tablet-Computer. Des Weiteren kann Benutzervorrichtung 104 in einigen Beispielen eine nicht tragbare Multifunktionsvorrichtung sein. Speziell kann Benutzervorrichtung 104 ein Desktop-Computer, eine Spielekonsole, ein Fernseher oder eine TV Set-Top-Box sein. In einigen Beispielen kann Benutzervorrichtung 104 eine berührungsempfindliche Oberfläche aufweisen (z. B. einen Touch-Bildschirm und/oder ein Touchpad). Zudem kann die Benutzervorrichtung 104 wahlweise eine oder mehrere physische Benutzerschnittstellenvorrichtungen, wie etwa eine physische Tastatur, eine Maus und/oder einen Joystick, einschließen. Verschiedene Beispiele für elektronische Vorrichtungen wie Multifunktionsvorrichtungen sind nachfolgend detaillierter beschrieben.
Beispiele des Kommunikationsnetzwerks/der Kommunikationsnetzwerke 110 sind LANs (Local Area Networks) und WANs (Wide Area Networks) wie das Internet. Die Kommunikationsnetzwerke 110 können unter Verwendung aller bekannten Netzwerkprotokolle, einschließlich verschiedener kabelgebundener oder kabelloser Protokolle wie beispielsweise Ethernet, USB (Universal Serial Bus), FIREWIRE, GSM (Global System for Mobile Communications), EDGE (Enhanced Data GSM Environment), CDMA (Code Division Multiple Access), TDMA (Time Division Multiple Access), Bluetooth, Wi-Fi, VoIP (Voice over Internet Protocol), Wi-MAX oder aller anderen geeigneten Kommunikationsprotokolle, umgesetzt werden.
Serversystem 108 kann auf einer oder mehreren eigenständigen Datenverarbeitungsvorrichtungen oder einem verteilten Netzwerk von Computern implementiert werden. In einigen Beispielen kann das Serversystem 108 auch verschiedene virtuelle Vorrichtungen und/oder Dienste von Dritt-Service-Providern (z. B. Dritt-Cloud-Service-Providern) einsetzen, um die zugrunde liegenden Rechenressourcen und/oder Infrastrukturressourcen des Serversystems 108 bereitzustellen.
In einigen Beispielen kann Benutzervorrichtung 104 mit DA-Server 106 über eine zweite Benutzervorrichtung 122 kommunizieren. Die zweite Benutzervorrichtung 122 kann Benutzervorrichtung 104 ähnlich oder identisch mit dieser sein. Zum Beispiel kann die zweite Benutzervorrichtung 122 ähnlich wie eine der Vorrichtungen 200, 400 oder 600 sein, die nachfolgend Bezug nehmend auf 2A, 4 bzw. 6A–B beschrieben sind. Die Benutzervorrichtung 104 kann dazu konfiguriert sein, kommunikativ über eine direkte Kommunikationsverbindung wie Bluetooth, NFC, BTLE oder dergleichen oder über ein drahtgebundenes oder drahtloses Netzwerk wie ein lokales WLAN-Netzwerk an die zweite Benutzervorrichtung 122 zu koppeln. In einigen Beispielen kann die zweite Benutzervorrichtung 122 so konfiguriert werden, dass sie als Proxy zwischen Benutzervorrichtung 104 und DA-Server 106 fungiert. DA-Client 102 der Benutzervorrichtung 104 kann beispielsweise so konfiguriert werden, dass er Informationen (z. B. eine Benutzeranfrage, die von Benutzervorrichtung 104 empfangen wurde) an DA-Server 106 über eine zweite Benutzervorrichtung 122 überträgt. DA-Server 106 kann Informationen verarbeiten und relevante Daten (z. B. Daten Inhalt als Reaktion auf die Benutzeranfrage) über eine zweite Benutzervorrichtung 122 an Benutzervorrichtung 104 zurückgeben.
In einigen Beispielen kann Benutzervorrichtung 104 so konfiguriert werden, dass sie abgekürzte Anfragen nach Daten an die zweite Benutzervorrichtung 122 kommuniziert, um die Menge an übertragenen Daten von Benutzervorrichtung 104 zu reduzieren. Die zweite Benutzervorrichtung 122 kann so konfiguriert werden, dass sie ergänzende Informationen feststellt, um sie der abgekürzten Anfrage hinzuzufügen und eine vollständige Anfrage zur Übertragung an DA-Server 106 zu erzeugen. Diese Systemarchitektur kann für den Vorteil sorgen, dass die Benutzervorrichtung 104 bei begrenzten Kommunikationsfunktionen und/oder eingeschränkter Batterieleistung (z. B. eine Uhr oder ein ähnliches kompaktes elektronisches Gerät) auf Services zugreifen kann, die vom DA-Server 106 mithilfe der zweiten Benutzervorrichtung 122 bereitgestellt werden, die größere Kommunikationsfunktionen und/oder Batterieleistung besitzt (z. B. ein Mobiltelefon, ein Laptop-Computer, ein Tablet-Computer oder ähnliches), als Proxy für DA-Server 106. Auch wenn in 1 nur zwei Benutzervorrichtungen 104 und 122 gezeigt werden, sollte angenommen werden, dass System 100 jede Anzahl und jeden Typ Benutzervorrichtung beinhalten kann, die in dieser Proxy-Konfiguration zur Kommunikation mit dem DA-Serversystem 106 konfiguriert werden.
Obwohl der in 1 dargestellte digitale Assistent sowohl einen clientseitigen Abschnitt (z. B. DA-Client 102) als auch einen serverseitigen Abschnitt (z. B. DA-Server 106) aufweisen kann, können in einigen Ausführungsformen die Funktionen eines digitalen Assistenten als eigenständige Anwendung, die auf einer Benutzervorrichtung installiert ist, implementiert werden. Zusätzlich können die Aufteilungen von Funktionalitäten zwischen den Client- und Serverabschnitten des digitalen Assistenten in verschiedenen Implementierungen variieren. Zum Beispiel kann der DA-Client in manchen Beispielen ein Thin-Client sein, der nur benutzergerichtete Eingabe- und Ausgabeverarbeitungsfunktionen bereitstellt und alle anderen Funktionalitäten des digitalen Assistenten an einen Backend-Server delegiert.
2. Elektronische Vorrichtungen
Die Aufmerksamkeit richtet sich nun auf Ausführungsformen für elektronische Vorrichtungen zur Implementierung des clientseitigen Bereichs eines digitalen Assistenten. 2A ist ein Blockdiagramm, das eine tragbare Multifunktionsvorrichtung 200 mit einem berührungsempfindlichen Anzeigesystem 212 gemäß einigen Ausführungsformen veranschaulicht. Die berührungsempfindliche Anzeige 212 wird der Zweckmäßigkeit wegen manchmal ein „Touchscreen” genannt und ist manchmal als „berührungsempfindliches Anzeigesystem” bekannt oder wird so genannt. Die Vorrichtung 200 schließt einen Speicher 202 (der wahlweise ein oder mehrere computerlesbare Speichermedien einschließt), eine Speichersteuervorrichtung 222, eine oder mehrere Verarbeitungseinheiten (CPUs) 220, eine Peripherieeinheitenschnittstelle 218, eine HF-Schaltung 208, eine Audioschaltung 210, einen Lautsprecher 211, ein Mikrofon 213, ein Eingabe/Ausgabe- bzw. E/A-Subsystem 206, weitere Eingabesteuervorrichtungen 216 und einen externen Anschluss 224 ein. Die Vorrichtung 200 schließt wahlweise einen oder mehrere optische Sensoren 264 ein. Die Vorrichtung 200 schließt wahlweise einen oder mehrere Kontaktintensitätssensoren 265 zum Erfassen einer Intensität von Kontakten auf der Vorrichtung 200 (z. B. einer berührungsempfindlichen Oberfläche wie beispielsweise dem berührungsempfindlichen Anzeigesystem 212 der Vorrichtung 200) ein. Die Vorrichtung 200 schließt wahlweise einen oder mehrere Tastausgabeerzeuger 267 zum Erzeugen von Tastausgaben auf der Vorrichtung 200 (z. B. Erzeugen von Tastausgaben auf einer berührungsempfindlichen Oberfläche wie etwa dem berührungsempfindlichen Anzeigesystem 212 der Vorrichtung 200 oder dem Touchpad 455 der Vorrichtung 400) ein. Diese Komponenten kommunizieren wahlweise über einen oder mehrere Kommunikationsbusse oder Signalleitungen 203.
Wie in der Patentschrift und den Ansprüchen verwendet, bezieht sich der Begriff „Intensität” eines Kontakts auf einer berührungsempfindlichen Oberfläche auf die Kraft oder den Druck (Kraft pro Flächeneinheit) eines Kontakts (z. B. eines Fingerkontakts) auf der berührungsempfindlichen Oberfläche oder auf einen Ersatz (Stellvertreter) für die Kraft oder den Druck eines Kontakts auf der berührungsempfindlichen Oberfläche. Die Intensität eines Kontakts weist einen Bereich von Werten auf, der mindestens vier bestimmte Werte und noch typischer Hunderte von bestimmten Werten (z. B. mindestens 256) umfasst. Die Intensität eines Kontakts wird wahlweise unter Verwendung verschiedener Ansätze und verschiedener Sensoren oder Kombinationen von Sensoren festgestellt (oder gemessen). Beispielsweise werden ein oder mehrere Kraftsensoren unterhalb oder neben der berührungsempfindlichen Oberfläche wahlweise verwendet, um die Kraft an verschiedenen Punkten auf der berührungsempfindlichen Oberfläche zu messen. In einigen Implementierungen werden Kraftmessungen von mehreren Kraftsensoren kombiniert (z. B. ein gewichteter Durchschnitt), um eine geschätzte Kraft eines Kontakts festzustellen. Auf ähnliche Weise wird die druckempfindliche Spitze eines Eingabestifts wahlweise dazu verwendet, um einen Druck des Eingabestifts auf der berührungsempfindlichen Oberfläche festzustellen. Alternativ dazu werden die Größe des auf der berührungsempfindlichen Oberfläche erfassten Kontaktbereichs und/oder Veränderungen daran, die Kapazität der berührungsempfindlichen Oberfläche in der Nähe des Kontakts und/oder Veränderungen daran und/oder der Widerstand der berührungsempfindlichen Oberfläche in der Nähe des Kontakts und/oder Veränderungen daran wahlweise als Ersatz für die Kraft oder den Druck des Kontakts auf der berührungsempfindlichen Oberfläche verwendet. In einigen Implementierungen werden die Ersatzmessungen für Kontaktkraft oder Kontaktdruck direkt dazu verwendet, um festzustellen, ob ein Intensitätsschwellenwert überschritten wurde (z. B. wird der Intensitätsschwellenwert in Einheiten beschrieben, die den Ersatzmessungen entsprechen). In manchen Implementierungen werden die Ersatzmessungen für eine Kontaktkraft oder einen Kontaktdruck in eine geschätzte Kraft oder einen geschätzten Druck umgewandelt, und die geschätzte Kraft oder der geschätzte Druck wird verwendet, um zu festzustellen, ob ein Intensitätsschwellenwert überschritten wurde (z. B. handelt es sich bei dem Intensitätsschwellenwert um einen in Einheiten des Drucks gemessenen Druckschwellenwert). Ein Verwenden der Intensität eines Kontakts als eine Eigenschaft einer Benutzereingabe erlaubt einen Benutzerzugriff auf eine zusätzliche Vorrichtungsfunktionalität, die andernfalls durch den Benutzer auf einer Vorrichtung verringerter Größe mit begrenzter Grundfläche für ein Anzeigen von Affordanzen (z. B. auf einer berührungsempfindlichen Anzeige) und/oder ein Empfangen von Benutzereingaben (z. B. über eine berührungsempfindliche Anzeige, eine berührungsempfindliche Oberfläche oder eine physischer/mechanische Steuerung, wie beispielsweise einen Knopf oder eine Schaltfläche oder Taste) nicht zugänglich ist.
Wie in der Beschreibung und in den Ansprüchen verwendet, bezieht sich der Begriff „taktile Ausgabe” auf eine physische Verschiebung einer Vorrichtung in Bezug auf eine vorherige Position der Vorrichtung, auf eine physische Verschiebung einer Komponente (z. B. einer berührungsempfindlichen Oberfläche) einer Vorrichtung in Bezug auf eine andere Komponente (z. B. das Gehäuse) der Vorrichtung oder auf das Verschieben der Komponente in Bezug auf einen Masseschwerpunkt der Vorrichtung, der von einem Benutzer anhand seines Tastsinns erfasst wird. Beispielsweise wird in Situationen, in denen die Vorrichtung oder die Komponente der Vorrichtung mit einer Oberfläche eines Benutzers in Kontakt kommt, die berührungsempfindlich ist (z. B. einem Finger, einer Handfläche oder einem anderen Abschnitt der Hand eines Benutzers), die durch die physische Verschiebung erzeugte, taktile Ausgabe vom Benutzer als taktile Empfindung interpretiert, die einer wahrgenommenen Veränderung physikalischer Eigenschaften der Vorrichtung oder der Komponente der Vorrichtung entspricht. Beispielsweise wird die Bewegung einer berührungsempfindlichen Oberfläche (z. B. eines berührungsempfindlichen Bildschirms oder Trackpads) vom Benutzer wahlweise als ein „Abwärtsklick” oder ein „Aufwärtsklick” einer physischen Betätigungsschaltfläche interpretiert. In einigen Fällen spürt ein Benutzer eine taktile Empfindung wie einen „Abwärtsklick” oder einen „Aufwärtsklick”, selbst wenn keine Bewegung einer physischen Betätigungsschaltfläche mit der berührungsempfindlichen Oberfläche assoziiert ist, die durch die Bewegungen des Benutzers physisch niedergedrückt (z. B. verschoben) wird. Als weiteres Beispiel wird die Bewegung der berührungsempfindlichen Oberfläche vom Benutzer wahlweise als „Rauigkeit” der berührungsempfindlichen Oberfläche interpretiert oder empfunden, selbst wenn sich die Glätte der berührungsempfindlichen Oberfläche nicht verändert. Wenngleich solche Interpretationen der Berührung seitens eines Benutzers jeweils von den Sinneswahrnehmungen der einzelnen Benutzer abhängen, gibt es viele Sinneswahrnehmungen bei der Berührung, die eine große Mehrheit der Benutzer gemeinsam haben. Wenn eine taktile Ausgabe als einer bestimmten Sinneswahrnehmung eines Benutzers entsprechend beschrieben wird (z. B. ein „Aufwärtsklick”, ein „Abwärtsklick”, „Rauigkeit”), entspricht, sofern nichts anderes erwähnt wird, die erzeugte taktile Ausgabe folglich der physischen Verschiebung der Vorrichtung oder einer Komponente davon, die die beschriebene Sinneswahrnehmung für einen typischen (oder durchschnittlichen) Benutzer erzeugt.
Es sollte sich verstehen, dass die Vorrichtung 200 nur ein Beispiel einer tragbaren Multifunktionsvorrichtung ist und dass die Vorrichtung 200 wahlweise mehr oder weniger Komponenten als gezeigt aufweist, wahlweise zwei oder mehr Komponenten kombiniert oder wahlweise eine andere Konfiguration oder Anordnung der Komponenten aufweist. Die verschiedenen, in 2A gezeigten Komponenten sind in Hardware, Software oder einer Kombination aus sowohl Hardware als auch Software implementiert, einschließlich einer oder mehrerer Signalverarbeitungsschaltungen und/oder anwendungsspezifischer integrierter Schaltungen (Application Specific Integrated Circuits).
Der Speicher 202 kann ein oder mehrere computerlesbare Speichermedien enthalten. Die computerlesbaren Datenspeichermedien können materiell und nichtflüchtig sein. Der Speicher 202 kann Hochgeschwindigkeitsdirektzugriffsspeicher und auch einen nicht flüchtigen Speicher, wie etwa eine oder mehrere Magnetdiskettenspeichervorrichtungen, Flash-Speicher-Vorrichtungen oder andere nicht flüchtige Halbleiterlaufwerkspeichervorrichtungen beinhalten. Die Speichersteuervorrichtung 222 kann den Zugriff auf den Speicher 202 durch andere Komponenten der Vorrichtung 200 steuern.
In einigen Beispielen kann ein nicht flüchtiges computerlesbares Speichermedium 202 verwendet werden, um Anweisungen (z. B. zum Durchführen von Aspekten des Verfahrens 900, wie unten beschrieben) zur Verwendung durch ein oder in Verbindung mit einem Anweisungsausführungssystem, durch einen oder in Verbindung mit einem Apparat oder durch eine oder in Verbindung mit einer Vorrichtung wie einem computerbasierten System, einem prozessorbasierten System oder einem anderen System, das die Anweisungen des Anweisungsausführungssystems, des Apparats oder der Vorrichtung abrufen und die Anweisungen ausführen kann, zu speichern. In anderen Beispielen können die Anweisungen (z. B. zum Durchführen von Aspekten des Verfahrens 900, wie unten beschrieben) auf einem nicht flüchtigen computerlesbaren Speichermedium (nicht gezeigt) des Serversystems 108 gespeichert werden oder können zwischen dem nicht flüchtigen computerlesbaren Speichermedium von Speicher 202 und dem nicht flüchtigen computerlesbaren Speichermedium des Serversystems 108 aufgeteilt werden. Im Kontext dieses Dokuments kann ein „nichttransitorisches computerlesbares Speichermedium” jedes Medium sein, das Programme zur Verwendung durch oder in Verbindung mit dem Anweisungs-Ausführungssystem, dem Apparat oder der Vorrichtung enthalten oder speichern kann.
Die Peripherieeinheitenschnittstelle 218 kann dazu verwendet werden, um Eingabe- und Ausgabeperipherieeinheiten der Vorrichtung an die CPU 220 und den Speicher 202 zu koppeln. Der eine oder die mehreren Prozessoren 220 führen verschiedene, im Speicher 202 gespeicherte Softwareprogramme und/oder Anweisungssätze aus, um verschiedene Funktionen für die Vorrichtung 200 durchzuführen und Daten zu verarbeiten. In einigen Ausführungsformen können die Peripherieeinheitenschnittstelle 218, die CPU 220 und die Speichersteuervorrichtung 222 auf einem einzigen Chip, wie etwa Chip 204, implementiert sein. In einigen anderen Ausführungsformen können sie auf separaten Chips implementiert sein.
Die HF-Schaltung (Hochfrequenzschaltung) 208 empfängt und sendet HF-Signale, die auch als elektromagnetische Signale bezeichnet werden. Die HF-Schaltung 208 wandelt elektrische Signale in elektromagnetische Signale bzw. elektromagnetische Signale in elektrische Signale um und kommuniziert mittels der elektromagnetischen Signale mit Kommunikationsnetzwerken und anderen Kommunikationsvorrichtungen. Die HF-Schaltung 208 schließt wahlweise bekannte Schaltungen zum Ausführen dieser Funktionen, einschließlich unter anderem eines Antennensystems, eines HF-Sender-Empfängers, eines oder mehrerer Verstärker, eines Tuners, eines oder mehrerer Oszillatoren, eines Digitalsignalprozessors, eines Codec-Chipsatzes, einer Teilnehmeridentitätsmodulkarte (Subscriber Identity Module Card, SIM-Karte), Speicher und so weiter, ein. Die HF-Schaltung 208 kommuniziert mittels drahtloser Kommunikation wahlweise mit Netzwerken wie etwa dem Internet, das auch als World Wide Web (WWW) bezeichnet wird, einem Intranet und/oder einem drahtlosen Netzwerk wie etwa einem Mobilfunknetz, einem drahtlosen lokalen Netzwerk (LAN) und/oder einem innerstädtischen Netzwerk (MAN) und anderen Vorrichtungen. Die HF-Schaltung 208 schließt wahlweise eine allgemein bekannte Schaltung zum Erfassen von Nahfeldkommunikationsfeldern (Near Field Communication (NFC-Feldern)) ein, wie beispielsweise durch einen Kommunikationsfunk mit kurzer Reichweite. Die drahtlose Kommunikation verwendet wahlweise jegliche von mehreren Kommunikationsstandards, Kommunikationsprotokollen und -technologien, insbesondere von Global System for Mobile Communications (GSM), Enhanced Data GSM Environment (EDGE), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA), Evolution Data-Only (EV-DO), HSPA, HSPA+, Dual-Cell HSPA (DC-HSPDA), Long Term Evolution (LTE), Nahfeldkommunikation (Near Field Communication, NFC), Wideband Code Division Multiple Access (W-CDMA), Code Division Multiple Access (CDMA), Time Division Multiple Access (TDMA), Bluetooth, Bluetooth Low Energy (BTLE), Wireless Fidelity (Wi-Fi) (z. B. IEEE 802.11a, IEEE 802.11b, IEEE 802.11g, IEEE 802.11n und/oder IEEE 802.11ac), Voice over Internet Protocol (VoIP), Wi-MAX, einem Protokoll für E-Mails (z. B. Internet Message Access Protocol (IMAP) und/oder Post Office Protocol (POP)), Instant Messaging (z. B. Extensible Messaging and Presence Protocol (XMPP), Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions (SIMPLE), Instant Messaging and Presence Service (IMPS) und/oder Short Message Service (SMS), oder jegliches andere, geeignete Kommunikationsprotokoll, einschließlich von zum Zeitpunkt der Einreichung dieses Dokuments noch nicht entwickelten Kommunikationsprotokollen.
Die Audioschaltung 210, der Lautsprecher 211 und das Mikrofon 213 stellen eine Audioschnittstelle zwischen einem Benutzer und einer Vorrichtung 200 bereit. Die Audioschaltung 210 empfängt Audiodaten von der Peripherieeinheitenschnittstelle 218, wandelt die Audiodaten in ein elektrisches Signal um und überträgt das elektrische Signal an den Lautsprecher 211. Der Lautsprecher 211 wandelt das elektrische Signal in vom Menschen hörbare Schallwellen um. Die Audioschaltung 210 empfängt auch vom Mikrofon 213 aus Schallwellen umgewandelte elektrische Signale. Die Audioschaltung 210 wandelt das elektrische Signal in Audiodaten um und überträgt die Audiodaten zur Verarbeitung an die Peripherieeinheitenschnittstelle 218. Audiodaten können über die Peripherieeinheitenschnittstelle 218 von dem Speicher 202 und/oder der HF-Schaltung 208 abgerufen und/oder zu diesen übertragen werden. In einigen Ausführungsformen schließt die Audioschaltung 210 auch einen Kopfhöreranschluss ein (z. B. 312, 3). Der Kopfhöreranschluss stellt eine Schnittstelle zwischen der Audioschaltung 210 und entfernbaren Peripherieeinheiten zur Audioeingabe/-ausgabe wie Nur-Ausgabe-Kopfhörern oder einem Kopfhörer sowohl mit Ausgabe (z. B. einem Kopfhörer für ein oder beide Ohren) als auch mit Eingabe (z. B. einem Mikrofon) bereit.
Das E/A-Subsystem 206 koppelt Eingabe-/Ausgabeperipherieeinheiten an der Vorrichtung 200 wie den Touchscreen 212 und andere Eingabesteuervorrichtungen 216 an die Peripherieeinheitenschnittstelle 218. Das E/A-Subsystem 206 schließt wahlweise eine Anzeigesteuerung 256, eine Steuerung für optische Sensoren 258, eine Intensitätssensorsteuerung 259, eine Steuerung für haptische Rückmeldung 261 und eine oder mehrere Eingabesteuerungen 260 für andere Eingabe- oder Steuervorrichtungen ein. Die eine oder die mehreren Eingabesteuerungen 260 empfangen/senden elektrische Signale von/an andere(n) Eingabesteuervorrichtungen 216. Die anderen Eingabesteuervorrichtungen 216 schließen wahlweise physische Schaltflächen (z. B. Drucktasten, Wipptaster usw.), Wählscheiben, Schiebeschalter, Joysticks, Click Wheels und so weiter ein. In einigen alternativen Ausführungsformen sind die eine oder mehreren Eingabesteuerungen 260 wahlweise mit beliebigem (oder keinem) von Folgendem gekoppelt: einer Tastatur, einem Infrarotanschluss, einem USB-Anschluss und einer Zeigevorrichtung wie beispielsweise einer Maus. Die eine oder mehreren Schaltflächen oder Tasten (z. B. 308, 3) schließen wahlweise eine Aufwärts-/Abwärtstaste für eine Lautstärkesteuerung des Lautsprechers 211 und/oder des Mikrofons 213 ein. Die eine oder mehreren Schaltflächen oder Tasten schließen wahlweise eine Drucktaste ein (z. B. 306, 3).
Ein schnelles Drücken der Drucktaste kann eine Sperre des Touchscreens 212 aufheben oder einen Prozess beginnen, bei dem Gesten auf dem Touchscreen zum Entsperren der Vorrichtung verwendet werden, welcher in der am 23. Dezember 2005 eingereichten US-Patentanmeldung Nr. 11/322,549, „Unlocking a Device by Performing Gestures on an Unlock Image”, US-Pat. Nr. 7,657,849 beschrieben ist, die hier durch Bezugnahme in ihrer Gesamtheit aufgenommen wird. Ein längeres Drücken der Drucktaste (z. B. 306) kann den Strom für die Vorrichtung 200 ein- oder ausschalten. Der Benutzer kann in der Lage sein, eine Funktionalität einer oder mehrerer der Schaltflächen individuell anzupassen. Der Touchscreen 212 wird verwendet, um virtuelle Tasten oder Softtasten oder Softschaltflächen und ein oder mehrere Bildschirmtastaturen zu implementieren.
Der berührungsempfindliche Bildschirm 212 stellt eine Eingabeschnittstelle und eine Ausgabeschnittstelle zwischen der Vorrichtung und einem Benutzer bereit. Die Anzeigesteuerung 256 empfängt und/oder sendet elektrische Signale von dem/an den Touchscreen 212. Der Touchscreen 212 zeigt dem Benutzer eine visuelle Ausgabe an. Die visuelle Ausgabe kann Grafiken, Text, Symbole, Video und eine beliebige Kombination davon (zusammenfassend als „Grafiken” bezeichnet) beinhalten. In manchen Ausführungsformen können einige oder alle der visuellen Ausgaben den Benutzerschnittstellenobjekten entsprechen.
Der Touchscreen 212 besitzt eine berührungsempfindliche Oberfläche, einen Sensor oder einen Satz von Sensoren, der oder die Eingaben vom Benutzer auf Grundlage von haptischem und/oder taktilem Kontakt annimmt bzw. annehmen. Der Touchscreen 212 und die Anzeigesteuerung 256 (zusammen mit beliebigen zugeordneten Modulen und/oder Sätzen von Anweisungen im Speicher 202) erfassen einen Kontakt (und eine Bewegung oder ein Abbrechen des Kontakts) auf dem Touchscreen 212 und wandeln den erfassten Kontakt in eine Interaktion mit Benutzerschnittstellenobjekten um (z. B. eine oder mehrere Softkeys, Symbole, Webseiten oder Bilder), die auf dem Touchscreen 212 angezeigt werden. In einer beispielhaften Ausführungsform entspricht ein Kontaktpunkt zwischen dem Touchscreen 212 und dem Benutzer einem Finger des Benutzers.
Der Touchscreen 212 kann LCD-Technologie (Flüssigkristallanzeigetechnologie), LPD-Technologie (Leuchtpolymervorrichtungstechnologie) oder LED-Technologie (anorganische Leuchtdiodentechnologie) verwenden, wenngleich in anderen Ausführungsformen andere Anzeigetechnologien verwendet werden können. Der Touchscreen 212 und die Anzeigesteuerung 256 können einen Kontakt und jegliche Bewegung oder ein Abbrechen des Kontakts unter Verwendung mehrerer bereits bekannter oder noch zu entwickelnder Berührungssensortechnologien erfassen, einschließlich aber nicht beschränkt auf kapazitive, resistive, Infrarot- und Oberflächenakustikwellentechnologien sowie andere Näherungssensoranordnungen oder anderer Elemente zum Feststellen eines oder mehrerer Kontaktpunkte auf dem Touchscreen 212. In einer beispielhaften Ausführungsform wird eine Technologie eines gegenseitigen, projiziert-kapazitiven Erfassens verwendet, wie beispielsweise die, die im iPhone^® und iPod Touch^® von Apple Inc. aus Cupertino, Kalifornien, zu finden ist.
Eine berührungsempfindliche Anzeige in einigen Ausführungsformen des Touchscreens 212 kann analog zu den in den folgenden US-Patenten beschriebenen mehrfachberührungsempfindlichen Touchpads sein: 6,323,846 (Westerman et al.), 6,570,557 (Westerman et al.) und/oder 6,677,932 (Westerman) und/oder US-Patentveröffentlichung 2002/0015024A1 , von denen jedes hiermit durch Bezugnahme in seiner Gesamtheit aufgenommen wird. Der Touchscreen 212 zeigt jedoch eine visuelle Ausgabe von der Vorrichtung 200 an, wohingegen berührungsempfindliche Touchpads keine visuelle Ausgabe bereitstellen.
Eine berührungsempfindliche Anzeige in einigen Ausführungsformen des Touchscreens 212 kann wie in den folgenden Anmeldungen beschrieben sein: (1) US-Patentanmeldung Nr. 11/381,313, „Multipoint Touch Surface Controller”, eingereicht am 2. Mai 2006; (2) US-Patentanmeldung Nr. 10/840,862, „Multipoint Touchscreen”, eingereicht am 6. Mai 2004; (3) US-Patentanmeldung Nr. 10/903,964, „Gestures For Touch Sensitive Input Devices”, eingereicht am 30. Juli 2004; (4) US-Patentanmeldung Nr. 11/048,264, „Gestures For Touch Sensitive Input Devices”, eingereicht am 31. Januar 2005; (5) US-Patentanmeldung Nr. 11/038,590, „Mode-Based Graphical User Interfaces For Touch Sensitive Input Devices”, eingereicht am 18. Januar 2005; (6) US-Patentanmeldung Nr. 11/228,758, „Virtual Input Device Placement On A Touch Screen User Interface”, eingereicht am 16. September 2005; (7) US-Patentanmeldung Nr. 11/228,700, „Operation Of A Computer With A Touch Screen Interface”, eingereicht am 16. September 2005; (8) US-Patentanmeldung Nr. 11/228,737, „Activating Virtual Keys Of A Touch-Screen Virtual Keyboard”, eingereicht am 16. September 2005; und (9) US-Patentanmeldung Nr. 11/367,749, „Multi-Functional Hand-Held Device”, eingereicht am 3. März 2006. Alle diese Anmeldungen werden durch Bezugnahme hierin in ihrer Gesamtheit aufgenommen.
Der Touchscreen 212 kann eine Videoauflösung von mehr als 100 dpi aufweisen. In manchen Ausführungsformen weist der Touchscreen eine Videoauflösung von ungefähr 160 dpi auf. Der Benutzer kann Kontakt mit dem Touchscreen 212 herstellen, indem er ein beliebiges geeignetes Objekt oder Körperteil, wie etwa einen Eingabestift, einen Finger und dergleichen verwendet. In manchen Ausführungsformen ist die Benutzerschnittstelle dazu ausgelegt, hauptsächlich mit auf Fingern basierenden Kontakten und Handbewegungen zu arbeiten, die aufgrund der größeren Kontaktfläche eines Fingers auf dem Touchscreen weniger akkurat als eine Eingabe mit dem Eingabestift sein können. In einigen Ausführungsformen übersetzt die Vorrichtung die grobe auf Fingern basierende Eingabe in eine präzise Position des Mauszeigers/Cursors oder in einen Befehl zum Ausführen der vom Benutzer gewünschten Aktionen.
In einigen Ausführungsformen kann die Vorrichtung 200 zusätzlich zum Touchscreen ein (nicht gezeigtes) Touchpad zum Aktivieren oder Deaktivieren bestimmter Funktionen aufweisen. In einigen Ausführungsformen handelt es sich bei dem Touchpad um einen berührungsempfindlichen Bereich der Vorrichtung, der im Gegensatz zum berührungsempfindlichen Bildschirm keine visuellen Ausgaben anzeigt. Das Touchpad kann eine berührungsempfindliche Oberfläche, die vom Touchscreen 212 separat ist, oder eine Verlängerung der vom Touchscreen gebildeten berührungsempfindlichen Oberfläche sein.
Die Vorrichtung 200 schließt auch das Stromversorgungssystem 262 ein, um die verschiedenen Komponenten mit Strom zu versorgen. Das Stromversorgungssystem 262 kann ein Stromverwaltungssystem, eine oder mehrere Stromquellen (z. B. Akku, Wechselstrom (AC)), ein Aufladesystem, eine Stromausfallerfassungsschaltung, einen Stromrichter oder Wechselrichter, eine Energiestatusanzeige (z. B. eine Leuchtdiode (LED)) und beliebige andere Komponenten, die mit der Stromerzeugung, Stromverwaltung und Stromverteilung in tragbaren Vorrichtungen im Zusammenhang stehen, beinhalten.
Die Vorrichtung 200 kann außerdem einen oder mehrere optische Sensoren 264 umfassen. 2A zeigt einen optischen Sensor, der an die Steuerung für optische Sensoren 258 im E/A-Subsystem 206 gekoppelt ist. Der optische Sensor 264 kann Fototransistoren mit ladungsgekoppelten Bauteilen (Charge Coupled Device – CCD) oder mit komplementären Metalloxid-Halbleitern (Complementary Metal Oxide Semiconductor – CMOS) aufweisen. Der optische Sensor 264 empfängt Licht aus der Umgebung, das durch eine oder mehrere Linsen projiziert wird, und wandelt das Licht in ein Bild darstellende Daten um. Zusammen mit dem Bildgebungsmodul 243 (das auch als Kameramodul bezeichnet wird) kann der optische Sensor 264 Standbilder oder Videobilder aufnehmen. In einigen Ausführungsformen befindet sich ein optischer Sensor auf der Rückseite der Vorrichtung 200 gegenüber der Touchscreen-Anzeige 212 auf der Vorderseite der Vorrichtung, sodass die Touchscreen-Anzeige als Bildsucher für die Standbild- und/oder Videobildaufnahme verwendet werden kann. In manchen Ausführungsformen befindet sich ein optischer Sensor auf der Vorderseite der Vorrichtung, sodass das Bild des Benutzers für Videokonferenzen erhalten werden kann, während der Benutzer die anderen Teilnehmer der Videokonferenz auf dem Bildschirm des Touchscreens sieht. In einigen Ausführungsformen kann die Position des optischen Sensors 264 durch den Benutzer geändert werden (z. B. durch Drehen der Linse und des Sensors im Gehäuse der Vorrichtung), sodass ein einziger optischer Sensor 264 zusammen mit der Touchscreen-Anzeige sowohl für Videokonferenzen als auch für eine Stand- und/oder Videobildaufnahme verwendet werden kann.
Die Vorrichtung 200 schließt wahlweise auch einen oder mehrere Kontaktintensitätssensoren 265 ein. 2A zeigt einen Kontaktintensitätssensor, der mit der Intensitätssensorsteuervorrichtung 259 im E/A-Subsystem 206 gekoppelt ist. Der Kontaktintensitätssensor 265 umfasst wahlweise einen oder mehrere piezoresistive Dehnungsmesser, kapazitive Kraftsensoren, elektrische Kraftsensoren, piezoelektrische Kraftsensoren, optische Kraftsensoren, kapazitive berührungsempfindliche Oberflächen oder andere Intensitätssensoren (z. B. Sensoren, die zum Messen der Kraft (oder des Drucks) eines Kontakts auf einer berührungsempfindlichen Oberfläche verwendet werden). Der Kontaktintensitätssensor 265 empfängt Kontaktintensitätsinformationen (z. B. Druckinformationen oder einen Stellvertreter für Druckinformationen) aus der Umgebung. In einigen Ausführungsformen ist mindestens ein Kontaktintensitätssensor zusammen mit oder neben einer berührungsempfindlichen Oberfläche (z. B. dem berührungsempfindlichen Anzeigesystem 212) angeordnet. In einigen Ausführungsformen befindet sich mindestens ein Kontaktintensitätssensor auf der Rückseite der Vorrichtung 200 gegenüber der Touchscreen-Anzeige 212, die sich auf der Vorderseite der Vorrichtung 200 befindet.
Die Vorrichtung 200 kann auch einen oder mehrere Näherungssensoren 266 beinhalten. 2A zeigt einen Näherungssensor 266, der an die Peripherieeinheitenschnittstelle 218 gekoppelt ist. Alternativ dazu kann der Näherungssensor 266 an die Eingabesteuerung 260 im E/A-Subsystem 206 gekoppelt sein. Der Näherungssensor 266 kann wie in den folgenden US-Patentanmeldungen beschrieben arbeiten: Nr. 11/241,839, „Proximity Detector In Handheld Device”; 11/240,788, „Proximity Detector In Handheld Device”; 11/620,702, „Using Ambient Light Sensor To Augment Proximity Sensor Output”; 11/586,862, „Automated Response To And Sensing Of User Activity In Portable Devices”; und 11/638,251, „Methods And Systems For Automatic Configuration Of Peripherals”, welche hiermit durch Bezugnahme in ihrer Gesamtheit aufgenommen werden. In einigen Ausführungsformen schaltet der Näherungssensor den Touchscreen 212 aus und deaktiviert ihn, wenn die Multifunktionsvorrichtung in der Nähe des Ohrs des Benutzers platziert wird (z. B., wenn der Benutzer ein Telefongespräch führt).
Die Vorrichtung 200 schließt wahlweise auch einen oder mehrere Tastausgabeerzeuger 267 ein. 2A zeigt einen Tastausgabeerzeuger, der mit der Steuervorrichtung für haptische Rückmeldung 261 im E/A-Subsystem 206 gekoppelt ist. Der Tastausgabeerzeuger 267 schließt wahlweise eine oder mehrere elektroakustische Vorrichtungen, wie etwa Lautsprecher oder andere Audiokomponenten und/oder elektromechanische Vorrichtungen ein, die Energie in lineare Bewegung umwandeln, wie etwa einen Motor, einen Elektromagneten, ein elektroaktives Polymer, einen piezoelektrischen Aktuator, einen elektrostatischen Aktuator oder eine andere Tastausgabe erzeugende Komponente (z. B. eine Komponente, die elektrische Signale auf der Vorrichtung in Tastausgaben umwandelt). Der Kontaktintensitätssensor 265 empfängt vom haptischen Feedbackmodul 233 Anweisungen zum Erzeugen von Tastfeedback und erzeugt Tastausgaben auf der Vorrichtung 200, die von einem Benutzer der Vorrichtung 200 wahrgenommen werden können. In einigen Ausführungsformen ist mindestens ein Tastausgabeerzeuger zusammen mit oder neben einer berührungsempfindlichen Oberfläche (z. B. dem berührungsempfindlichen Anzeigesystem 212) angeordnet und erzeugt wahlweise eine Tastausgabe, indem die berührungsempfindliche Oberfläche senkrecht (z. B. in eine Oberfläche der Vorrichtung 200 hinein oder aus ihr heraus) oder seitwärts (z. B. vorwärts und rückwärts in der gleichen Ebene wie eine Oberfläche der Vorrichtung 200) bewegt wird. In einigen Ausführungsformen befindet sich mindestens ein Tastausgabeerzeugersensor auf der Rückseite der Vorrichtung 200 gegenüber der Touchscreen-Anzeige 212, die sich auf der Vorderseite der Vorrichtung 200 befindet.
Die Vorrichtung 200 kann auch einen oder mehrere Beschleunigungsmesser 268 beinhalten. 2A zeigt einen Beschleunigungsmesser 268 an die Peripherieeinheitenschnittstelle 218 gekoppelt. Alternativ dazu kann der Beschleunigungsmesser 268 an eine Eingabesteuervorrichtung 260 im E/A-Subsystem 206 gekoppelt sein. Der Beschleunigungsmesser 268 kann wie beschrieben in der US-Patentveröffentlichung Nr. 20050190059 , „Acceleration-based Theft Detection System for Portable Electronic Devices”, und der US-Patentveröffentlichung Nr. 20060017692 , „Methods And Apparatuses For Operating A Portable Device Based On An Accelerometer”, arbeiten, welche beide durch Bezugnahme in ihrer Gesamtheit hierin aufgenommen werden. In einigen Ausführungsformen werden Informationen auf der Touchscreen-Anzeige im Hochformat oder im Querformat angezeigt, basierend auf einer Analyse von Daten, die von dem einen oder den mehreren Beschleunigungsmessern empfangen wurden. Die Vorrichtung 200 schließt zusätzlich zu dem/den Beschleunigungsmesser(n) 268 wahlweise ein (nicht gezeigtes) Magnetometer und einen (nicht gezeigten) GPS-Empfänger (entweder GLONASS oder ein anderes globales Navigationssystem) zum Erhalten von Informationen bezüglich der Position und der Ausrichtung (z. B. Hochformat oder Querformat) der Vorrichtung 200 ein.
In einigen Ausführungsformen umfassen die im Speicher 202 gespeicherten Softwarekomponenten das Betriebssystem 226, das Kommunikationsmodul (oder einen Anweisungssatz) 228, das Kontakt-/Bewegungsmodul (oder einen Anweisungssatz) 230, das Grafikmodul (oder einen Anweisungssatz) 232, das Texteingabemodul (oder einen Anweisungssatz) 234, das GPS-Modul (Globales Positionierungssystem-Modul) (oder einen Anweisungssatz) 235, ein Client-Modul für den digitalen Assistenten 229 und Anwendungen (oder einen Anweisungssatz) 236. Des Weiteren kann Speichern 202 Daten und Modelle wie Benutzerdaten und Modelle 231 speichern. Des Weiteren ist in einigen Ausführungsformen im Speicher 202 (2A) oder 470 (4) ein vorrichtungsbezogener/globaler interner Zustand 257 gespeichert, wie in 2A und 4 gezeigt. Der vorrichtungsbezogene/globale interne Zustand 257 umfasst eines oder mehreres von Folgendem: einen Anwendungsaktivitätsstatus, der anzeigt, welche Anwendungen gegebenenfalls gerade aktiv sind; einen Anzeigestatus, der anzeigt, welche Anwendungen, Ansichten oder anderen Informationen verschiedene Bereiche der Touchscreen-Anzeige 212 belegen; einen Sensorstatus mit Informationen, die von den verschiedenen Sensoren und Eingabesteuervorrichtungen 216 der Vorrichtung erhalten wurden; und Ortsinformationen, die den Standort und/oder die Einstellung der Vorrichtung betreffen.
Das Betriebssystem 226 (z. B. Darwin, RTXC, LINUX, UNIX, OS X, iOS, WINDOWS oder ein eingebettetes Betriebssystem wie beispielsweise VxWorks) schließt verschiedene Softwarekomponenten und/oder Treiber zum Steuern und Verwalten von allgemeinen Systemaufgaben (z. B. Speicherverwaltung, Datenspeichervorrichtungssteuerung, Energieverwaltung usw.) ein und ermöglicht eine Kommunikation zwischen verschiedenen Hardware- und Softwarekomponenten.
Das Kommunikationsmodul 228 unterstützt die Kommunikation mit anderen Vorrichtungen über einen oder mehrere externe Anschlüsse 224 und schließt auch verschiedene Softwarekomponenten zur Handhabung von Daten ein, die von der HF-Schaltung 208 und/oder von einem externen Anschluss 224 empfangen wurden. Der externe Anschluss 224 (z. B. Universal Serial Bus (USB), FIREWIRE usw.) ist dazu konfiguriert, direkt an andere Vorrichtungen oder indirekt über ein Netzwerk (z. B. das Internet, WLAN usw.) gekoppelt zu werden. In manchen Ausführungsformen handelt es sich bei dem externen Anschluss um einen Mehrfachpinsteckverbinder (z. B. 30 Pins), welcher derselbe wie der oder ähnlich dem oder kompatibel mit dem 30-Pin-Steckverbinder ist, der auf iPod^®-Vorrichtungen (iPod^® ist eine Marke von Apple Inc.) verwendet wird.
Das Kontakt-/Bewegungsmodul 230 erfasst wahlweise einen Kontakt mit dem Touchscreen 212 (in Verbindung mit der Anzeigesteuerung 256) und anderen berührungsempfindlichen Vorrichtungen (z. B. einem Touchpad oder einem physischen Click Wheel). Das Kontakt-/Bewegungsmodul 230 schließt verschiedene Softwarekomponenten zum Ausführen verschiedener Vorgänge ein, die mit dem Erfassen von Kontakt in Zusammenhang stehen, wie etwa Feststellen, ob es einen Kontakt gab (z. B. Erfassen eines stattfindenden Aufsetzens bzw. Andrückens eines Fingers), Feststellen einer Intensität des Kontakts (z. B. der Kraft oder des Drucks des Kontakts oder eines Ersatzes für die Kraft oder den Druck des Kontakts), Feststellen, ob eine Bewegung des Kontakts vorliegt, und Nachverfolgen der Bewegung über die berührungsempfindliche Oberfläche hinweg (z. B. Erfassen eines stattfindenden Ziehens des Fingers) und Feststellen, ob der Kontakt aufgehört hat (z. B. Erfassen eines stattfindenden Anhebens eines Fingers oder einer Unterbrechung des Kontakts). Das Kontakt-/Bewegungsmodul 230 empfängt Kontaktdaten von der berührungsempfindlichen Oberfläche. Das Feststellen von Bewegung des Kontaktpunkts, die von einer Reihe von Kontaktdaten dargestellt wird, schließt wahlweise das Feststellen von Schnelligkeit (Größenordnung), Geschwindigkeit (Größenordnung und Richtung) und/oder einer Beschleunigung (einer Veränderung der Größenordnung und/oder der Richtung) des Kontaktpunkts ein. Diese Vorgänge werden wahlweise auf einzelne Kontakte (z. B. Ein-Finger-Kontakte) oder auf mehrere gleichzeitige Kontakte (z. B. „Mehrfachberührung”/Mehr-Finger-Kontakte) angewandt. In einigen Ausführungsformen erfassen das Kontakt-/Bewegungsmodul 230 und die Anzeigesteuerung 256 Kontakt auf einem Touchpad.
In einigen Ausführungsformen verwendet das Kontakt-/Bewegungsmodul 230 einen Satz von einem oder mehreren Intensitätsschwellenwerten, um festzustellen, ob ein Vorgang von einem Benutzer ausgeführt wurde (z. B. um festzustellen, ob ein Benutzer auf ein Symbol „geklickt” hat). In einigen Ausführungsformen wird mindestens ein Teilsatz der Intensitätsschwellenwerte gemäß Softwareparametern festgelegt (z. B. werden die Intensitätsschwellenwerte nicht durch die Aktivierungsschwellenwerte bestimmter physischer Aktoren festgelegt und können angepasst werden, ohne die physische Hardware der Vorrichtung 200 zu verändern). Zum Beispiel kann ein Maus-„Klick”-Schwellenwert einer Trackpad- oder Touchscreen-Anzeige auf jeden beliebigen eines breiten Bereichs vordefinierter Schwellenwerte eingestellt werden, ohne die Trackpad- oder Touchscreen-Anzeige-Hardware zu verändern. Zusätzlich werden in manchen Implementierungen einem Benutzer der Vorrichtung Software-Einstellungen zum Anpassen eines oder mehrerer des Satzes von Intensitätsschwellenwerten bereitgestellt (z. B. durch Anpassen einzelner Intensitätsschwellenwerte und/oder durch Anpassen einer Vielzahl von Intensitätsschwellenwerten auf einmal mit einem Klick-„Intensitäts”-Parameter auf Systemebene).
Das Kontakt-/Bewegungsmodul 230 erfasst wahlweise eine Eingabe durch eine Geste bzw. Handbewegung eines Benutzers. Unterschiedliche Gesten auf der berührungsempfindlichen Oberfläche haben unterschiedliche Kontaktmuster (z. B. unterschiedliche Bewegungen, Zeiten und/oder Intensitäten erfasster Kontakte). Folglich wird eine Geste wahlweise durch Erfassen eines bestimmten Kontaktmusters erfasst. Zum Beispiel schließt ein Erfassen einer Fingertippgeste ein Erfassen eines Finger-nach-unten-Ereignisses, gefolgt von einem Erfassen eines Finger-nach-oben- bzw. Abhebe-Ereignisses an derselben Position (oder im Wesentlichen derselben Position) wie das Finger-nach-unten-Ereignis (z. B. an der Position eines Symbols) ein. Als ein weiteres Beispiel schließt ein Erfassen einer Fingerwischgeste auf der berührungsempfindlichen Oberfläche ein Erfassen eines Finger-nach-unten-Ereignisses, gefolgt von einem oder mehreren Fingerziehereignissen und nachfolgend gefolgt von einem Erfassen eines Finger-nach-oben-Ereignisses (bzw. Abhebe-Ereignisses) ein.
Das Grafikmodul 232 schließt verschiedene bekannte Softwarekomponenten zum Rendern und Anzeigen von Grafiken auf dem Touchscreen 212 oder einer anderen Anzeige ein, einschließlich Komponenten zum Ändern der visuellen Auswirkung (z. B. Helligkeit, Transparenz, Sättigung, Kontrast oder einer anderen visuellen Eigenschaft) von Grafiken, die angezeigt werden. Wie hierin verwendet, schließt der Begriff „Grafik” jedes Objekt ein, das einem Benutzer angezeigt werden kann, einschließlich, jedoch ohne Einschränkung, von Text, Webseiten, Symbolen (wie beispielsweise Benutzerschnittstellenobjekte, einschließlich Softkeys), Digitalbildern, Videos, Animationen und Ähnlichem.
In einigen Ausführungsformen speichert das Grafikmodul 232 Daten, die zu verwendende Grafiken darstellen. Jeder Grafik wird wahlweise ein entsprechender Code zugewiesen. Das Grafikmodul 232 empfängt von Anwendungen usw. einen oder mehrere Codes, die Grafiken spezifizieren, die, falls erforderlich, zusammen mit Koordinatendaten und anderen Daten zu grafischen Eigenschaften angezeigt werden sollen, und erzeugt dann Bildschirmbilddaten zur Ausgabe an die Anzeigesteuerung 256.
Das haptische Feedbackmodul 233 umfasst verschiedene Softwarekomponenten zum Erzeugen von Anweisungen, die von dem/den Tastausgabeerzeuger(n) 267 verwendet werden, um Tastausgaben an einer oder mehreren Stellen auf der Vorrichtung 200 als Reaktion auf Interaktionen des Benutzers mit der Vorrichtung 200 zu erzeugen.
Das Texteingabemodul 234, bei dem es sich um eine Komponente des Grafikmoduls 232 handeln kann, stellt Bildschirmtastaturen zur Eingabe von Text in verschiedenen Anwendungen (z. B. Kontakte 237, E-Mail 240, Instant Messaging 241, Browser 247 und jede andere Anwendung, bei der Texteingabe erforderlich ist) bereit.
Das GPS-Modul 235 ermittelt den Standort der Vorrichtung und stellt diese Information zur Verwendung in vielfältigen Anwendungen bereit (z. B. dem Telefon 238 zur Verwendung beim standortbasierten Wählen; der Kamera 243 als Bild-/Videometadaten und Anwendungen, die standortbasierte Dienste anbieten, wie beispielsweise Wetter-Widgets, Widgets lokaler Gelber Seiten und Karten-/Navigations-Widgets).
Das Client-Modul 229 des digitalen Assistenten kann verschiedene clientseitige Anweisungen für den digitalen Assistenten beinhalten, um die clientseitigen Funktionalitäten des digitalen Assistenten bereitzustellen. Das Client-Modul 229 des digitalen Assistenten kann beispielsweise in der Lage sein, Spracheingaben, Texteingaben, Berührungseingaben und/oder Gesteneingaben über verschiedene Benutzerschnittstellen (z. B. Mikrofon 213, Beschleunigungsmesser 268, berührungsempfindliches Anzeigesystem 212, optische Sensoren 229, andere Eingabesteuervorrichtungen 216 usw.) der tragbaren Multifunktionsvorrichtung 200 zu akzeptieren. Das Client-Modul 220 des digitalen Assistenten kann auch in der Lage sein, eine Ausgabe als Audio (z. B. Sprachausgabe), visuell und/oder in taktilen Formen über verschiedene Ausgabe-Schnittstellen der tragbaren Multifunktionsvorrichtung 200 (z. B. Lautsprechers 211, berührungssensibles Display-System 212, taktile Ausgabe-Generatoren 267 usw.) bereitzustellen. Zum Beispiel kann die Ausgabe als Stimme, Ton, Warnungen, Textnachrichten, Menüs, Grafiken, Videos, Animationen, Vibrationen und/oder Kombinationen von zwei oder mehr der vorstehenden Elemente bereitgestellt werden. Während des Betriebs kann das Client-Modul 220 des digitalen Assistenten mit dem DA-Server 106 über RF-Schaltlogik 208 kommunizieren.
Benutzerdaten und Modelle 231 können verschiedene mit dem Benutzer verknüpfte Daten beinhalten (z. B. benutzerspezifische Vokabulardaten, Benutzerpräferenzdaten, benutzerspezifische Namensaussprachen Daten aus dem elektronischen Adressbuch des Benutzers, To-Do-Listen, Einkaufslisten usw.), um die clientseitigen Funktionalitäten des digitalen Assistenten bereitzustellen. Des Weiteren können Benutzerdaten und Modelle 231 verschiedene Modelle (z. B. Spracherkennungsmodelle, statistische Sprachmodelle, natürliche Sprachverarbeitungsmodelle, Ontologie, Aufgabenflussmodelle, Servicemodelle usw.) zur Verarbeitung von Benutzereingaben und zur Feststellung der Benutzerintention beinhalten.
In einigen Beispielen kann das Client-Modul des digitalen Assistenten 229 die verschiedenen Sensoren, Subsysteme und Peripheriegeräte der tragbaren Multifunktionsvorrichtung 200 nutzen, um zusätzliche Informationen aus der Umgebung der tragbaren Multifunktionsvorrichtung 200 zusammenzutragen und einen Kontext im Zusammenhang mit einem Benutzer, einer aktuellen Benutzerinteraktion und/oder der aktuellen Benutzereingabe zu erstellen. In einigen Beispielen kann das Client-Modul des digitalen Assistenten 229 die Kontextinformationen oder eine Teilmenge davon mit der Benutzereingabe an den DA-Server 106 des digitalen Assistenten bereitstellen, um die Ableitung der Absicht des Benutzers zu unterstützen. In einigen Beispielen kann der digitale Assistent auch die Kontextinformationen verwenden um zu bestimmen, wie Ausgaben an den Benutzer erstellt und übertragen werden. Kontextinformationen können auch als Kontextdaten bezeichnet werden.
Bei einigen Beispielen können die Kontextinformationen, die möglicherweise mit der Benutzereingabe bereitgestellt werden, Sensorinformationen beinhalten, z. B. in Bezug auf Beleuchtung, Umgebungsgeräusche, Umgebungstemperatur oder Bilder oder Videos der Umgebung. Bei einigen Beispielen können die Kontextinformationen außerdem den physischen Zustand der Vorrichtung beinhalten, z. B. Vorrichtungsausrichtung, Vorrichtungsstandort, Vorrichtungstemperatur, Leistungspegel, Geschwindigkeit, Beschleunigung, Bewegungsmuster oder Mobiltelefonsignalstärke. Bei einigen Beispielen können auch Informationen in Bezug auf den Softwarestatus der Benutzervorrichtung 106, z. B. in Bezug auf ausgeführte Prozesse, installierte Programme, frühere und aktuelle Netzwerkaktivitäten, Hintergrunddienste, Fehlerprotokolle oder die Ressourcenauslastung der Benutzervorrichtung 200 als mit einer Benutzereingabe verknüpfte Kontextinformationen für den Server des digitalen Assistenten 106 bereitgestellt werden.
In einigen Beispielen kann das Client-Modul des digitalen Assistenten 229 selektiv Informationen (z. B. Benutzerdaten 231) bereitstellen, die auf der tragbaren Multifunktionsvorrichtung 200 infolge von Anforderungen vom DA-Server 106 des digitalen Assistenten gespeichert werden. In einigen Beispielen kann das Client-Modul des digitalen Assistenten 229 auch zusätzliche Eingaben von einem Benutzer über einen Dialog in natürlicher Sprache oder andere Benutzerschnittstellen bei Anforderung durch den DA-Server 106 des digitalen Assistenten 106 abrufen. Das Client-Modul des digitalen Assistenten 229 kann die zusätzliche Eingabe an den DA-Server 106 weiterleiten, um den DA-Server 106 bei der Ableitung der Absicht und/oder Erfüllung der in der Benutzeranforderung ausgedrückten Absicht des Benutzers zu unterstützen.
Eine detailliertere Beschreibung des digitalen Assistenten ist nachfolgend mit Bezug auf 7A–C aufgeführt. Es sollte sich verstehen, dass das Client-Modul 229 des digitalen Assistenten jede beliebige Anzahl von Submodulen des nachfolgend beschriebenen Moduls des digitalen Assistenten 726 umfassen kann.
Die Anwendungen 236 können die folgenden Module (oder Anweisungssätze) oder eine Teilmenge oder eine Übermenge davon beinhalten:

• Kontaktemodul 237 (manchmal als Adressbuch oder Kontaktliste bezeichnet);
• Telefonmodul 238;
• Videokonferenzmodul 239;
• E-Mail-Client-Modul 240;
• Instant Messaging- bzw. IM-Modul 241;
• Trainingsunterstützungsmodul 242;
• Kameramodul 243 für Standbilder und/oder Videobilder;
• Bildverwaltungsmodul 244;
• Videowiedergabemodul;
• Musikwiedergabemodul;
• Browsermodul 247;
• Kalendermodul 248;
• Widget-Module 249, die eines oder mehreres von Folgendem umfassen können: Wetter-Widget 249-1, Aktien-Widget 249-2, Rechner-Widget 249-3, Wecker-Widget 249-4, Wörterbuch-Widget 249-5 und andere vom Benutzer erworbene sowie vom Benutzer erstellte Widgets 249-6;
• Widget-Erstellungsmodul 250 zum Erstellen von vom Benutzer erstellten Widgets 249-6;
• Suchmodul 251;
• Video- und Musikwiedergabemodul 252, welches ein Videowiedergabemodul und ein Musikwiedergabemodul vereint;
• Notizenmodul 253;
• Kartenmodul 254 und/oder
• Online-Video-Modul 255.

Beispiele für andere Anwendungen 236, die im Speicher 202 gespeichert sein können, umfassen andere Textverarbeitungsanwendungen, andere Bildbearbeitungsanwendungen, Zeichnungsanwendungen, Präsentationsanwendungen, JAVA-fähige Anwendungen, Verschlüsselung, digitale Rechteverwaltung, Spracherkennung und Stimmreplikation.
In Verbindung mit dem Touchscreen 212, der Anzeigesteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232 und dem Texteingabemodul 234 kann das Kontaktemodul 237 zur Verwaltung eines Adressbuches oder einer Kontaktliste (z. B. in einem internen Anwendungszustand 292 des Kontaktemoduls 237 im Speicher 202 oder Speicher 470 gespeichert) verwendet werden, einschließlich: Hinzufügen von einem oder mehreren Namen zum Adressbuch; Löschen von einem oder mehreren Namen aus dem Adressbuch; Zuordnen von einer oder mehreren Telefonnummern, E-Mail-Adressen, physischen Adressen oder anderen Informationen zu einem Namen; Zuordnen eines Bildes zu einem Namen; Kategorisieren und Sortieren von Namen; Bereitstellen von Telefonnummern oder E-Mail-Adressen, um eine Kommunikation per Telefon 238, Videokonferenzmodul 239, E-Mail 240 oder IM 241 zu starten und/oder zu ermöglichen; und so weiter.
Das Telefonmodul 238 kann in Verbindung mit der HF-Schaltung 208, der Audioschaltung 210, dem Lautsprecher 211, dem Mikrofon 213, dem Touchscreen 212, der Anzeigesteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232 und dem Texteingabemodul 234 verwendet werden, um eine Folge von Zeichen einzugeben, die einer Telefonnummer entsprechen, auf eine oder mehrere Telefonnummern im Kontaktemodul 237 zuzugreifen, eine Telefonnummer, die eingegeben wurde, zu modifizieren, eine entsprechende Telefonnummer zu wählen, ein Gespräch zu führen und eine Verbindung zu trennen oder aufzulegen, wenn das Gespräch beendet ist. Wie oben erwähnt, kann die drahtlose Kommunikation beliebige von verschiedenen Kommunikationsstandards, -protokollen und -technologien verwenden.
In Verbindung mit der HF-Schaltung 208, der Audioschaltung 210, dem Lautsprecher 211, dem Mikrofon 213, dem Touchscreen 212, der Anzeigesteuerung 256, dem optischen Sensor 264, der Steuerung für optische Sensoren 258, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232, dem Texteingabemodul 234, dem Kontaktemodul 237 und dem Telefonmodul 238 schließt das Videokonferenzmodul 239 ausführbare Anweisungen ein, um eine Videokonferenz zwischen einem Benutzer und einem oder mehreren anderen Teilnehmern gemäß Benutzeranweisungen zu starten, zu führen und zu beenden.
In Verbindung mit der HF-Schaltung 208, dem Touchscreen 212, der Anzeigesteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232 und dem Texteingabemodul 234 schließt das E-Mail-Client-Modul 240 ausführbare Anweisungen ein, um als Reaktion auf Benutzeranweisungen E-Mails zu erstellen, zu senden, zu empfangen und zu verwalten. In Verbindung mit dem Bildverwaltungsmodul 244 macht es das E-Mail-Client-Modul 240 sehr leicht, E-Mails mit Standbildern oder Videobildern, die mit dem Kameramodul 243 aufgenommen wurden, zu erstellen und zu versenden.
In Verbindung mit der HF-Schaltung 208, dem Touchscreen 212, der Anzeigesteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232 und dem Texteingabemodul 234 schließt das Instant Messaging-Modul 241 ausführbare Anweisungen ein, um eine Folge von einer Sofortnachricht entsprechenden Zeichen einzugeben, zuvor eingegebene Zeichen zu modifizieren, eine entsprechende Sofortnachricht zu übertragen (z. B. unter Verwendung eines „Short Message Service”- bzw. SMS- oder „Multimedia Message Service”- bzw. MMS-Protokolls für telefoniebasierte Sofortnachrichten oder unter Verwendung von XMPP, SIMPLE oder IMPS für internetbasierte Sofortnachrichten), Sofortnachrichten zu empfangen und empfangene Sofortnachrichten anzuzeigen. In manchen Ausführungsformen schließen übermittelte und/oder empfangene Sofortnachrichten wahlweise Grafik, Fotos, Audiodateien, Videodateien und/oder andere Anhänge ein, wie sie in einem MMS-Dienst und/oder einem „Enhanced Messaging Service” (EMS) unterstützt werden. Wie hier verwendet bezieht sich „Instant Messaging” sowohl auf telefoniebasierte Nachrichten (z. B. per SMS oder MMS gesendete Nachrichten) als auch auf internetbasierte Nachrichten (z. B. per XMPP, SIMPLE oder IMPS gesendete Nachrichten).
In Verbindung mit der HF-Schaltung 208, dem Touchscreen 212, der Anzeigesteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232, dem Texteingabemodul 234, dem GPS-Modul 235, dem Kartenmodul 254 und dem Musikwiedergabemodul schließt das Trainingsunterstützungsmodul 242 ausführbare Anweisungen ein, um Trainings zu erstellen (z. B. mit Zeit-, Strecken- und/oder Kalorienverbrauchszielen); mit Trainingssensoren (Sportvorrichtungen) zu kommunizieren; Trainingssensordaten zu empfangen; Sensoren zu kalibrieren, die verwendet werden, um ein Training zu überwachen; Musik für ein Training auszuwählen und wiederzugeben und Trainingsdaten anzuzeigen, zu speichern und zu übertragen.
In Verbindung mit dem Touchscreen 212, der Anzeigesteuerung 256, dem/den optischen Sensor(en) 264, der Steuerung für optische Sensoren 258, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232 und dem Bildverwaltungsmodul 244 umfasst das Kameramodul 243 ausführbare Anweisungen zum Erfassen von Standbildern oder Videos (einschließlich eines Video-Streams) und zum Speichern derselben im Speicher 202, zum Ändern der Eigenschaften eines Standbildes oder Videos oder zum Löschen eines Standbildes oder Videos aus dem Speicher 202.
In Verbindung mit dem Touchscreen 212, der Anzeigesteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232, dem Texteingabemodul 234 und dem Kameramodul 243 umfasst das Bildverwaltungsmodul 244 ausführbare Anweisungen zum Anordnen, Verändern (z. B. Bearbeiten) oder zum anderweitigen Verarbeiten, Kennzeichnen, Löschen, Präsentieren (z. B. in einer digitalen Diashow oder einem digitalen Album) und Speichern von Stand- und/oder Videobildern.
In Verbindung mit der HF-Schaltung 208, dem Touchscreen 212, der Anzeigesteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232 und dem Texteingabemodul 234 schließt das Browsermodul 247 ausführbare Anweisungen ein, um im Internet gemäß Benutzeranweisungen zu surfen, einschließlich Suchen von, Verknüpfen mit, Empfangen und Anzeigen von Webseiten oder Abschnitten davon sowie von Anhängen und anderen Dateien, die mit Webseiten verknüpft sind.
In Verbindung mit der HF-Schaltung 208, dem Touchscreen 212, der Anzeigesteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232, dem Texteingabemodul 234, dem E-Mail-Client-Modul 240 und dem Browsermodul 247 schließt das Kalendermodul 248 ausführbare Anweisungen ein, um Kalender und Kalendern zugeordnete Daten (z. B. Kalendereinträge, Aufgabenlisten usw.) gemäß Benutzeranweisungen zu erzeugen, anzuzeigen, zu modifizieren und zu speichern.
In Verbindung mit der HF-Schaltung 208, dem Touchscreen 212, der Anzeigesteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232, dem Texteingabemodul 234 und dem Browsermodul 247 handelt es sich bei den Widget-Modulen 249 um Minianwendungen, die durch einen Benutzer heruntergeladen und verwendet werden können (z. B. das Wetter-Widget 249-1, das Aktien-Widget 249-2, das Rechner-Widget 249-3, das Wecker-Widget 249-4 und das Wörterbuch-Widget 249-5) oder durch einen Benutzer erstellt werden können (z. B. das vom Benutzer erstellte Widget 249-6). In einigen Ausführungsformen schließt ein Widget eine HTML-Datei (Hypertext Markup Language-Datei), eine CSS-Datei (Cascading Style Sheets-Datei) und eine JavaScript-Datei ein. In einigen Ausführungsformen schließt ein Widget eine XML-Datei (Extensible Markup Language-Datei) und eine JavaScript-Datei (z. B. Yahoo!-Widgets) ein.
Das Widget-Erstellungsmodul 250 kann in Verbindung mit der HF-Schaltung 208, dem Touchscreen 212, der Anzeigesteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232, dem Texteingabemodul 234 und dem Browsermodul 247 durch einen Benutzer verwendet werden, um Widgets zu erstellen (z. B. einen benutzerdefinierten Abschnitt einer Webseite als ein Widget zu verwenden).
In Verbindung mit dem Touchscreen 212, der Anzeigesteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232 und dem Texteingabemodul 234 schließt das Suchmodul 251 ausführbare Anweisungen ein, um gemäß Benutzeranweisungen nach Text-, Musik-, Ton-, Bild-, Video- und/oder anderen Dateien im Speicher 202 zu suchen, die einem oder mehreren Suchkriterien entsprechen (z. B. einem oder mehreren benutzerspezifizierten Suchbegriffen).
In Verbindung mit dem Touchscreen 212, der Anzeigesteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232, der Audioschaltung 210, dem Lautsprecher 211, der HF-Schaltung 208 und dem Browsermodul 247 schließt das Video- und Musikwiedergabemodul 252 ausführbare Anweisungen ein, die es dem Benutzer ermöglichen, aufgezeichnete Musik- und andere Tondateien herunterzuladen und wiederzugeben, die in einem oder mehreren Dateiformaten gespeichert sind, wie beispielsweise MP3- oder AAC-Dateien, und ausführbare Anweisungen, um Videos (z. B. auf dem Touchscreen 212 oder einer externen verbundenen Anzeige über den externen Anschluss 224) anzuzeigen, zu präsentieren oder anderweitig wiederzugeben. In einigen Ausführungsformen schließt die Vorrichtung 200 wahlweise die Funktionalität eines MP3-Players wie eines iPod (Marke von Apple Inc.) ein.
In Verbindung mit dem Touchscreen 212, der Anzeigesteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232 und dem Texteingabemodul 234 schließt das Notizenmodul 253 ausführbare Anweisungen ein, um gemäß Benutzeranweisungen Notizen, Aufgabenlisten und Ähnliches zu erstellen und zu verwalten.
Das Kartenmodul 254 kann in Verbindung mit der HF-Schaltung 208, dem Touchscreen 212, der Anzeigesteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232, dem Texteingabemodul 234, dem GPS-Modul 235 und dem Browsermodul 247 verwendet werden, um Karten sowie den Karten zugeordnete Daten (z. B. Fahrtrichtungen, Daten über Geschäfte und andere Punkte von Interesse an einem bestimmten Ort oder in dessen Nähe und andere ortsbezogene Daten) gemäß Benutzeranweisungen zu empfangen, anzuzeigen, zu modifizieren und zu speichern.
In Verbindung mit dem Touchscreen 212, der Anzeigesteuerung 256, dem Kontakt-/Bewegungsmodul 230, dem Grafikmodul 232, der Audioschaltung 210, dem Lautsprecher 211, der HF-Schaltung 208, dem Texteingabemodul 234, dem E-Mail-Client-Modul 240 und dem Browsermodul 247 schließt das Online-Video-Modul 255 Anweisungen ein, die es dem Benutzer erlauben, auf eine E-Mail mit einem Link zu einem bestimmten Online-Video zuzugreifen, diese zu durchsuchen, zu empfangen (z. B. durch Streaming und/oder Download), wiederzugeben (z. B. auf dem Touchscreen oder einer externen verbundenen Anzeige über den externen Anschluss 224) oder zu senden und Online-Videos in einem oder mehreren Dateiformaten, wie beispielsweise H.264, anderweitig zu verwalten. In einigen Ausführungsformen wird das Instant Messaging-Modul 241 anstelle des E-Mail-Client-Moduls 240 verwendet, um einen Link zu einem bestimmten Online-Video zu senden. Eine zusätzliche Beschreibung der Online-Video-Anwendung sind in der am 20. Juni 2007 eingereichten, vorläufigen US-Patentanmeldung Nr. 60/936,562, „Portable Multifunction Device, Method, and Graphical User Interface for Playing Online Videos” und der am 31. Dezember 2007 eingereichten US-Patentanmeldung Nr. 11/968,067, „Portable Multifunction Device, Method, and Graphical User Interface for Playing Online Videos” zu finden, deren Inhalte hiermit durch Bezugnahme in ihrer Gesamtheit aufgenommen werden.
Jedes der vorstehend angegebenen Module und jede der vorstehend angegebenen Anwendungen entspricht einem Satz von ausführbaren Anweisungen zum Durchführen einer oder mehrerer vorstehend beschriebener Funktionen und der in dieser Anmeldung beschriebenen Verfahren (z. B. der computerimplementierten Verfahren und anderer hierin beschriebener Informationsverarbeitungsverfahren). Diese Module (z. B. Anweisungssätze) müssen nicht als separate Software-Programme, Vorgehensweisen oder Module implementiert werden, und somit können verschiedene Teilmengen dieser Module in verschiedenen Ausführungsformen kombiniert oder anderweitig neu angeordnet werden. Zum Beispiel kann das Videowiedergabemodul mit dem Musikwiedergabemodul in einem einzigen Modul kombiniert werden (z. B. dem Video- und Musikwiedergabemodul 252, 2A). In einigen Ausführungsformen kann der Speicher 202 eine Teilmenge der oben genannten Module und Datenstrukturen speichern. Des Weiteren kann der Speicher 202 zusätzliche Module und Datenstrukturen speichern, die vorstehend nicht beschrieben wurden.
In einigen Ausführungsformen handelt es sich bei der Vorrichtung 200 um eine Vorrichtung, bei der das Betreiben eines vordefinierten Satzes von Funktionen auf der Vorrichtung ausschließlich durch einen Touchscreen und/oder ein Touchpad ausgeführt wird. Durch Verwenden eines Touchscreens und/oder Touchpads als primäre Eingabesteuervorrichtung für den Betrieb der Vorrichtung 200 kann die Anzahl der physischen Eingabesteuervorrichtungen (wie etwa Drucktasten, Wählscheiben und dergleichen) auf der Vorrichtung 200 verringert werden.
Der vordefinierte Satz von Funktionen, die ausschließlich durch einen Touchscreen und/oder ein Touchpad ausgeführt werden, schließt wahlweise das Navigieren zwischen Benutzerschnittstellen ein. In einigen Ausführungsformen navigiert das Touchpad, wenn es vom Benutzer berührt wird, die Vorrichtung 200 von jeglicher Benutzerschnittstelle, die auf der Vorrichtung 200 angezeigt wird, zu einem Haupt- oder Startmenü. In solchen Ausführungsformen wird eine „Menüschaltfläche” unter Verwendung eines Touchpads implementiert. In einigen weiteren Ausführungsformen ist die Menüschaltfläche eine physische Drucktaste oder eine andere physische Eingabesteuervorrichtung anstelle eines Touchpads.
2B ist ein Blockdiagramm, das beispielhafte Komponenten zum Ereignisabwickeln gemäß einigen Ausführungsformen veranschaulicht. In einigen Ausführungsformen umfasst der Speicher 202 (in 2A) oder 470 (4) das Ereignissortierungsprogramm 270 (z. B. im Betriebssystem 226) und eine entsprechende Anwendung 236-1 (z. B. jegliche der vorstehend aufgeführten Anwendungen 237–251, 255, 480–490).
Der Ereignissortierer 270 empfängt Ereignisinformationen und bestimmt die Anwendung 236-1 und die Anwendungsansicht 291 der Anwendung 236-1, an die die Ereignisinformationen gesendet werden sollen. Der Ereignissortierer 270 schließt einen Ereignismonitor 271 und ein Ereignisweitergabemodul 274 ein. In einigen Ausführungsformen schließt die Anwendung 236-1 den internen Anwendungszustand 292 ein, der die aktuelle Anwendungsansicht oder Anwendungsansichten angibt, die auf der berührungsempfindlichen Anzeige 212 angezeigt wird bzw. werden, wenn die Anwendung aktiv ist oder ausgeführt wird. In einigen Ausführungsformen wird der vorrichtungsbezogene/globale interne Zustand 257 durch den Ereignissortierer 270 verwendet, um festzustellen, welche Anwendung oder Anwendungen aktuell aktiv sind, und der interne Anwendungszustand 292 wird durch den Ereignissortierer 270 verwendet, um die Anwendungsansichten 291 festzustellen, an die Ereignisinformationen gesendet werden sollen.
In einigen Ausführungsformen schließt der interne Anwendungsstatus 292 zusätzliche Informationen, wie etwa eine oder mehrere der folgenden ein: Wiederaufnahmeinformationen zur Verwendung, wenn die Ausführung der Anwendung 236-1 wiederaufgenommen wird, Benutzerschnittstellenstatusinformationen, die angeben, dass Informationen bereits angezeigt werden oder bereit sind zur Anzeige durch die Anwendung 236-1, einen Statuspuffer, um es dem Benutzer zu ermöglichen, zu einem vorherigen Status oder einer vorherigen Ansicht der Anwendung 236-1 zurückzukehren, und/oder einen Wiederherstellen-/Rückgängigmachen-Puffer für zuvor vom Benutzer ausgeführte Aktionen.
Der Ereignismonitor 271 empfängt Ereignisinformationen von der Peripherieeinheitenschnittstelle 218. Ereignisinformationen umfassen Informationen bezüglich eines Teilereignisses (z. B. eine Berührung eines Benutzers auf der berührungsempfindlichen Anzeige 212 als Teil einer Geste mit mehreren Berührungen). Die Peripherieeinheitenschnittstelle 218 überträgt Informationen, die sie vom E/A-Subsystem 206 oder von einem Sensor, wie einem Näherungssensor 266, von Beschleunigungsmesser(n) 268 und/oder vom Mikrofon 213 (über die Audioschaltung 210) erhält. Informationen, die die Peripherieeinheitenschnittstelle 218 vom E/A-Subsystem 206 empfängt, schließen Informationen von der berührungsempfindlichen Anzeige 212 oder von einer berührungsempfindlichen Oberfläche ein.
In einigen Ausführungsformen sendet der Ereignismonitor 271 in vorgegebenen Intervallen Anfragen an die Peripherieeinheitenschnittstelle 218. Als Reaktion darauf übermittelt die Peripherieeinheitenschnittstelle 218 Ereignisinformationen. In anderen Ausführungsformen überträgt die Peripherieeinheitenschnittstelle 218 Ereignisinformationen nur, wenn es ein signifikantes Ereignis gibt (z. B. Empfangen einer Eingabe über einem vorbestimmten Lärmschwellenwert und/oder länger als eine vorbestimmte Dauer).
In einigen Ausführungsformen schließt der Ereignissortierer 270 auch ein Trefferansichtbestimmungsmodul 272 und/oder ein Bestimmungsmodul einer Einrichtung zum Erkennen eines aktiven Ereignisses 273 ein.
Das Trefferansichtbestimmungsmodul 272 stellt Softwareverfahrensweisen bereit, um festzustellen, wo ein Teilereignis innerhalb einer oder mehrerer Ansichten stattgefunden hat, wenn die berührungsempfindliche Anzeige 212 mehr als eine Ansicht anzeigt. Die Ansichten bestehen aus Steuerungen und anderen Elementen, die ein Benutzer auf der Anzeige sehen kann.
Ein weiterer Aspekt der mit einer Anwendung assoziierten Benutzeroberfläche ist ein Satz von Ansichten, die hier mitunter als Anwendungsansichten oder Benutzeroberflächenfenster bezeichnet werden, und in denen Informationen angezeigt werden und auf Berührung basierende Gesten stattfinden. Die Anwendungsansichten (einer jeweiligen Anwendung), bei denen eine Berührung erfasst wird, können programmatischen Ebenen innerhalb einer programmatischen oder Ansichtshierarchie der Anwendung entsprechen. Beispielsweise kann die Ansicht der niedrigsten Ebene, in der eine Berührung erfasst wird, als Trefferansicht bezeichnet werden, und der Satz von Ereignissen, die als korrekte Eingaben erkannt werden, kann zumindest teilweise basierend auf der Trefferansicht der ursprünglichen Berührung, die eine auf Berührung basierende Geste einleitet, festgestellt werden.
Das Trefferansicht-Bestimmungsmodul 272 empfängt Informationen bezüglich Teilereignissen einer auf Berührung basierenden Geste. Wenn eine Anwendung verschiedene, in einer Hierarchie geordnete Ansichten aufweist, identifiziert das Trefferansichtbestimmungsmodul 272 eine Trefferansicht als die niedrigste Ansicht in der Hierarchie, die das Teilereignis handhaben sollte. Unter den meisten Umständen handelt es sich bei der Trefferansicht um die Ansicht der untersten Ebene, in der ein initiierendes Teilereignis auftritt (z. B. das erste Teilereignis in der Folge von Teilereignissen, die ein Ereignis oder potenzielles Ereignis bilden). Sobald die Trefferansicht von dem Trefferansichtbestimmungsmodul 272 erkannt wurde, empfängt die Trefferansicht in der Regel alle Teilereignisse, die mit derselben Berührung oder Eingabequelle zusammenhängen, für die sie als Trefferansicht identifiziert wurde.
Das Bestimmungsmodul einer Einrichtung zum Erkennen eines aktiven Ereignisses 273 bestimmt, welche Ansicht oder welche Ansichten innerhalb einer Ansichtshierarchie eine bestimmte Folge von Teilereignissen empfangen sollte(n). In einigen Ausführungsformen bestimmt das Bestimmungsmodul einer Einrichtung zum Erkennen eines aktiven Ereignisses 273, dass nur die Trefferansicht eine bestimmte Folge von Teilereignissen empfangen sollte. In anderen Ausführungsformen bestimmt das Bestimmungsmodul 273 der Einrichtung zum Erkennen eines aktiven Ereignisses, dass alle Ansichten, die die physische Stelle eines Teilereignisses umfassen, aktiv beteiligte Ansichten sind, und bestimmt somit, dass alle aktiv beteiligten Ansichten eine bestimmte Folge von Teilereignissen empfangen sollten. In anderen Ausführungsformen würden selbst dann, wenn Berührungsteilereignisse ausschließlich auf den mit einer bestimmten Ansicht assoziierten Bereich beschränkt wären, in der Hierarchie höher gestellte Ansichten immer noch aktive beteiligte Ansichten verbleiben.
Das Ereignisweitergabemodul 274 gibt die Ereignisinformationen an eine Ereigniserkennungseinrichtung (z. B. die Ereigniserkennungseinrichtung 280) weiter. In Ausführungsformen, die das Bestimmungsmodul einer Einrichtung zum Erkennen eines aktiven Ereignisses 273 umfassen, sendet das Ereignisweitergabemodul 274 die Ereignisinformationen an eine Ereigniserkennungseinrichtung, die vom Bestimmungsmodul einer Einrichtung zum Erkennen eines aktiven Ereignisses 273 bestimmt wird. In einigen Ausführungsformen speichert das Ereignisweitergabemodul 274 in einer Ereigniswarteschlange die Ereignisinformationen, die durch einen entsprechenden Ereignisempfänger 282 abgerufen werden.
In einigen Ausführungsformen schließt das Betriebssystem 226 den Ereignissortierer 270 ein. Alternativ dazu schließt die Anwendung 236-1 einen Ereignissortierer 270 ein. In noch weiteren Ausführungsformen ist der Ereignissortierer 270 ein eigenständiges Modul oder ein Teil eines anderen im Speicher 202 gespeicherten Moduls, wie etwa eines Kontakt-/Bewegungsmoduls 230.
In einigen Ausführungsformen umfasst die Anwendung 236-1 mehrere Ereignishandhabungseinrichtungen 290 und eine oder mehrere Anwendungsansichten 291, von denen jede Anweisungen zum Handhaben von Berührungsereignissen umfasst, die innerhalb einer jeweiligen Ansicht der Benutzerschnittstelle der Anwendung vorkommen. Jede Anwendungsansicht 291 der Anwendung 236-1 schließt eine oder mehrere Ereigniserkennungseinrichtungen 280 ein. In der Regel schließt eine jeweilige Anwendungsansicht 291 eine Vielzahl von Ereigniserkennungseinrichtungen 280 ein. In anderen Ausführungsformen sind eine oder mehrere Ereigniserkennungseinrichtungen 280 Teil eines separaten Moduls, wie etwa eines (nicht gezeigten) Benutzerschnittstellenkits oder eines Objekts einer höheren Ebene, von dem die Anmeldung 236-1 Verfahren und andere Eigenschaften übernimmt. In einigen Ausführungsformen schließt eine betreffende Ereignishandhabungseinrichtung 290 eines oder mehreres von Folgendem ein: eine Datenaktualisierungseinrichtung 276, eine Objektaktualisierungseinrichtung 277, eine GUI-Aktualisierungseinrichtung 278 und/oder Ereignisdaten 279, die vom Ereignissortierer 270 empfangen werden. Die Ereignishandhabungseinrichtung 290 kann eine Datenaktualisierungseinrichtung 276, eine Objektaktualisierungseinrichtung 277 oder eine GUI-Aktualisierungseinrichtung 278 verwenden oder aufrufen, um den internen Anwendungszustand 292 zu aktualisieren. Alternativ dazu schließen eine oder mehrere der Anwendungsansichten 291 eine oder mehrere entsprechende Ereignishandhabungseinrichtungen 290 ein. Auch sind in einigen Ausführungsformen die Datenaktualisierungseinrichtung 276 und/oder die Objektaktualisierungseinrichtung 277 und/oder die GUI-Aktualisierungseinrichtung 278 in einer jeweiligen Anwendungsansicht 291 eingeschlossen.
Eine entsprechende Ereigniserkennungseinrichtung 280 empfängt Ereignisinformationen (z. B. die Ereignisdaten 279) vom Ereignissortierer 270 und identifiziert ein Ereignis aus den Ereignisinformationen. Die Ereigniserkennungseinrichtung 280 schließt einen Ereignisempfänger 282 und einen Ereignisvergleicher 284 ein. In einigen Ausführungsformen umfasst die Ereigniserkennungseinrichtung 280 auch mindestens eine Teilmenge von: Metadaten 283 und Ereigniszustellungsanweisungen 288 (die Teilereigniszustellungsanweisungen umfassen können).
Der Ereignisempfänger 282 empfängt Ereignisinformationen vom Ereignissortierer 270. Die Ereignisinformationen schließen Informationen bezüglich eines Teilereignisses, beispielsweise einer Berührung oder einer Berührungsbewegung, ein. Je nach dem Teilereignis schließen die Ereignisinformationen auch zusätzliche Informationen, wie etwa die Position, an der das Teilereignis stattfindet, ein. Wenn das Teilereignis die Bewegung einer Berührung betrifft, können die Ereignisinformationen auch Schnelligkeit und Richtung des Teilereignisses einschließen. In manchen Ausführungsformen schließen Ereignisse das Drehen der Vorrichtung von einer Ausrichtung in eine andere (z. B. von einer Hochformatausrichtung in eine Querformatausrichtung oder umgekehrt), und die Ereignisinformationen schließen entsprechende Informationen bezüglich der aktuellen Ausrichtung der Vorrichtung (auch als räumliche Lage der Vorrichtung bezeichnet) ein.
Der Ereigniskomparator 284 vergleicht die Ereignisinformationen mit vordefinierten Ereignis- oder Teilereignisdefinitionen und bestimmt, basierend auf dem Vergleich, ein Ereignis oder ein Teilereignis oder bestimmt oder aktualisiert den Status eines Ereignisses oder eines Teilereignisses. In einigen Ausführungsformen schließt der Ereignisvergleicher 284 Ereignisdefinitionen 286 ein. Die Ereignisdefinitionen 286 enthalten Definitionen von Ereignissen (z. B. vordefinierte Abfolgen von Teilereignissen), beispielsweise Ereignis 1 (287-1), Ereignis 2 (287-2) und andere. In einigen Ausführungsformen schließen Teilereignisse in einem Ereignis (287) zum Beispiel Berührungsbeginn, Berührungsende, Berührungsbewegung, Berührungsabbruch und mehrfaches Berühren ein. In einem Beispiel ist die Definition für Ereignis 1 (287-1) ein doppeltes Tippen auf ein angezeigtes Objekt. Das doppelte Tippen umfasst zum Beispiel eine erste Berührung (Berührungsbeginn) auf dem angezeigten Objekt für eine vorbestimmte Phase, ein erstes Abheben (Berührungsende) für eine vorbestimmte Phase, eine zweite Berührung (Berührungsbeginn) auf dem angezeigten Objekt für eine vorbestimmte Phase und ein zweites Abheben (Berührungsende) für eine vorbestimmte Phase. In einem weiteren Beispiel ist die Definition für Ereignis 2 (287-2) ein Ziehen auf einem angezeigten Objekt. Das Ziehen umfasst zum Beispiel eine Berührung (oder einen Kontakt) auf dem angezeigten Objekt für eine vorbestimmte Phase, eine Bewegung der Berührung über die berührungsempfindliche Anzeige 212 und ein Abheben der Berührung (Berührungsende). In einigen Ausführungsformen schließt das Ereignis auch Informationen für eine oder mehrere verbundene Ereignishandhabungseinrichtungen 290 ein.
In einigen Ausführungsformen schließt die Ereignisdefinition 287 eine Definition eines Ereignisses für ein betreffendes Benutzerschnittstellenobjekt ein. In einigen Ausführungsformen führt der Ereignisvergleicher 284 einen Treffertest durch, um zu bestimmen, welches Benutzerschnittstellenobjekt mit einem Teilereignis verbunden ist. In einer Anwendungsansicht, in der drei Benutzerschnittstellenobjekte auf der berührungsempfindlichen Anzeige 212 angezeigt werden, führt beispielsweise der Ereignisvergleicher 284, wenn eine Berührung auf der berührungsempfindlichen Anzeige 212 erfasst wird, einen Treffertest durch, um zu bestimmen, welches der drei Benutzerschnittstellenobjekte mit der Berührung (Teilereignis) verbunden ist. Wenn jedes angezeigte Objekt mit einer betreffenden Ereignishandhabungseinrichtung 290 verbunden ist, verwendet der Ereignisvergleicher das Ergebnis des Treffertests, um zu bestimmen, welche Ereignishandhabungseinrichtung 290 aktiviert werden sollte. Beispielsweise wählt der Ereignisvergleicher 284 eine Ereignishandhabungseinrichtung aus, die mit dem Teilereignis und dem den Treffertest auslösenden Objekt verbunden ist.
In einigen Ausführungsformen schließt die Definition für ein jeweiliges Ereignis (287) auch verzögerte Aktionen ein, die eine Zustellung der Ereignisinformationen verzögern, bis ermittelt wurde, ob die Abfolge von Teilereignissen dem Ereignistyp der Ereigniserkennungseinrichtung entspricht oder nicht.
Wenn eine betreffende Ereigniserkennungseinrichtung 280 bestimmt, dass die Abfolge von Teilereignissen keinem der Ereignisse in den Ereignisdefinitionen 286 entspricht, gibt die betreffende Ereigniserkennungseinrichtung 280 einen Ereignis-unmöglich-Status, einen Ereignis-fehlgeschlagen-Status oder einen Ereignis-beendet-Status ein und lässt anschließend nachfolgende Teilereignisse der auf Berührung basierenden Geste außer Acht. In dieser Situation fahren, sofern vorhanden, andere Ereigniserkennungseinrichtungen, die für die Trefferansicht aktiv bleiben, mit der Nachverfolgung und Verarbeitung von Teilereignissen einer stattfindenden, auf Berührung basierenden Geste fort.
In einigen Ausführungsformen schließt eine betreffende Ereigniserkennungseinrichtung 280 Metadaten 283 mit konfigurierbaren Eigenschaften, Hinweissymbolen und/oder Listen ein, die angeben, wie das Ereigniszustellungssystem die Zustellung von Teilereignissen zu Einrichtungen zum Erkennen eines aktiv beteiligten Ereignisses ausführen sollte. In einigen Ausführungsformen schließen die Metadaten 283 konfigurierbare Eigenschaften, Hinweissymbole und/oder Listen ein, die angeben, wie Ereigniserkennungseinrichtungen miteinander interagieren können oder wie ihnen die Interaktion untereinander ermöglicht werden kann. In einigen Ausführungsformen schließen die Metadaten 283 konfigurierbare Eigenschaften, Hinweissymbole und/oder Listen ein, die angeben, ob Teilereignisse an unterschiedliche Ebenen in der Ansichts- oder Programmhierarchie zugestellt werden.
In einigen Ausführungsformen aktiviert eine betreffende Ereigniserkennungseinrichtung 280 die mit einem Ereignis verbundene Ereignishandhabungseinrichtung 290, wenn ein oder mehrere bestimmte Teilereignisse eines Ereignisses erkannt werden. In einigen Ausführungsformen stellt eine betreffende Ereigniserkennungseinrichtung 280 der Ereignishandhabungseinrichtung 290 mit dem Ereignis verbundene Ereignisinformationen zu. Das Aktivieren einer Ereignishandhabungseinrichtung 290 unterscheidet sich vom Senden (und vom verzögerten Senden) von Teilereignissen an eine betreffende Trefferansicht. In einigen Ausführungsformen löst die Ereigniserkennungseinrichtung 280 ein mit dem erkannten Ereignis verbundenes Hinweissymbol aus, und die mit dem Hinweissymbol verbundene Ereignishandhabungseinrichtung 290 erfasst das Hinweissymbol und führt einen vordefinierten Prozess aus.
In einigen Ausführungsformen schließen die Ereigniszustellungsanweisungen 288 Teilereigniszustellungsanweisungen, die Ereignisinformationen bezüglich eines Teilereignisses zustellen, ein, ohne eine Ereignishandhabungseinrichtung zu aktivieren. Stattdessen stellen die Teilereigniszustellungsanweisungen den mit der Abfolge von Teilereignissen oder mit den aktiv beteiligten Ansichten verknüpften Ereignishandhabungseinrichtungen Ereignisinformationen zu. Die mit der Abfolge von Teilereignissen oder mit den aktiv beteiligten Ansichten assoziierten Ereignishandhabungseinrichtungen empfangen die Ereignisinformationen und führen einen vordefinierten Prozess aus.
In einigen Ausführungsformen erstellt und aktualisiert die Datenaktualisierungseinrichtung 276 in der Anwendung 236-1 verwendete Daten. Zum Beispiel aktualisiert die Datenaktualisierungseinrichtung 276 die im Kontaktemodul 237 verwendete Telefonnummer oder speichert eine im Videowiedergabemodul verwendete Videodatei. In einigen Ausführungsformen erstellt und aktualisiert die Objektaktualisierungseinrichtung 277 in der Anmeldung 236-1 verwendete Objekte. Beispielsweise erstellt die Objektaktualisierungseinrichtung 277 ein neues Benutzerschnittstellenobjekt oder aktualisiert die Position eines Benutzerschnittstellenobjekts. Die GUI-Aktualisierungseinrichtung 278 aktualisiert die GUI. Beispielsweise bereitet die GUI-Aktualisierungseinrichtung 278 Anzeigeinformationen vor und sendet sie zur Anzeige auf einer berührungsempfindlichen Anzeige an das Grafikmodul 232.
In einigen Ausführungsformen schließen die eine oder die mehreren Ereignishandhabungseinrichtungen 290 die Datenaktualisierungseinrichtung 276, die Objektaktualisierungseinrichtung 277 und die GUI-Aktualisierungseinrichtung 278 ein oder haben Zugriff auf diese. In einigen Ausführungsformen sind die Datenaktualisierungseinrichtung 276, die Objektaktualisierungseinrichtung 277 und die GUI-Aktualisierungseinrichtung 278 in einem einzigen Modul einer entsprechenden Anwendung 236-1 oder Anwendungsansicht 291 eingeschlossen. In anderen Ausführungsformen sind sie in zwei oder mehr Softwaremodulen eingeschlossen.
Es sollte verstanden werden, dass die vorstehende Erläuterung hinsichtlich einer Ereignishandhabung von Benutzerberührungen auf berührungsempfindlichen Anzeigen auch für andere Formen von Benutzereingaben zum Betreiben von Multifunktionsvorrichtungen 200 mit Eingabevorrichtungen gilt, von denen nicht alle auf Touchscreens initiiert werden. Zum Beispiel werden eine Mausbewegung und Maustastendrücke, die wahlweise mit einem einzelnen oder mehrmaligen Drücken oder Halten der Tastatur koordiniert sind; Kontaktbewegungen, wie beispielsweise Tippen, Ziehen, Scrollen usw. auf Touchpads; Stifteingaben; Bewegung der Vorrichtung; mündliche Anweisungen; erfasste Augenbewegungen, biometrische Eingaben; und/oder eine beliebige Kombination davon wahlweise als Eingaben verwendet, die Teilereignissen entsprechen, die ein zu erkennendes Ereignis definieren.
3 veranschaulicht eine tragbare Multifunktionsvorrichtung 200 mit einem Touchscreen 212 gemäß einigen Ausführungsformen. Der Touchscreen zeigt wahlweise eine oder mehrere Grafiken innerhalb der Benutzerschnittstelle (UI) 300 an. In dieser Ausführungsform sowie in anderen nachstehend beschriebenen Ausführungsformen wird es einem Benutzer ermöglicht, eine oder mehrere der Grafiken auszuwählen, indem er eine Handbewegung auf den Grafiken ausführt, beispielsweise mit einem oder mehreren Fingern 302 (in der Figur nicht maßstabsgetreu dargestellt) oder einem oder mehreren Eingabestiften 303 (in der Figur nicht maßstabsgetreu dargestellt). In einigen Ausführungsformen findet die Auswahl von einer oder mehreren Grafiken statt, wenn der Benutzer den Kontakt mit der einen oder den mehreren Grafiken abbricht. In einigen Ausführungsformen umfasst die Handbewegung ein- oder mehrmaliges Tippen, eine oder mehrere Wischbewegungen (von links nach rechts, rechts nach links, aufwärts und/oder abwärts) und/oder eine Rollbewegung eines Fingers (von rechts nach links, links nach rechts, aufwärts und/oder abwärts), der Kontakt mit der Vorrichtung 200 aufgenommen hat. In einigen Implementierungen oder in manchen Fällen wird durch einen versehentlichen Kontakt mit einer Grafik die Grafik nicht ausgewählt. Beispielsweise wird durch eine Wischbewegung, die über ein Anwendungssymbol wischt, wahlweise nicht die entsprechende Anwendung gewählt, wenn die der Auswahl entsprechende Handbewegung ein Tippen ist.
Die Vorrichtung 200 kann auch eine oder mehrere physische Schaltflächen, wie etwa eine „Home”- oder eine Menütaste 304, aufweisen. Wie zuvor beschrieben, kann die Menütaste 304 dazu verwendet werden, zu einer beliebigen Anwendung 236 in einem Satz von Anwendungen, die auf der Vorrichtung 200 ausführbar sind, zu navigieren. Alternativ dazu ist in einigen Ausführungsformen die Menütaste als Softkey in einer GUI implementiert, die auf dem Touchscreen 212 angezeigt wird.
In einer Ausführungsform schließt die Vorrichtung 200 den Touchscreen 212, die Menütaste 304, die Drucktaste 306 zum Ein-/Ausschalten und Sperren der Vorrichtung, die eine oder die mehreren Lautstärkeregelungstaste(n) 308, den „Subscriber Identity Module”- bzw. SIM-Kartenschlitz 310, den Kopfhöreranschluss 312 und den externen Docking-/Ladeanschluss 224 ein. Die Drucktaste 306 wird wahlweise dazu verwendet, um die Vorrichtung ein-/auszuschalten, indem die Taste gedrückt und über einen vordefinierten Zeitraum in der gedrückten Stellung gehalten wird; um die Vorrichtung zu sperren, indem die Taste gedrückt und wieder losgelassen wird, bevor der vordefinierte Zeitraum verstrichen ist; und/oder um die Sperre der Vorrichtung aufzuheben oder einen Entsperrungsvorgang einzuleiten. In einer alternativen Ausführungsform nimmt die Vorrichtung 200 auch gesprochene Eingaben zur Aktivierung oder Deaktivierung einiger Funktionen durch das Mikrofon 213 an. Die Vorrichtung 200 schließt wahlweise auch einen oder mehrere Kontaktintensitätssensoren 265 zum Erfassen der Intensität von Kontakten auf dem Touchscreen 212 und/oder einen oder mehrere Tastausgabeerzeuger 267 zum Erzeugen von Tastausgaben für einen Benutzer der Vorrichtung 200 ein.
4 ist ein Blockdiagramm einer beispielhaften Multifunktionsvorrichtung mit einer Anzeige und einer berührungsempfindlichen Oberfläche gemäß einigen Ausführungsformen. Die Vorrichtung 400 muss nicht tragbar sein. In einigen Ausführungsformen handelt es sich bei der Vorrichtung 400 um einen Laptop-Computer, einen Desktop-Computer, einen Tablet-Computer, eine Medienwiedergabevorrichtung, ein Navigationsgerät, eine pädagogische Vorrichtung (wie etwa ein Lernspielzeug eines Kindes), ein Spielsystem oder eine Steuervorrichtung (z. B. ein Heim- oder gewerblicher Regler). Die Vorrichtung 400 schließt typischerweise eine oder mehrere Verarbeitungseinheiten (CPUs) 410, eine oder mehrere Netzwerk- oder andere Kommunikationsschnittstellen 460, den Speicher 470 und einen oder mehrere Kommunikationsbusse 420 zum Verbinden dieser Komponenten miteinander ein. Die Kommunikationsbusse 420 schließen wahlweise eine Schaltung (manchmal als ein Chipsatz bezeichnet) ein, die Systemkomponenten miteinander verbindet und die Kommunikation zwischen diesen steuert. Die Vorrichtung 400 schließt die Eingabe/Ausgabe-Schnittstelle (E/A-Schnittstelle) 430 ein, die die Anzeige 440 umfasst, bei der es sich in der Regel um eine Touchscreen-Anzeige handelt. Die E/A-Schnittstelle 430 schließt wahlweise auch eine Tastatur und/oder Maus (oder andere Zeigevorrichtung) 450 und ein Touchpad 455, einen Tastausgabeerzeuger 457 zum Erzeugen von Tastausgaben auf der Vorrichtung 400 (z. B. ähnlich dem einen oder mehreren vorstehend unter Bezugnahme auf 2A beschriebenen Tastausgabeerzeuger(n) 267), Sensoren 459 (z. B. optische, Beschleunigungs-, Näherungs-, berührungsempfindliche und/oder Kontaktintensitätssensoren, ähnlich dem oder den vorstehend unter Bezugnahme auf 2A beschriebenen Kontaktintensitätssensor(en) 265), ein. Der Speicher 470 schließt einen Hochgeschwindigkeitsspeicher mit wahlfreiem Zugriff, wie beispielsweise DRAM, SRAM, DDR RAM oder andere Halbleiterspeichervorrichtungen ein; und schließt wahlweise einen nicht flüchtigen Speicher, wie beispielsweise eine oder mehrere Magnetdiskettenspeichervorrichtungen, optische Plattendatenspeichervorrichtungen, Flash-Speichervorrichtungen oder andere nicht flüchtige Halbleiterspeichervorrichtungen ein. Der Speicher 470 schließt wahlweise eine oder mehrere Speichervorrichtungen ein, die von der/den CPU(s) 410 entfernt angeordnet sind. In einigen Ausführungsformen sind im Speicher 470 Programme, Module und Datenstrukturen oder ein Teilsatz davon analog zu den im Speicher 202 der tragbaren Multifunktionsvorrichtung 200 (2A) gespeicherten Programmen, Modulen und Datenstrukturen gespeichert. Des Weiteren speichert der Speicher 470 wahlweise zusätzliche Programme, Module und Datenstrukturen, die im Speicher 202 der tragbaren Multifunktionsvorrichtung 200 nicht vorhanden sind. Zum Beispiel sind im Speicher 470 der Vorrichtung 400 wahlweise ein Zeichenmodul 480, ein Präsentationsmodul 482, ein Textverarbeitungsmodul 484, ein Webseitenerstellungsmodul 486, ein Modul zur Erstellung von Disks 488 und/oder ein Tabellenkalkulationsmodul 490 gespeichert, während diese Module im Speicher 202 der tragbaren Multifunktionsvorrichtung 200 (2A) wahlweise nicht gespeichert sind.
Jedes der vorstehend in 4 angegebenen Elemente kann in einer oder mehreren der zuvor erwähnten Speichervorrichtungen gespeichert sein. Jedes der vorstehend angegebenen Module entspricht einem Satz von Anweisungen zum Durchführen einer vorstehend beschriebenen Funktion. Die vorstehend angegebenen Module oder Programme (z. B. Anweisungssätze) müssen nicht als separate Software-Programme, Prozeduren oder Module implementiert sein, und somit können verschiedene Teilmengen dieser Module in verschiedenen Ausführungsformen kombiniert oder anderweitig neu angeordnet werden. In einigen Ausführungsformen kann der Speicher 470 eine Teilmenge der oben angegebenen Module und Datenstrukturen speichern. Des Weiteren kann der Speicher 470 zusätzliche Module und Datenstrukturen speichern, die vorstehend nicht beschrieben wurden.
Die Aufmerksamkeit wird nun auf Ausführungsformen von Benutzerschnittstellen gerichtet, die zum Beispiel auf der tragbaren Multifunktionsvorrichtung 200 implementiert sein können.
5A veranschaulicht eine beispielhafte Benutzerschnittstelle für ein Menü von Anwendungen auf der tragbaren Multifunktionsvorrichtung 200 gemäß einigen Ausführungsformen. Auf der Vorrichtung 400 können ähnliche Benutzerschnittstellen implementiert sein. In einigen Ausführungsformen umfasst die Benutzerschnittstelle 500 die folgenden Elemente oder eine Teilmenge oder eine Übermenge davon:
Signalstärkeindikator(en) 502 zur drahtlosen Kommunikation, wie etwa Funk- und WLAN-Signale;

• Zeit 504;
• Bluetooth-Indikator 505;
• Akku- oder Batteriestatusindikator 506;
• Ablage 508 mit Symbolen für häufig verwendete Anwendungen, wie beispielsweise:
– Symbol 516 für das Telefonmodul 238, gekennzeichnet mit „Phone” (Telefon), das wahlweise einen Indikator 514 der Anzahl verpasster Anrufe oder von Anrufbeantworternachrichten einschließt;
– Symbol 518 für das E-Mail-Client-Modul 240, gekennzeichnet mit „Mail”, das wahlweise einen Indikator 510 der Anzahl ungelesener E-Mails einschließt;
– Symbol 520 für das Browsermodul 247, gekennzeichnet mit „Browser”; und
– Symbol 522 für das Video- und Musikwiedergabemodul 252, auch als iPod(Marke von Apple Inc.)-Modul 252 bezeichnet, gekennzeichnet mit „iPod”; und
• Symbole für andere Anwendungen, wie beispielsweise:
– Symbol 524 für das IM-Modul 241, gekennzeichnet mit „Messages” (Nachrichten);
– Symbol 526 für das Kalendermodul 248, gekennzeichnet mit „Calendar” (Kalender);
– Symbol 528 für das Bildverwaltungsmodul 244, gekennzeichnet mit „Photos” (Fotos);
– Symbol 530 für das Kameramodul 243, gekennzeichnet mit „Camera” (Kamera);
– Symbol 532 für das Online-Video-Modul 255, gekennzeichnet mit „Online Video” (Online-Video);
– Symbol 534 für das Aktien-Widget 249-2, gekennzeichnet mit „Stocks” (Aktien);
– Symbol 536 für das Kartenmodul 254, gekennzeichnet mit „Maps” (Karten);
– Symbol 538 für das Wetter-Widget 249-1, gekennzeichnet mit „Weather” (Wetter);
– Symbol 540 für das Wecker-Widget 249-4, gekennzeichnet mit „Clock” (Uhr);
– Symbol 542 für das Trainingsunterstützungsmodul 242, gekennzeichnet mit „Workout Support” (Trainingsunterstützung);
– Symbol 544 für das Notizenmodul 253, gekennzeichnet mit „Notes” (Notizen); und
– Symbol 546 für eine Einstellungsanwendung oder ein Einstellungsmodul, gekennzeichnet mit „Settings” (Einstellungen), die bzw. das Zugriff auf Einstellungen für die Vorrichtung 200 und ihre verschiedenen Anwendungen 236 bereitstellt.

Es sollte beachtet werden, dass die in 5A veranschaulichten Symbolkennzeichnungen lediglich beispielhaft sind. Beispielsweise kann das Symbol 522 für das Video- und Musikwiedergabemodul 252 wahlweise als „Music” oder „Music Player” gekennzeichnet sein. Für verschiedene Anwendungssymbole werden wahlweise andere Kennzeichnungen verwendet. In einigen Ausführungsformen schließt eine Kennzeichnung für ein jeweiliges Anwendungssymbol einen Namen einer Anwendung ein, der dem entsprechenden Anwendungssymbol entspricht. In einigen Ausführungsformen unterscheidet sich eine Kennzeichnung für ein bestimmtes Anwendungssymbol von einem Namen einer Anwendung, der dem bestimmten Anwendungssymbol entspricht.
5B veranschaulicht eine beispielhafte Benutzerschnittstelle auf einer Vorrichtung (z. B. der Vorrichtung 400, 4) mit einer berührungsempfindlichen Oberfläche 551 (z. B. ein Tablet oder Touchpad 455, 4), die von der Anzeige 550 (z. B. der Touchscreen-Anzeige 212) separat ist. Die Vorrichtung 400 schließt wahlweise auch einen oder mehrere Kontaktintensitätssensoren (z. B. einen oder mehrere der Sensoren 457) zum Erfassen der Intensität von Kontakten auf der berührungsempfindlichen Oberfläche 551 und/oder einen oder mehrere Tastausgabeerzeuger 459 zum Erzeugen von Tastausgaben für einen Benutzer der Vorrichtung 400 ein.
Obwohl einige der folgenden Beispiele unter Bezugnahme auf Eingaben auf der Touchscreen-Anzeige 212 gegeben werden (wo die berührungsempfindliche Oberfläche und die Anzeige kombiniert sind), erfasst die Vorrichtung in einigen Ausführungsformen Eingaben auf einer berührungsempfindlichen Oberfläche, die von der Anzeige separat ist, wie in 5B gezeigt. In einigen Ausführungsformen besitzt die berührungsempfindliche Oberfläche (z. B. 551 in 5B) eine Primärachse (z. B. 552 in 5B), die einer Primärachse (z. B. 553 in 5B) auf der Anzeige (z. B. 550) entspricht. Gemäß diesen Ausführungsformen erfasst die Vorrichtung Kontakte (z. B. 560 und 562 in 5B) mit der berührungsempfindlichen Oberfläche 551 an Stellen, die jeweiligen Stellen auf der Anzeige entsprechen (z. B. entspricht in 5B Bezugsziffer 560 Bezugsziffer 568, und 562 entspricht 570). Auf diese Weise werden durch die Vorrichtung auf der berührungsempfindlichen Oberfläche (z. B. 551 in 5B) erfasste Benutzereingaben (z. B. die Kontakte 560 und 562 und Bewegungen davon) durch die Vorrichtung verwendet, um die Benutzerschnittstelle auf der Anzeige (z. B. 550 in 5B) der Multifunktionsvorrichtung zu verändern, wenn die berührungsempfindliche Oberfläche von der Anzeige separat ist. Es versteht sich, dass ähnliche Verfahren wahlweise für andere hierin beschriebene Benutzerschnittstellen verwendet werden.
Während die folgenden Beispiele hauptsächlich unter Bezugnahme auf Fingereingaben (z. B. Fingerkontakte, Fingertippgesten, Fingerwischgesten) gegeben werden, sollte verstanden werden, dass in manchen Ausführungsformen zusätzlich eine oder mehrere der Fingereingaben durch Eingaben von einer anderen Eingabevorrichtung (z. B. eine mausbasierte Eingabe oder Stifteingabe) ersetzt werden. Beispielsweise wird eine Wischbewegung wahlweise durch einen Mausklick (z. B. anstelle eines Kontakts) gefolgt von Bewegung des Cursors entlang dem Pfad des Wischens (z. B. anstelle der Bewegung des Kontakts) ersetzt. Als weiteres Beispiel wird eine Tippbewegung wahlweise durch einen Mausklick ersetzt, während der Cursor sich über der Position der Tippbewegung befindet (z. B. anstelle von Erfassen des Kontakts gefolgt vom Aufhören des Erfassens des Kontakts). Wenn mehrere Benutzereingaben gleichzeitig erfasst werden, versteht es sich auf ähnliche Weise, dass mehrere Computermäuse wahlweise gleichzeitig oder wahlweise eine Maus und Fingerkontakte gleichzeitig verwendet werden.
6A veranschaulicht eine beispielhafte persönliche elektronische Vorrichtung 600. Die Vorrichtung 600 schließt den Körper 602 ein. In einigen Ausführungsformen kann die Vorrichtung 600 einige oder alle in Hinblick auf die Vorrichtungen 200 und 400 (z. B. 2A bis 4B) beschriebenen Merkmale einschließen. In einigen Ausführungsformen weist die Vorrichtung 600 einen berührungsempfindlichen Anzeigebildschirm 604 auf, nachstehend Touchscreen 604 genannt. Alternativ oder zusätzlich zum Touchscreen 604 weist die Vorrichtung 600 eine Anzeige und eine berührungsempfindliche Oberfläche auf. Wie bei den Vorrichtungen 200 und 400 kann der Touchscreen 604 (oder die berührungsempfindliche Oberfläche) in einigen Ausführungsformen einen oder mehrere Intensitätssensoren zum Erfassen einer Intensität von angewendeten Kontakten (z. B. Berührungen) enthalten. Der eine oder die mehreren Intensitätssensoren des Touchscreens 604 (oder der berührungsempfindlichen Oberfläche) können Ausgabedaten bereitstellen, welche die Intensität von Berührungen wiedergeben. Die Benutzerschnittstelle der Vorrichtung 600 kann auf Berührungen auf Grundlage ihrer Intensität reagieren, was bedeutet, dass Berührungen von unterschiedlichen Intensitäten unterschiedliche Benutzerschnittstellenvorgänge auf der Vorrichtung 600 aufrufen können.
Techniken zum Erfassen und Verarbeiten einer Berührungsintensität können zum Beispiel in verwandten Anmeldungen gefunden werden: die am B. Mai 2013 eingereichte internationale Patentanmeldung Seriennummer PCT/US2013/040061 mit dem Titel „Device, Method, and Graphical User Interface for Displaying User Interface Objects Corresponding to an Application” und die am 11. November 2013 eingereichte internationale Patentanmeldung Seriennummer PCT/US2013/069483 mit dem Titel „Device, Method, and Graphical User Interface for Transitioning Between Touch Input to Display Output Relationships”, von denen jede hiermit durch Bezugnahme in ihrer Gesamtheit aufgenommen wird.
In einigen Ausführungsformen weist die Vorrichtung 600 einen oder mehrere Eingabemechanismen 606 und 608 auf. Die Eingabemechanismen 606 und 608, falls eingeschlossen, können physisch sein. Beispiel physischer Eingabemechanismen schließen Drucktasten und drehbare Mechanismen ein. In einigen Ausführungsformen weist die Vorrichtung 600 einen oder mehrere Befestigungsmechanismen auf. Solche Befestigungsmechanismen, falls eingeschlossen, können eine Befestigung der Vorrichtung 600 zum Beispiel an Hüten, Brillen, Ohrringen, Halsketten, Hemden/Blusen/T-Shirts, Jacken, Armbändern, Armbanduhrbändern, Ketten, Hosen, Gürteln, Schuhen, Handtaschen, Rucksäcken und so weiter gestatten. Diese Befestigungsmechanismen können es der Vorrichtung 600 gestatten, durch einen Benutzer am Körper getragen zu werden.
6B stellt eine beispielhafte persönliche elektronische Vorrichtung 600 dar. In einigen Ausführungsformen kann die Vorrichtung 600 einige oder alle in Hinblick auf 2A, 2B und 4 beschriebenen Merkmale einschließen. Die Vorrichtung 600 weist einen Bus 612 auf, der einen E/A-Abschnitt 614 betrieblich mit einem oder mehreren Computerprozessoren 616 und einem Speicher 618 koppelt. Der E/A-Abschnitt 614 kann mit einer Anzeige 604 gekoppelt sein, die eine berührungsempfindliche Komponente 622 und wahlweise eine berührungsintensitätsempfindliche Komponente 624 aufweisen kann. Zusätzlich kann der E/A-Abschnitt 614 mit einer Kommunikationseinheit 630 verbundenen sein, um Anwendungs- und Betriebssystemdaten über Wi-Fi, Bluetooth, Nahfeldkommunikation (NFC), Mobilkommunikation und/oder andere drahtlose Kommunikationstechniken zu empfangen. Die Vorrichtung 600 kann die Eingabemechanismen 606 und/oder 608 einschließen. Bei dem Eingabemechanismus 606 kann es sich zum Beispiel um eine drehbare Eingabevorrichtung oder eine drückbare und drehbare Eingabevorrichtung handeln. Bei dem Eingabemechanismus 608 kann es sich in einigen Beispielen um eine Schaltfläche bzw. Taste handeln.
Bei dem Eingabemechanismus 608 kann es sich in einigen Beispielen um ein Mikrofon handeln. Die persönliche elektronische Vorrichtung 600 kann verschiedene Sensoren einschließen, wie beispielsweise einen GPS-Sensor 632, einen Beschleunigungsmesser 634, einen Richtungssensor 640 (z. B. Kompass), ein Gyroskop 636, einen Bewegungssensor 638 und/oder eine Kombination davon, die alle wirkverbunden mit dem E/A-Abschnitt 614 sein können.
Bei dem Speicher 618 der persönlichen elektronischen Vorrichtung 600 kann es sich um ein nicht flüchtiges, computerlesbares Speichermedium zum Speichern von computerausführbaren Anweisungen handeln, welche, bei Ausführung durch einen oder mehrere Computerprozessoren 616, zum Beispiel bewirken können, dass die Computerprozessoren die weiter unten beschriebenen Techniken, einschließlich des Verfahrens 900 (9A–C), ausführen. Die computerausführbaren Anweisungen können auch innerhalb jedes nichtflüchtigen, computerlesbaren Datenspeichermediums zur Verwendung durch oder in Verbindung mit einem Anweisungsausführsystem, einer Anweisungsausführeinrichtung oder einer Anweisungsausführvorrichtung gespeichert und/oder transportiert werden, wie beispielsweise ein computergestütztes System, ein prozessorenthaltendes System oder ein anderes System, das die Anweisungen aus dem Anweisungsausführsystem, der Anweisungsausführeinrichtung oder der Anweisungsausführvorrichtung holen und die Anweisungen ausführen kann. Für Zwecke dieses Dokuments kann es sich bei einem „nichtflüchtigen, computerlesbaren Datenspeichermedium” um jedes Medium handeln, das gegenständlich computerausführbare Anweisungen zur Verwendung durch oder in Verbindung mit dem Anweisungsausführsystem, der Anweisungsausführeinrichtung oder der Anweisungsausführvorrichtung enthalten oder speichern kann. Das nichtflüchtige, computerlesbare Datenspeichermedium kann magnetische, optische und/oder Halbleiterdatenspeicher einschließen, ist jedoch nicht auf diese beschränkt. Beispiele solcher Datenspeicher schließen magnetische Platten, optische Platten auf Grundlage von CD-, DVD- oder Blu-ray-Technologien sowie persistenten Halbleiterspeicher ein, wie beispielsweise Flash-, Halbleiterlaufwerke und Ähnliches. Die persönliche elektronische Vorrichtung 600 ist nicht auf die Komponenten und die Konfiguration von 6B beschränkt, sondern kann andere oder zusätzliche Komponenten in mehreren Konfigurationen einschließen.
Wie hier verwendet, bezieht sich der Begriff „Angebot” auf ein benutzerinteraktives Objekt einer grafischen Benutzerschnittstelle, das auf dem Anzeigebildschirm der Vorrichtungen 200, 400 und/oder 600 (2, 4 und 6) angezeigt werden kann. Zum Beispiel können ein Bild (z. B. ein Symbol), eine Schaltfläche und ein Text (z. B. ein Hyperlink) jeweils eine Affordanz bilden.
Wie hierin verwendet, bezieht sich der Begriff „Fokusauswähler” auf ein Eingabeelement, das einen aktuellen Teil einer Benutzerschnittstelle angibt, mit der ein Benutzer interagiert. In einigen Implementierungen, die einen Cursor oder einen anderen Ortsmarkierer einschließen, agiert der Cursor als ein „Fokusauswähler”, sodass im Falle dessen, dass eine Eingabe (z. B. eine Druckeingabe) auf einer berührungsempfindlichen Oberfläche (z. B. dem Touchpad 455 in 4 oder der berührungsempfindlichen Oberfläche 551 in 5B) erfasst wird, während sich der Cursor über einem bestimmten Benutzerschnittstellenelement befindet (z. B. einer Schaltfläche, einem Fenster, einem Schieberegler oder einem anderen Benutzerschnittstellenelement), das bestimmte Benutzerschnittstellenelement gemäß der erfassten Eingabe angepasst wird. In einigen Implementierungen, die eine Touchscreen-Anzeige (z. B. das berührungsempfindliche Anzeigesystem 212 in 2A oder den Touchscreen 212 in 5A) einschließen, die eine direkte Interaktion mit Benutzerschnittstellenelementen auf der Touchscreen-Anzeige erlauben, agiert ein erfasster Kontakt auf dem Touchscreen als ein „Fokusauswähler”, sodass im Falle dessen, dass eine Eingabe (z. B. eine Druckeingabe durch den Kontakt) auf der Touchscreen-Anzeige an einer Position eines bestimmten Benutzerschnittstellenelements (z. B. einer Schaltfläche, eines Fensters, eines Schiebereglers oder eines anderen Benutzerschnittstellenelements) erfasst wird, das bestimmte Benutzerschnittstellenelement gemäß der erfassten Eingabe angepasst wird. In manchen Implementierungen wird der Fokus ohne eine entsprechende Bewegung eines Cursors oder eine Bewegung eines Kontakts auf der Touchscreen-Anzeige (z. B. unter Verwendung einer Tabulatortaste oder von Pfeiltasten, um den Fokus von einer Schaltfläche zu einer anderen Schaltfläche zu bewegen) von einer Region einer Benutzerschnittstelle zu einer anderen Region der Benutzerschnittstelle bewegt; in diesen Implementierungen bewegt sich der Fokusauswähler gemäß einer Bewegung des Fokus zwischen unterschiedlichen Regionen der Benutzerschnittstelle. Ungeachtet der durch den Fokusauswähler angenommenen, spezifischen Form handelt es sich beim Fokusauswähler allgemein um das Benutzerschnittstellenelement (oder einen Kontakt auf einer Touchscreen-Anzeige), das durch den Benutzer gesteuert wie, um die beabsichtigte Interaktion des Benutzers der Benutzerschnittstelle mitzuteilen (z. B. indem der Vorrichtung das Element der Benutzerschnittstelle angegeben wird, mit dem der Benutzer zu interagieren beabsichtigt). Zum Beispiel wird die Position eines Fokusauswählers (z. B. eines Cursors, eines Kontakts oder eines Auswahlkästchens) über einer entsprechenden Schaltfläche, während auf der berührungsempfindlichen Oberfläche (z. B. einem Touchpad oder Touchscreen) eine Druckeingabe erfasst wird, anzeigen, dass der Benutzer beabsichtigt, die entsprechende Schaltfläche (im Gegensatz zu anderen, auf einer Anzeige der Vorrichtung gezeigten Benutzerschnittstellenelementen) zu aktivieren.
Wie in der Patentschrift und den Ansprüchen verwendet, bezieht sich der Begriff „charakteristische Intensität” eines Kontakts auf ein Charakteristikum des Kontakts auf Grundlage einer oder mehrerer Intensitäten des Kontakts. In manchen Ausführungsformen beruht die charakteristische Intensität auf mehreren Intensitätsproben. Die charakteristische Intensität beruht wahlweise auf einer vordefinierten Anzahl von Intensitätsproben oder einem Satz von Intensitätsproben, die während einer vorbestimmten Zeitspanne (z. B. 0,05; 0,1; 0,2; 0,5; 1; 2; 5; 10 Sekunden) in Bezug auf ein vorbestimmtes Ereignis (z. B. nach Erfassen des Kontakts, vor Erfassen eines Abhebens des Kontakts, vor oder nach Erfassen eines Starts einer Bewegung des Kontakts, vor Erfassen eines Endes des Kontakts, vor oder nach Erfassen eines Anstiegs einer Intensität des Kontakts und/oder vor oder nach Erfassen eines Abfalls einer Intensität des Kontakts) gesammelt werden. Eine charakteristische Intensität eines Kontakts beruht wahlweise auf einem oder mehreren von: einem Maximalwert der Intensitäten des Kontakts, einem Mittelwert der Intensitäten des Kontakts, einem Durchschnittswert der Intensitäten des Kontakts, einem Wert des obersten 10er-Perzentilwertes der Intensitäten des Kontakts, einem Wert bei der Hälfte des Maximums der Intensitäten des Kontakts, einem Wert beim 90%-Maximum der Intensitäten des Kontakts oder Ähnlichem. In manchen Ausführungsformen wird die Dauer des Kontakts beim Feststellen der charakteristischen Intensität verwendet (z. B. wenn es sich bei der charakteristischen Intensität um einen Durchschnitt der Intensität des Kontakts im Zeitverlauf handelt). In manchen Ausführungsformen wird die charakteristische Intensität mit einem Satz von einem oder mehreren Intensitätsschwellenwerten verglichen, um festzustellen, ob ein Vorgang durch einen Benutzer durchgeführt wurde. Zum Beispiel kann der Satz von einem oder mehreren Intensitätsschwellenwerten einen ersten Intensitätsschwellenwert und einen zweiten Intensitätsschwellenwert einschließen. In diesem Beispiel führt ein Kontakt mit einer charakteristischen Intensität, die den ersten Schwellenwert nicht überschreitet, zu einem ersten Vorgang, ein Kontakt mit einer charakteristischen Intensität, die den ersten Intensitätsschwellenwert überschreitet und den zweiten Intensitätsschwellenwert nicht überschreitet, führt zu einem zweiten Vorgang, und ein Kontakt mit einer charakteristischen Intensität, die den zweiten Schwellenwert überschreitet, führt zu einem dritten Vorgang. In manchen Ausführungsformen wird ein Vergleich zwischen der charakteristischen Intensität und einem oder mehreren Schwellenwerten verwendet, um festzustellen, ob ein oder mehrere Vorgänge durchzuführen sind (z. B. ob ein jeweiliger Vorgang durchzuführen ist, oder ob auf das Durchführen des jeweiligen Vorgangs zu verzichten ist) anstatt verwendet zu werden, um festzustellen, ob ein erster Vorgang oder ein zweiter Vorgang durchzuführen ist.
In manchen Ausführungsformen wird ein Anteil einer Geste für Zwecke eines Feststellens einer charakteristischen Intensität identifiziert. Zum Beispiel kann eine berührungsempfindliche Oberfläche einen kontinuierlichen Wischkontakt empfangen, der von einem Startort ausgeht und eine Endposition erreicht, an deren Punkt die Intensität des Kontakts abnimmt. Bei diesem Beispiel kann die charakteristische Intensität des Kontakts an der Endposition auf nur einem Anteil des kontinuierlichen Wischkontakts und nicht dem gesamten Wischkontakt (z. B. nur der Anteil des Wischkontakts an der Endposition) beruhen. In manchen Ausführungsformen kann vor Feststellen der charakteristischen Intensität des Kontakts ein Glättungsalgorithmus auf die Intensitäten des Wischkontakts angewandt werden. Zum Beispiel schließt der Glättungsalgorithmus wahlweise eines oder mehrere ein von: einem ungewichteten Glättungsalgorithmus mit gleitendem Durchschnitt, einem dreieckigen Glättungsalgorithmus, einem Medianfilter-Glättungsalgorithmus und/oder einem exponentiellen Glättungsalgorithmus. Unter manchen Umständen beseitigen diese Glättungsalgorithmen schmale Spitzen oder Senken in den Intensitäten des Wischkontakts, um eine charakteristische Intensität zu bestimmen.
Die Intensität eines Kontakts auf der berührungsempfindlichen Oberfläche kann in Bezug auf einen oder mehrere Intensitätsschwellenwerte gekennzeichnet werden, wie beispielsweise einen Kontakterfassungsintensitätsschwellenwert, einen Leichtdruck-Intensitätsschwellenwert, einen Starkdruck-Intensitätsschwellenwert und/oder einen oder mehrere andere Intensitätsschwellenwerte. In einigen Ausführungsformen entspricht der Intensitätsschwellenwert des leichten Drucks einer Intensität, bei der die Vorrichtung Vorgänge ausführen wird, die in der Regel mit dem Klicken einer Taste einer physischen Maus oder eines Trackpads verknüpft sind. In einigen Ausführungsformen entspricht der Intensitätsschwellenwert des starken Drucks einer Intensität, bei der die Vorrichtung Vorgänge ausführen wird, die von Vorgängen, die in der Regel mit dem Klicken einer Taste einer physischen Maus oder eines Trackpads verknüpft sind, verschieden sind. Wenn ein Kontakt mit einer charakteristischen Intensität unter dem Leichtdruck-Intensitätsschwellenwert erfasst wird (und z. B. über einem nominalen Kontakterfassungsintensitätsschwellenwert, unter dem ein Kontakt nicht länger erfasst wird), wird in manchen Ausführungsformen die Vorrichtung einen Fokusauswähler gemäß einer Bewegung des Kontakts auf der berührungsempfindlichen Oberfläche bewegen, ohne einen Vorgang durchzuführen, der dem Leichtdruck-Intensitätsschwellenwert oder dem Starkdruck-Intensitätsschwellenwert zugeordnet ist. Sofern nichts Anderweitiges angegeben ist, sind diese Intensitätsschwellenwerte allgemein zwischen verschiedenen Sätzen von Benutzerschnittstellenfiguren konstant.
Eine Erhöhung der charakteristischen Intensität des Kontakts von einer Intensität unter dem Leichtdruck-Intensitätsschwellenwert auf eine Intensität zwischen dem Leichtdruck-Intensitätsschwellenwert und dem Starkdruck-Intensitätsschwellenwert wird manchmal als „Leichtdruck”-Eingabe bezeichnet. Eine Erhöhung der charakteristischen Intensität des Kontakts von einer Intensität unter dem Starkdruck-Intensitätsschwellenwert auf eine Intensität über dem Starkdruck-Intensitätsschwellenwert wird manchmal als „Starkdruck”-Eingabe bezeichnet. Eine Erhöhung der charakteristischen Intensität des Kontakts von einer Intensität unter dem Kontakterfassungsintensitätsschwellenwert auf eine Intensität zwischen dem Kontakterfassungsintensitätsschwellenwert und dem Leichtdruck-Intensitätsschwellenwert wird manchmal als Erfassen des Kontakts auf der Berührungsoberfläche bezeichnet. Eine Verringerung der charakteristischen Intensität des Kontakts von einer Intensität über dem Kontakterfassungsintensitätsschwellenwert auf eine Intensität unter dem Kontakterfassungsintensitätsschwellenwert wird manchmal als Erfassen eines Abheben des Kontakts von der Berührungsoberfläche bezeichnet. In manchen Ausführungsformen beträgt der Kontakterfassungsintensitätsschwellenwert null. In manchen Ausführungsformen ist der Kontakterfassungsintensitätsschwellenwert größer als null.
In einigen hierin beschriebenen Ausführungsformen werden ein oder mehrere Vorgänge als Reaktion auf das Erfassen einer Handbewegung, die eine jeweilige Druckeingabe einschließt, oder als Reaktion auf das Erfassen der jeweiligen Druckeingabe, die mit einem jeweiligen Kontakt (oder mehreren Kontakten) ausgeführt wird, ausgeführt, wobei die jeweilige Druckeingabe mindestens teilweise basierend auf dem Erfassen einer Zunahme der Intensität des Kontakts (oder der mehreren Kontakte) über einen Intensitätsschwellenwert der Druckeingabe erfasst wird. In einigen Ausführungsformen wird der jeweilige Vorgang als Reaktion auf das Erfassen der Zunahme der Intensität des jeweiligen Kontakts über den Intensitätsschwellenwert der Druckeingabe (z. B. ein „Abwärtsstreichen” der jeweiligen Druckeingabe) ausgeführt. In einigen Ausführungsformen schließt die Druckeingabe eine Zunahme der Intensität des jeweiligen Kontakts über den Intensitätsschwellenwert der Druckeingabe und eine anschließende Verringerung der Intensität des Kontakts unter den Intensitätsschwellenwert der Druckeingabe ein, und der jeweilige Vorgang wird als Reaktion auf das Erfassen der anschließenden Verringerung der Intensität des jeweiligen Kontakts unter den Intensitätsschwellenwert der Druckeingabe (z. B. ein „Aufwärtsstreichen” der jeweiligen Druckeingabe) ausgeführt.
In manchen Ausführungsformen verwendet die Vorrichtung Intensitätshysteresen, um versehentliche Eingaben, die manchmal „Jitter” genannt werden, zu vermeiden, wobei die Vorrichtung einen Hystereseintensitätsschwellenwert mit einer vordefinierten Beziehung zum Druckeingabe-Intensitätsschwellenwert definiert oder auswählt (z. B. ist der Hystereseintensitätsschwellenwert X Intensitätseinheiten niedriger als der Druckeingabe-Intensitätsschwellenwert, oder der Hystereseintensitätsschwellenwert beträgt 75%, 90% oder einen anderen sinnvollen Anteil des Druckeingabe-Intensitätsschwellenwerts).
Folglich umfasst in einigen Ausführungsformen die Druckeingabe eine Zunahme der Intensität des jeweiligen Kontakts über den Intensitätsschwellenwert der Druckeingabe und eine anschließende Verringerung der Intensität des Kontakts unter den Hystereseintensitätsschwellenwert, der dem Intensitätsschwellenwert der Druckeingabe entspricht, und der jeweilige Vorgang wird als Reaktion auf das Erfassen der anschließenden Verringerung der Intensität des jeweiligen Kontakts unter den Hystereseintensitätsschwellenwert (z. B. ein „Aufwärtsstreichen” der jeweiligen Druckeingabe) ausgeführt. Auf ähnliche Weise wird in einigen Ausführungsformen die Druckeingabe nur erfasst, wenn die Vorrichtung eine Zunahme der Intensität des Kontakts von einer Intensität am oder unter dem Hystereseintensitätsschwellenwert zu einer Intensität am oder über dem Intensitätsschwellenwert der Druckeingabe und wahlweise eine anschließende Verringerung der Intensität des Kontakts zu einer Intensität am oder unter dem Hystereseintensitätsschwellenwert erfasst, und der jeweilige Vorgang wird als Reaktion auf das Erfassen der Druckeingabe (z. B. die Zunahme der Intensität des Kontakts oder die Verringerung der Intensität des Kontakts, in Abhängigkeit von den Umständen) ausgeführt.
Der Einfachheit der Erklärung wegen werden die Beschreibungen von Vorgängen, die als Reaktion auf eine einem Druckeingabe-Intensitätsschwellenwert zugeordneten Druckeingabe oder als Reaktion auf eine Geste, welche die Druckeingabe einschließt, durchgeführt werden, wahlweise als Reaktion auf ein Erfassen durchgeführt von entweder: einer Erhöhung einer Intensität eines Kontakts über den Druckeingabe-Intensitätsschwellenwert, einer Erhöhung einer Intensität eines Kontakts von einer Intensität unter dem Hystereseintensitätsschwellenwert auf eine Intensität über dem Druckeingabe-Intensitätsschwellenwert, einer Verringerung einer Intensität des Kontakts unter den Druckeingabe-Intensitätsschwellenwert und/oder einer Verringerung einer Intensität des Kontakts unter den Hystereseintensitätsschwellenwert, der dem Druckeingabe-Intensitätsschwellenwert entspricht. Darüber hinaus wird in Beispielen, in denen beschrieben wird, dass ein Vorgang als Reaktion auf das Erfassen einer Verringerung der Intensität eines Kontakts unter den Intensitätsschwellenwert der Druckeingabe ausgeführt wird, der Vorgang wahlweise als Reaktion auf das Erfassen einer Verringerung der Intensität des Kontakts unter einen Hystereseintensitätsschwellenwert, der einem Intensitätsschwellenwert der Druckeingabe entspricht und niedriger als dieser ist, ausgeführt.
3. System des digitalen Assistenten
7A zeigt ein Blockdiagramm eines digitalen Assistenzsystems 700 gemäß verschiedenen Beispielen. In einigen Beispielen kann das digitale Assistenzsystem 700 auf einem eigenständigen Computersystem implementiert werden. In einigen Beispielen kann das digitale Assistenzsystem 700 über mehrere Computer verteilt werden. Bei einigen Beispielen können einige der Module und Funktionen des digitalen Assistenten wie in 1 gezeigt in einen Server-Teil und einen Client-Teil aufgeteilt werden, wobei sich der Client-Teil auf einer oder mehreren Benutzervorrichtung/en (z. B. die Vorrichtungen 104, 122, 400 oder 600) befindet und mit dem Server-Teil (z. B. Serversystem 108) über eines oder mehrere Netzwerke kommuniziert. In einigen Beispielen kann das digitale Assistenzsystem 700 eine Implementierung des in 1 dargestellten Serversystems 108 (und/oder des Servers des digitalen Assistenten 106) sein. Es sei darauf hingewiesen, dass das digitale Assistenzsystem 700 nur ein Beispiel eines digitalen Assistenzsystems ist und dass das digitale Assistenzsystem 700 mehr oder weniger Komponenten als dargestellt aufweisen kann, zwei oder mehr Komponenten kombinieren kann oder eine andere Konfiguration oder Anordnung der Komponenten aufweisen kann. Die verschiedenen in 7A dargestellten Komponenten können in Hardware, Softwareanweisungen zur Ausführung durch einen oder mehrere Prozessoren, Firmware, einschließlich einer oder mehrerer Signalverarbeitungsschaltungen und/oder anwendungsspezifischer integrierter Schaltungen (Application Specific Integrated Circuits), oder einer Kombination davon implementiert werden.
Das digitale Assistenzsystem 700 kann einen Speicher 702, einen oder mehrere Prozessoren 704, eine Eingabe/Ausgabe-(E/A-)Schnittstelle 706 und eine Netzwerkkommunikationsschnittstelle 708 aufweisen. Diese Komponenten können miteinander über einen oder mehrere Kommunikationsbusse oder eine oder mehrere Signalleitungen 710 kommunizieren.
In einigen Beispielen kann Speicher 702 ein nicht-transitorisches computerlesbares Speichermedium aufweisen, wie Hochgeschwindigkeits-Direktzugriffsspeicher und/oder ein nichtflüchtiges computerlesbares Speichermedium (z. B. eine oder mehrere Magnetplatten-Speichervorrichtungen, Flash-Speichervorrichtungen oder andere nichtflüchtige Festkörper-Speichervorrichtungen).
In einigen Beispielen kann die E/A-Schnittstelle 706 Eingabe/Ausgabe-Vorrichtungen 716 des digitalen Assistenzsystems 700, wie Anzeigen, Tastaturen, Berührungsbildschirme und Mikrofone mit dem Benutzerschnittstellenmodul 722 koppeln. Die E/A-Schnittstelle 706 zusammen mit dem Benutzerschnittstellenmodul 722 kann Benutzereingaben (z. B. Spracheingabe, Tastatureingaben, Berührungseingaben usw.) empfangen und entsprechend verarbeiten. In einigen Beispielen, z. B. wenn der digitale Assistent in einer eigenständigen Benutzervorrichtung implementiert ist, kann das System des digitalen Assistenten 700 beliebige der Komponenten und E/A- und Kommunikationsschnittstellen beinhalten, die in Bezug auf die Vorrichtungen 200, 400 oder 600 in 2A, 4 bzw. 6A–B beschrieben sind. In einigen Beispielen kann das System des digitalen Assistenten 700 den Serverabschnitt einer Implementierung des digitalen Assistenten darstellen und mit dem Benutzer durch einen clientseitigen Abschnitt auf einer Benutzervorrichtung (z. B. den Vorrichtungen 104, 200, 400 oder 600) interagieren.
In einigen Beispielen kann die Netzwerkkommunikationsschnittstelle 708 drahtgebundene Kommunikationsanschlüsse 712 und/oder drahtlose Übertragungs- und Empfangsschaltungen 714 umfassen. Die drahtgebundenen Kommunikationsanschlüsse können Kommunikationssignale über eine oder mehrere drahtgebundene Schnittstellen wie Ethernet, USB (Universal Serial Bus) oder FIREWIRE empfangen und senden. Der drahtlose Schaltkreis 714 kann HF-Signale und/oder optische Signale an Kommunikationsnetzwerke und andere Kommunikationsvorrichtungen senden bzw. von diesen empfangen. Die kabellosen Kommunikationen können beliebige von einer Vielzahl von Kommunikationsstandards, Protokollen und Technologien wie GSM, EDGE, CDMA, TDMA, Bluetooth, WLAN, VoIP, Wi-MAX oder jedes andere geeignete Kommunikationsprotokoll verwenden. Die Netzwerkkommunikationsschnittstelle 708 kann die Kommunikation zwischen dem System des digitalen Assistenten 700 und Netzwerken wie dem Internet, einem Intranet und/oder einem drahtlosen Netzwerk wie einem Mobiltelefonnetzwerk, einem drahtlosen lokalen Netzwerk (LAN) und/oder einem innerstädtischen Netzwerk (MAN) und anderen Vorrichtungen ermöglichen.
In einigen Beispielen kann Speicher 702 oder das computerlesbare Speichermedium von Speicher 702 Programme, Module, Anweisungen und Datenstrukturen speichern, darunter alle oder einen Teilsatz von: Betriebssystem 718, Kommunikationsmodul 720, Benutzerschnittstellenmodul 722, einer oder mehreren Anwendungen 724 und dem Modul des digitalen Assistenten 726. Insbesondere können der Speicher 702 oder das computerlesbare Speichermedium des Speichers 702 Anweisungen zum Durchführen des Verfahrens 900 speichern, das weiter unten beschrieben ist. Ein oder mehrere Prozessoren 704 können diese Programme, Module und Anweisungen ausführen und von den Datenstrukturen lesen bzw. auf diese schreiben.
Das Betriebssystem 718 (z. B. Darwin, RTXC, LINUX, UNIX, OS X, WINDOWS oder ein eingebettetes Betriebssystem, wie VxWorks) kann verschiedene Softwarekomponenten und/oder Treiber zum Steuern und Verwalten allgemeiner System-Tasks (z. B. Speicherverwaltung, Speichervorrichtungssteuerung, Stromverwaltung usw.) aufweisen und die Kommunikationen zwischen verschiedenen Hardware-, Firmware- und Softwarekomponenten erleichtern.
Das Kommunikationsmodul 720 kann die Kommunikation zwischen dem System des digitalen Assistenten 700 und anderen Vorrichtungen über die Netzwerkkommunikationsschnittstelle 708 erleichtern. Das Kommunikationsmodul 720 kann beispielsweise mit der HF-Schaltung 208 von elektronischen Vorrichtungen wie den Vorrichtungen 200, 400 und 600, wie in 2A, 4 bzw. 6A–B gezeigt, kommunizieren. Das Kommunikationsmodul 720 kann auch verschiedene Komponenten zum Umgang mit Daten aufweisen, die über die drahtlose Schaltung 714 und/oder den kabelgebundenen Kommunikations-Anschluss 712 empfangen werden.
Das Benutzerschnittstellenmodul 722 kann Befehle und/oder Eingaben von einem Benutzer über die E/A-Schnittstelle 706 (z. B. von einer Tastatur, einem Berührungsbildschirm, einer Zeigervorrichtung, einem Controller und/oder Mikrofon) empfangen und Benutzerschnittstellenobjekte auf einer Anzeige erzeugen. Das Benutzerschnittstellenmodul 722 kann auch Ausgaben (z. B. Sprache, Ton, Animation, Text, Symbole, Vibrationen, haptische Rückmeldung, Licht usw.) an den Benutzer über die E/A-Schnittstelle 706 (z. B. durch Anzeigen, Audiokanäle, Lautsprecher, Touchpads usw.) erstellen und liefern.
Die Anwendungen 724 beinhalten Programme und/oder Module, die für die Ausführung durch einen oder mehrere Prozessoren 704 konfiguriert sind. Wenn das System des digitalen Assistenten in einer eigenständigen Benutzervorrichtung umgesetzt wird, können die Anwendungen 724 z. B. Benutzeranwendungen wie Spiele, eine Kalenderanwendung, eine Navigationsanwendung oder eine E-Mail-Anwendung beinhalten. Wenn das System des digitalen Assistenten 700 in einer Serverfarm umgesetzt wird, können die Anwendungen 724 z. B. Ressourcenverwaltungsanwendungen, Diagnoseanwendungen oder Planungsanwendungen beinhalten.
Der Speicher 702 speichert auch das Modul des digitalen Assistenten 726 (oder den Serverabschnitt eines digitalen Assistenten). In einigen Beispielen kann das Modul des digitalen Assistenten 726 die folgenden Untermodule oder einen Teilsatz oder eine Übermenge von Folgendem beinhalten: ein Eingabe- und Ausgabeverarbeitungsmodul 728, ein Sprache-zu-Text-(STT-)Verarbeitungsmodul 730, ein Modul zur Verarbeitung natürlicher Sprache 732, ein Dialogflussverarbeitungsmodul 734, ein Task-Flow-Verarbeitungsmodul 736, ein Dienstverarbeitungsmodul 738 und ein Sprach-Synthesemodul 740. Jedes dieser Module kann Zugriff auf eines oder mehrere der folgenden Systeme oder Daten und Modelle des Moduls des digitalen Assistenten 726 oder eine Teilmenge oder eine Übermenge von Folgendem haben: Ontologie 760, Wörterverzeichnis 744, Benutzerdaten 748, Task-Flow-Modelle 754, Dienst-Modelle 756 und ASR-Systeme.
In einigen Beispielen kann der digitale Assistent bei Verwendung der Verarbeitungsmodule, Daten und Modelle des digitalen Assistentenmoduls 726 mindestens eins der Folgenden ausführen: Umwandlung von Spracheingaben zu Text: Identifizieren einer Benutzerabsicht, die in einer vom Benutzer empfangenen Eingabe in natürlicher Sprache ausgedrückt ist; aktives Anfordern und Erhalten von Informationen, die erforderlich sind, um die Benutzerabsicht vollständig zu ermitteln (z. B. durch vereindeutigende Wörter, Namen oder Absichten); Bestimmen des Aufgabenflusses zur Erfüllung der ermittelten Absicht und Ausführen des Aufgabenflusses zur Erfüllung der ermittelten Absicht.
In einigen Ausführungsformen, wie in 7B dargestellt, interagiert das E/A-Verarbeitungsmodul 728 mit dem Benutzer durch die E/A-Vorrichtungen 716 in 7A oder mit einer Benutzervorrichtung (z. B. Vorrichtungen 104, 200, 400 oder 600) durch die Netzwerkkommunikationsschnittstelle 708 in 7A, um Benutzereingabe (z. B. eine Spracheingabe) zu erhalten und Antworten (z. B. als Sprachausgaben) auf die Benutzereingabe bereitzustellen. Das E/A-Verarbeitungsmodul 728 kann wahlweise Kontextinformationen im Zusammenhang mit der Benutzereingabe aus der Benutzervorrichtung, während oder kurz nach dem Empfangen der Benutzereingabe, enthalten. Die Kontextinformationen können benutzerspezifische Daten, Vokabular und/oder Präferenzen einschließen, die für die Benutzereingabe relevant sind. In einigen Beispielen können die Kontextinformationen auch den Software- und Hardwarestatus der Benutzervorrichtung zum Zeitpunkt des Empfangens der Benutzeranforderung und/oder Informationen bezüglich der Umgebung des Benutzers zum Zeitpunkt des Empfangens der Benutzeranforderung einschließen. In einigen Beispielen kann auch das E/A-Verarbeitungsmodul 728 Nachfolgefragen an den Benutzer senden und Antworten von dem Benutzer bezüglich der Benutzeranforderung empfangen. Wenn eine Benutzeranforderung vom E/A-Verarbeitungsmodul 728 empfangen wird und die Benutzeranforderung eine Spracheingabe enthält, kann das E/A-Verarbeitungsmodul 728 die Spracheingabe an das Sprache-zu-Text-(STT-)Verarbeitungsmodul 730 für eine Umwandlung von Sprache zu Text leiten.
Das SST-Verarbeitungsmodul 730 kann ein oder mehrere ASR-Systeme beinhalten. Das eine oder die mehreren ASR-Systeme können die Spracheingabe verarbeiten, die über das E/A-Verarbeitungsmodul 728 empfangen wird, um ein Erkennungsergebnis zu erzeugen. Jedes ASR-System kann einen Front-End-Sprachpräprozessor umfassen. Der Front-End-Sprachpräprozessor kann typische Merkmale aus der Spracheingabe extrahieren. Zum Beispiel kann der Front-End-Sprachpräprozessor eine Fourier-Transformation bei der Spracheingabe durchführen, um spektrale Merkmale zu extrahieren, die die Spracheingabe als eine Sequenz von typischen mehrdimensionalen Vektoren kennzeichnen. Ferner kann jedes ASR-System ein oder mehrere Spracherkennungsmodelle (z. B. Akustikmodelle und/oder Sprachmodelle) umfassen und ein oder mehrere Spracherkennungsmodule implementieren. Beispiele für Spracherkennungsmodelle sind beispielsweise Hidden Markov-Modelle, Gaussian-Mixture-Modelle, Deep Neural Network-Modelle, n-gram-Sprachmodelle und weitere statistische Modelle. Beispiele von Spracherkennungsmodulen können die DTW-basierten Module (Dynamic Time Warping) und WFST-basierten Module (Weighted Finite-State Transducer) umfassen. Das eine oder die mehreren Spracherkennungsmodelle und die eine oder die mehreren Spracherkennungs-Engines könne verwendet werden, um die extrahierten repräsentativen Funktionen des Front-End Sprach-Preprozessors zu verarbeiten und Zwischen-Erkennungsergebnisse (z. B. Phoneme, phonemische Zeichenfolgen und Unterbegriffe) und letztendlich Texterkennungsergebnisse (z. B. Worte, Wortzeichenfolgen oder Token-Sequenzen) zu erzeugen. In einigen Beispielen kann die Spracheingabe zumindest teilweise durch einen Drittanbieterservice oder auf der Vorrichtung des Benutzers (z. B. Vorrichtung 104, 200, 400 oder 600) verarbeitetet werden, um die Erkennungsergebnisse zu erzielen. Sobald das STT-Verarbeitungsmodul 730 Erkennungsergebnisse mit einer Textzeichenfolge (z. B. Worte oder Wortsequenzen oder Token-Sequenzen) erzeugt, kann das Erkennungsergebnis zur Ableitung der Absicht an das Modul zur Verarbeitung natürlicher Sprache 732 weitergeleitet werden.
Weitere Details zur Sprache-zu-Text-Verarbeitung sind in der US-Gebrauchsmusteranmeldung Eingangs-Nr. 13/236,942 mit dem Titel „Consolidating Speech Recognition Results”, eingereicht am 20. September 2011, deren gesamte Offenbarung durch Bezugnahme hierin eingeschlossen ist, beschrieben.
In einigen Beispielen kann das STT-Verarbeitungsmodul 730 ein Vokabular erkennbarer Worte über ein phonetisches Alphabet-Umwandlungsmodul 731 enthalten und/oder darauf zugreifen. Jedes Wort im Vokabular kann mit einer oder mehreren möglichen Aussprachen des Worts verbunden sein, die in einer Buchstabiertafel zur Spracherkennung vertreten sind. Insbesondere kann das Vokabular erkennbarer Worte ein Wort enthalten, das mit mehreren möglichen Aussprachen verknüpft ist. Das Vokabular kann beispielsweise das Wort „tomato” enthalten, das mit der möglichen Aussprache
und
verknüpft ist. Des Weiteren kann das Vokabular mit benutzerdefinierten möglichen Aussprachen verknüpft sein, die auf vorangegangenen Spracheingaben des Benutzers basieren. Solche benutzerdefinierten möglichen Aussprachen können im STT-Verarbeitungsmodul 730 gespeichert und über das Benutzerprofil auf der Vorrichtung einem bestimmten Benutzers zugeordnet werden. In manchen Beispielen können die möglichen Aussprachen von Wörtern basierend auf der Schreibweise des Worts und einer oder mehreren linguistischen und/oder phonetischen Regeln bestimmt werden. In manchen Beispielen können die möglichen Aussprachen manuell erzeugt werden, z. B. basierend auf bekannten anerkannten Aussprachen.
In manchen Beispielen können die möglichen Aussprachen basierend auf der Häufigkeit der möglichen Aussprache eingestuft werden. Die mögliche Aussprache
kann beispielsweise höher eingeordnet werden als
da ersteres die eher übliche Aussprache ist (z. B. bei allen Benutzern, bei Benutzern in einem bestimmten geographischen Bereich oder für eine andere geeignete Benutzerteilmenge. In einigen Beispielen kann die mögliche Aussprache auf der Basis dessen eingeordnet werden, ob die mögliche Aussprache eine benutzerdefinierte mögliche Aussprache ist, die dem Benutzer zugeordnet wurde. Eine benutzerdefinierte mögliche Aussprache kann beispielsweise höher eingeordnet werden als eine anerkannte mögliche Aussprache. Dies kann hilfreich bei der Erkennung von Eigennamen mit einer einzigartigen Aussprache sein, die von der anerkannten Aussprache abweicht. In einigen Beispielen kann eine mögliche Aussprache einer oder mehreren Spracheigenschaften wie einer geografischen Herkunft, einer Nationalität oder einer ethnischen Zugehörigkeit zugeordnet werden. Die mögliche Aussprache
kann beispielsweise mit den Vereinigten Staaten verbunden werden, wohingegen die mögliche Aussprache
Großbritannien zugeordnet werden kann. Des Weiteren kann die Rangfolge der möglichen Aussprache auf einer oder mehreren Eigenschaften des Nutzers (z. B. der geografischen Herkunft, der Nationalität, ethnischen Zugehörigkeit usw.) basieren, die im Profil des Benutzers der Vorrichtung gespeichert sind. Anhand des Benutzerprofils lässt sich beispielsweise feststellen, dass der Benutzer mit den Vereinigten Staaten verbunden ist. Basierend auf dem Benutzer, der mit den Vereinigten Staaten verbunden ist, wird die mögliche Aussprache
(verknüpft mit den Vereinigten Staaten) höher eingeordnet als die mögliche Aussprache
(verknüpft mit Großbritannien). In einigen Beispielen kann eine der eingeordneten möglichen Aussprachen als vorhergesagte Aussprache (z. B. die wahrscheinlichste Aussprache) ausgewählt werden.
Wenn eine Spracheingabe empfangen wird, kann das STT-Verarbeitungsmodul 730 dazu verwendet werden, die Phoneme zu bestimmen, die der Spracheingabe entsprechen, (z. B. mithilfe eines akustischen Modells) und dann versuchen, Worte festzustellen, die den Phonemen entsprechen (z. B. mittels eines Sprachenmodells). Wenn beispielsweise STT-Verarbeitungsmodul 730 zuerst die Sequenz von Phonemen
identifizieren kann, die einem Teil der Spracheingabe entsprechen, kann es anhand des Vokabular-Index 744 feststellen, dass diese Sequenz dem Wort „tomato” entspricht.
In einigen Beispielen kann das STT-Verarbeitungsmodul 730 Techniken zur annähernden Zuordnung verwenden, um Wörter in einer Aussage zu bestimmen. So kann das STT-Verarbeitungsmodul 730 beispielsweise feststellen, dass die Phonem-Sequenz
dem Wort „tomato” entspricht, auch wenn diese bestimmte Phonem-Sequenz nicht zu den möglichen Phonem-Sequenzen für dieses Wort gehört.
Das Verarbeitungsmodul für natürliche Sprache 732 („Prozessor für natürliche Sprache”) des digitalen Assistenten kann die vom STT-Verarbeitungsmodul 730 generierte Abfolge von Wörtern oder Token („Token-Abfolge”) verwenden und versuchen, die Token-Abfolge mit einer oder mehreren „durchführbaren Absichten”, die vom digitalen Assistenten erkannt wurden, zu verknüpfen. Eine „durchführbare Absicht” kann für eine Aufgabe stehen, die vom digitalen Assistenten ausgeführt werden kann, und kann einen damit verbundenen Task-Flow haben, der in den Task-Flow-Modellen 754 implementiert sein kann. Der damit verbundene Aufgabenfluss kann eine Serie von programmierten Aktionen und Schritten sein, die der digitale Assistent unternimmt, um die Aufgabe durchzuführen. Der Umfang der Fähigkeiten eines digitalen Assistenten kann von der Anzahl und Vielfältigkeit von Task-Flows abhängen, die implementiert und in Task-Flow-Modellen 754 gespeichert wurden, oder mit anderen Worten von der Anzahl und Vielfältigkeit von „durchführbaren Absichten”, die der digitale Assistent erfasst. Die Effektivität des digitalen Assistenten kann jedoch auch von der Fähigkeit des Assistenten zum Ableiten der korrekten „umsetzbaren Absichten” aus der in natürlicher Sprache ausgedrückten Benutzeranforderung abhängen.
In einigen Beispielen kann das Verarbeitungsmodul für natürliche Sprache 732 zusätzlich zu der vom STT-Verarbeitungsmodul 730 erhaltenen Zeichen- oder Tokensequenz auch Kontextinformationen im Zusammenhang mit der Benutzeranforderung (z. B. vom E/A-Verarbeitungsmodul 728) empfangen. Das Verarbeitungsmodul für natürliche Sprache 732 kann die Kontextinformationen wahlweise zum Klären, Ergänzen und/oder weiteren Definieren der Informationen verwenden, die in der vom STT-Verarbeitungsmodul 730 empfangenen Zeichensequenz enthalten sind. Die Kontextinformationen können z. B. Benutzerpräferenzen, den Hardware- und/oder Softwarestatus der Benutzervorrichtung, vor, während oder kurz nach der Benutzeranfrage erfasste Sensorinformationen, frühere Interaktionen (z. B. Dialog) zwischen dem digitalen Assistenten und dem Benutzer und dergleichen einschließen. Wie hierin beschrieben, können Kontextinformationen dynamisch sein und sich mit der Zeit, je nach Standort oder nach Inhalt des Dialogs und anderen Faktoren verändern.
Bei einigen Beispielen kann die natürliche Sprachverarbeitung auf einer Ontologie 760 basieren. Die Ontologie 760 kann eine hierarchische Struktur mit einer Vielzahl von Netzknoten sein, wobei jeder Netzknoten entweder eine „verwertbare Bedeutung” oder eine „Property” repräsentiert, welche für eine oder mehrere dieser „verwertbare Bedeutung” oder „Propertys” relevant ist. Wie weiter oben angegeben, kann eine „umsetzbare Absicht” eine Aufgabe darstellen, die der digitale Assistent durchführen kann, d. h. sie ist „umsetzbar” oder es kann auf sie reagiert werden. Eine „Eigenschaft” kann einen Parameter im Zusammenhang mit einer umsetzbaren Absicht oder einem Unteraspekt einer anderen Eigenschaft darstellen. Eine Verbindung zwischen einem Knoten einer durchführbaren Absicht und einem Eigenschaftsknoten in der Ontologie 760 kann definieren, wie ein vom Eigenschaftsknoten dargestellter Parameter den Task betrifft, der vom Knoten einer durchführbaren Absicht dargestellt wird.
In einigen Beispielen kann die Ontologie 760 aus Knoten einer durchführbaren Absicht und Eigenschaftsknoten bestehen. Innerhalb der Ontologie 760 kann jeder Knoten einer durchführbaren Absicht entweder direkt oder durch einen oder mehrere dazwischen liegende Eigenschaftsknoten mit einem oder mehreren Eigenschaftsknoten verbunden sein. Ähnlich kann jeder Eigenschaftsknoten entweder direkt oder durch einen oder mehrere dazwischen liegende Eigenschaftsknoten mit einem oder mehreren Knoten einer durchführbaren Absicht verbunden sein. z. B. kann die Ontologie 760, wie in 7C dargestellt, wahlweise einen Knoten „Restaurantreservierung” – einen Knoten einer durchführbaren Absicht – aufweisen. Die Eigenschaftsknoten „Restaurant”, „Datum/Uhrzeit” (für die Reservierung) und „Gästezahl” sind jeweils direkt mit dem Knoten einer durchführbaren Absicht (z. B. dem Knoten „Restaurantreservierung”) verbunden.
Zusätzlich können die Property-Netzknoten „Küche”, „Preisbereich”, „Telefonnummer” und „Ort” Unternetzknoten des Property-Netzknotens „Restaurant” sein und jeweils durch den dazwischenliegenden Property-Netzknoten „Restaurant” mit dem Netzknoten „Restaurantreservierung” verbunden sein (d. h. mit dem Netzknoten für verwertbare Bedeutungen). In einem weiteren Beispiel kann die Ontologie 760, wie in 7C dargestellt, auch einen Knoten „Erinnerung” – einen weiteren Knoten einer durchführbaren Absicht – aufweisen. Die Eigenschaftsknoten „Datum/Uhrzeit” (zum Einstellen der Erinnerung) und „Thema” (für die Erinnerung) können jeweils mit dem Knoten „Erinnerung” verbunden sein. Da die Eigenschaft „Datum/Uhrzeit” für sowohl den Task des Vornehmens einer Restaurantreservierung als auch den Task des Festlegens einer Erinnerung relevant sein kann, kann der Eigenschaftsknoten „Datum/Uhrzeit” sowohl mit dem Knoten „Restaurantreservierung” als auch mit dem Knoten „Erinnerung” in der Ontologie 760 verbunden sein.
Ein Netzknoten für verwertbare Bedeutungen kann, zusammen mit seinen verbundenen Konzept-Netzknoten, als „Domäne” beschrieben werden. In der vorliegenden Erörterung kann jede Domäne einer entsprechenden durchführbaren Absicht zugeordnet sein und sich auf eine Gruppe von Knoten (und ihre Beziehungen zueinander) in Zuordnung zu der bestimmten durchführbaren Absicht beziehen. z. B. kann die in 7C dargestellte Ontologie 760 ein Beispiel einer Restaurantreservierungsdomäne 762 und ein Beispiel einer Erinnerungsdomäne 764 innerhalb der Ontologie 760 aufweisen. Die Restaurantreservierungs-Domäne beinhaltet den Netzknoten für verwertbare Bedeutungen „Restaurantreservierung”, die Property-Netzknoten „Restaurant”, „Datum/Zeit” und „Gruppengröße” und die Property-Unternetzknoten „Küche”, „Preisbereich”, „Telefonnummer” und „Ort”. Die Erinnerungs-Domäne 764 kann den Netzknoten für verwertbare Bedeutungen „Erinnerung” und die Property-Netzknoten „Gegenstand” und „Datum/Zeit” beinhalten. Bei einigen Beispielen kann die Ontologie 760 aus vielen Domänen zusammengesetzt sein. Jede Domäne kann einen oder mehrere Property-Netzknoten mit einer oder mehreren anderen Domänen teilen. z. B. kann der Eigenschaftsknoten „Datum/Uhrzeit” mit vielen unterschiedlichen Domänen verbunden sein (z. B. einer Terminplandomäne, einer Reisereservierungsdomäne, einer Kinokartendomäne usw.) zusätzlich zur Restaurantreservierungsdomäne 762 und der Erinnerungsdomäne 764 verbunden.
Obwohl 7C zwei beispielhafte Domänen innerhalb der Ontologie 760 zeigt, können andere Domänen z. B. „Film suchen”, „Anruf tätigen”, „Wegbeschreibung”, „Termin planen”, „Nachricht senden” und „Frage beantworten”, „Liste lesen”, „Navigationsanweisung geben”, „Anweisungen für einen Task geben” und so weiter einschließen. Als Beispiel kann eine „eine Nachricht senden”-Domäne einem Netzknoten für verwertbare Bedeutungen „eine Nachricht senden” zugeordnet werden und kann des Weiteren Property-Netzknoten wie „Empfänger”, „Art der Nachricht” und „Textkörper” enthalten. Der Property-Netzknoten „Empfänger” kann weiter definiert werden, z. B. durch Property-Unternetzknoten wie „Name des Empfängers” und „Nachrichtenadresse”.
In einigen Beispielen kann die Ontologie 760 alle Domänen (und somit durchführbaren Absichten) einschließen, die der digitale Assistent verstehen und bearbeiten kann. Bei einigen Beispielen kann die Ontologie 760 modifiziert werden, z. B. durch Hinzufügen oder Entfernen von Domänen oder Netzknoten oder durch das Modifizieren von Verhältnissen zwischen den Netzknoten innerhalb der Ontologie 760.
In einigen Beispielen können Knoten im Zusammenhang mit mehreren betreffenden durchführbaren Absichten wahlweise unter einer „Überdomäne” in der Ontologie 760 geclustert werden. z. B. kann eine Super-Domäne „Reise” einen Cluster von Property-Netzknoten und Netzknoten von verwertbaren Bedeutungen enthalten, die mit Reisen in Verbindung stehen. Die Knoten einer durchführbaren Absicht, die Reisen betreffen können „Flugreservierung”, „Hotelreservierung”, „Autovermietung”, „Wegbeschreibung”, „Sehenswürdigkeiten” und so weiter einschließen. Die Knoten einer durchführbaren Absicht unter derselben Überdomäne (z. B. der Überdomäne „Reisen”) können viele Eigenschaftsknoten gemeinsam haben. z. B. können die Netzknoten von verwertbaren Bedeutungen für „Flugzeugreservierung”, „Hotelreservierung”, „Auto anmieten”, „Wegbeschreibung erhalten”, „interessante Punkte finden” einen oder mehrere der Property-Netzknoten „Startpunkt” „Zielort”, „Abfahrtsdatum/Zeit”, „Ankunftsdatum/Zeit” und „Gruppengröße” teilen.
In einigen Beispielen kann jeder Knoten in der Ontologie 760 mit einer Gruppe von Wörtern und/oder Wendungen verbunden sein, die für die Eigenschaft oder die durchführbare Absicht, die der Knoten darstellt, relevant sind. Die jeweilige Gruppe von Wörtern und/oder Wendungen im Zusammenhang mit dem jeweiligen Knoten kann das so genannte „Vokabular” im Zusammenhang mit dem Knoten darstellen. Die jeweilige Gruppe von Wörtern und/oder Wendungen im Zusammenhang mit dem jeweiligen Knoten kann im Wörterverzeichnis 744 in Verbindung mit der Eigenschaft oder der durchführbaren Absicht, die der Knoten darstellt, gespeichert sein. z. B. kann, zu 7B zurückkehrend, das Vokabular, das mit dem Property-Netzknoten Restaurant” verbunden ist, Wörter wie Essen” Trinken” Küche” hungrig” essen” „Pizza”, „Fast Food”, „Mahl” usw. enthalten. Als ein anderes Beispiel kann das Vokabular, das dem Netzknoten für die verwertbare Bedeutung „ein Telefonat einleiten” zugeordnet ist, Wörter und Phrasen wie „anrufen”, „telefonieren”, „wählen”, „klingeln”, „diese Nummer anrufen”, „Folgende anrufen” usw. enthalten. Der Vokabular-Index 744 kann optional Wörter und Phrasen in verschiedenen Sprachen enthalten.
Das Verarbeitungsmodul für natürliche Sprache 732 kann die Token-Abfolge (z. B. eine Textzeichenfolge) vom STT-Verarbeitungsmodul 730 empfangen und kann bestimmen, welche Knoten bei den Wörtern in der Token-Abfolge eine Rolle spielen. In einigen Beispielen kann, wenn herausgefunden wird, dass ein Wort oder eine Wendung in der Zeichensequenz im Zusammenhang mit einem oder mehreren Knoten in der Ontologie 760 ist (über das Wörterverzeichnis 744), das Wort oder die Wendung diese Knoten „auslösen” oder „aktivieren”. Auf der Grundlage der Menge und/oder der relativen Wichtigkeit der aktivierten Knoten kann das Verarbeitungsmodul für natürliche Sprache 732 eine der durchführbaren Absichten als den Task auswählen, den der Benutzer zum Ausführen durch den digitalen Assistenten beabsichtigte. In manchen Beispielen kann die Domäne ausgewählt werden, die die meisten „ausgelösten” Knoten hat. In manchen Beispielen kann die Domäne mit dem höchsten Konfidenzwert (z. B. basierend auf der relativen Wichtigkeit ihrer verschiedenen ausgelösten Knoten) ausgewählt werden. In manchen Beispielen kann die Domäne basierend auf einer Kombination der Anzahl und der Wichtigkeit der ausgelösten Knoten ausgewählt werden. In manchen Beispielen werden beim Auswählen des Knotens auch zusätzliche Faktoren berücksichtigt, z. B. ob der digitale Assistent eine ähnliche Anforderung von einem Benutzer zuvor korrekt interpretiert hat.
Die Benutzerdaten 748 können benutzerspezifische Informationen wie benutzerspezifisches Vokabular, Benutzerpräferenzen, die Benutzeradresse, die Standard- und Zweitsprache des Benutzers, die Kontaktliste des Benutzers und andere kurz- oder langfristige Informationen für jeden Benutzer umfassen. Das Verarbeitungsmodul für natürliche Sprache 732 kann in einigen Beispielen benutzerspezifische Informationen verwenden, um Informationen zu ergänzen, die in der Benutzereingabe enthalten sind, um die Absicht des Nutzers weitergehend zu definieren. z. B. kann für eine Benutzeranforderung „Freunde zu Geburtstagsfeier einladen” das Verarbeitungsmodul für natürliche Sprache 732 auf Benutzerdaten 748 zugreifen um zu bestimmen, wer die „Freunde” sind und wann und wo die „Geburtstagsfeier” stattfindet, statt dass der Benutzer solche Informationen explizit in seiner Anforderung bereitstellen muss.
Andere Details zum Durchsuchen einer Ontologie auf der Grundlage einer Zeichenfolge ist in der US-Gebrauchsmusteranmeldung Eingangs-Nr. 12/341,743 mit dem Titel „Method and Apparatus for Searching Using An Active Ontology”, eingereicht am 22. Dezember 2008, deren gesamte Offenbarung durch Bezugnahme hierin eingeschlossen ist, beschrieben.
Sobald das Verarbeitungsmodul für natürliche Sprache 732 eine durchführbare Absicht (oder Domäne) auf der Grundlage der Benutzeranforderung identifiziert, erzeugt in einigen Ausführungsformen das Verarbeitungsmodul für natürliche Sprache 732 eine strukturierte Abfrage, um die identifizierte durchführbare Absicht darzustellen. In manchen Beispielen kann die strukturierte Abfrage Parameter für einen oder mehrere Knoten innerhalb der Domäne für die umsetzbare Absicht umfassen, und wenigstens einige der Parameter sind mit den spezifischen Informationen und Anforderungen, die in der Benutzeranforderung angegebenen sind, ausgefüllt. Zum Beispiel kann der Nutzer sagen: „Führe eine Reservierung um 7.00 in einem Sushi-Restaurant durch.” In diesem Fall könnte das Verarbeitungsmodul für natürliche Sprache 732 auf der Grundlage der Nutzereingabe die verwertbare Bedeutung korrekt als „Restaurantreservierung” identifizieren. Entsprechend der Ontologie kann eine strukturierte Abfrage für eine Domäne „Restaurantreservierung” Parameter wie {Küche}, {Zeit}, {Datum}, {Gruppengröße} und dergleichen umfassen. In einigen Beispielen kann, basierend auf der Spracheingabe und dem aus der Spracheingabe mithilfe des STT-Verarbeitungsmoduls 730 abgeleiteten Textes, das Verarbeitungsmodul für natürliche Sprache 732 eine partielle strukturierte Abfrage für die Restaurantreservierungs-Domäne generieren, wobei die partielle strukturierte Abfrage die Parameter {Küche = „Sushi”) und {Zeit = „19.00”) enthält. Dennoch enthält in diesem Beispiel die Aussage des Benutzers keine ausreichenden Informationen, um die mit der Domäne verbundene strukturierte Abfrage abzuschließen. Deshalb sind andere notwendige Parameter wie {Gruppengröße} und {Datum} in der strukturierten Abfrage, die auf den aktuell verfügbaren Informationen basiert, möglicherweise nicht angegeben. In einigen Beispielen kann das Verarbeitungsmodul für natürliche Sprache 732 einige Parameter der strukturierten Abfrage mit empfangenen Kontextinformationen füllen. Wenn z. B. der Nutzer ein Sushi Restaurant „in der Nähe” anfragt, kann das Verarbeitungsmodul für natürliche Sprache 732 einen {Ort}-Parameter in der strukturierten Abfrage mit GPS-Koordinaten von der Benutzervorrichtung eintragen.
Bei einigen Beispielen kann das Verarbeitungsmodul für natürliche Sprache 732 die strukturierte Abfrage (inklusive jedes vollständigen Parameters) an das Task-Flow-Verarbeitungsmodul 736 („Task-Flow-Prozessor”) weiterleiten. Das Task-Flow-Verarbeitungsmodul 736 ist so konfiguriert, dass es die strukturierte Abfrage vom Verarbeitungsmodul für natürliche Sprache 732 empfangen kann, die strukturierte Abfrage, falls notwendig, abschließen und die Aktionen ausführen kann, die zum „Abschließen” der endgültigen Anforderung des Benutzers erforderlich sind. In einigen Beispielen können die verschiedenen Verfahrensweisen, die zum Abschließen dieser Aufgaben erforderlich sind, in Task-Flow-Modellen 754 bereitgestellt werden. In einigen Beispielen können die Task-Flow-Modelle 754 Vorgänge zum Erhalten zusätzlicher Informationen vom Benutzer und Task-Flows zum Ausführen von Aktionen im Zusammenhang mit der durchführbaren Absicht einschließen.
Um eine strukturierte Abfrage abzuschließen, muss das Task-Flow-Verarbeitungsmodul 736 möglicherweise wie weiter oben beschrieben einen zusätzlichen Dialog mit dem Benutzer initiieren, um zusätzliche Informationen zu erhalten und/oder möglicherweise missverständliche Aussagen eindeutig zu machen. Wenn solche Interaktionen notwendig sind, ruft das Task-Flow-Verarbeitungsmodul 736 das Dialog-Flow-Verarbeitungsmodul 734 auf, um in einen Dialog mit dem Benutzer zu treten. In einigen Beispielen kann das Dialog-Flow-Verarbeitungsmodul 734 bestimmen, wie (und/oder wann) der Benutzer nach zusätzlichen Informationen gefragt wird, und es empfängt und verarbeitet die Benutzerantworten. Die Fragen können durch das E/A-Verarbeitungsmodul 728 den Benutzern Fragen gestellt und Antworten von diesen empfangen werden. In einigen Beispielen stellt das Dialog-Flow-Verarbeitungsmodul 734 dem Benutzer die Dialogausgabe über eine akustische und/oder visuelle Ausgabe bereit und empfängt eine Eingabe vom Benutzer über gesprochene oder physische (z. B. durch Klicken) Antworten. Noch beim vorstehenden Beispiel, wenn das Task-Flow-Verarbeitungsmodul 736 das Dialog-Flow-Verarbeitungsmodul 734 aufruft, um die Informationen „Gästezahl” und „Datum” für die strukturierte Abfrage im Zusammenhang mit der Domäne „Restaurantreservierung” zu bestimmen, erzeugt das Dialog-Flow-Verarbeitungsmodul 734 Fragen, wie „Für wie viele Leute?” und „An welchem Tag?”, die dem Benutzer gestellt werden. Sobald Antworten vom Benutzer empfangen werden, kann das Dialog-Flow-Verarbeitungsmodul 734 dann die strukturierte Abfrage mit den fehlenden Informationen ausfüllen oder die Informationen an das Task-Flow-Verarbeitungsmodul 736 weiterleiten, um die fehlenden Informationen von der strukturierten Abfrage einzutragen.
Sobald das Task-Flow-Verarbeitungsmodul 736 die strukturierte Abfrage für eine durchführbare Absicht abgeschlossen hat, geht das Task-Flow-Verarbeitungsmodul 736 dazu über, den endgültigen Task im Zusammenhang mit der durchführbaren Absicht auszuführen. Dementsprechend führt das Task-Flow-Verarbeitungsmodul 736 die Schritte und Anweisungen im Task-Flow-Modell gemäß den spezifischen Parametern, die in der strukturierten Abfrage enthalten sind, aus. Zum Beispiel kann das Aufgabenflussmodell für die umsetzbare Absicht von „Restaurantreservierung” Schritte und Anweisungen zum Kontaktieren eines Restaurants und tatsächlichen Anfordern einer Reservierung für eine bestimmte Gruppengröße zu einer bestimmten Zeit umfassen. Wenn zum Beispiel eine strukturierte Abfrage wie die folgende verwendet wird: {Restaurantreservierung, Restaurant = ABC Café, Datum = 3/12/2012, Zeit = 19.00, Gruppengröße = 5}; das Task-Flow-Verarbeitungsmodul 736 kann diese Schritte ausführen: (1) Anmelden bei einem Server des ABC Cafés oder bei einem Restaurantreservierungssystem wie OPENTABLE^®, (2) Eingeben der Informationen für Datum, Zeit und Gruppengröße in ein Formular auf der Website, (3) Übermitteln des Formulars und (4) Erstellen eines Kalendereintrags für die Reservierung im Kalender des Benutzers.
Bei einigen Beispielen setzt das Task-Flow-Verarbeitungsmodul 736 die Assistenz eines Service-Verarbeitungsmoduls 738 („Service-Verarbeitungsmodul”) ein, um eine Aufgabe zu vervollständigen, die in der Nutzereingabe gestellt wurde, oder um eine informatorische Antwort auf eine Frage, die in der Nutzereingabe gestellt wurde, zu geben. z. B. kann das Service-Verarbeitungsmodul 738 kann anstelle des Task-Flow-Verarbeitungsmoduls 736 tätig sein, um einen Telefonanruf zu tätigen, einen Kalendereintrag vorzunehmen, eine Landkartensuche aufzurufen, andere Benutzeranwendungen, die auf der Benutzervorrichtung installiert sind, aufzurufen oder mit diesen zu interagieren und Drittanbieterdienste (z. B. ein Restaurantreservierungsportal, ein soziales Netzwerk, ein Banking-Portal usw.) aufzurufen oder mit diesen zu interagieren. In einigen Beispielen können die Protokolle und Programmierschnittstellen (API), die von dem jeweiligen Dienst benötigt werden, von einem jeweiligen Dienstmodell von Dienstmodellen 756 spezifiziert werden. Das Service-Verarbeitungsmodul 738 greift auf das geeignete Dienstmodell für einen Dienst zu und erzeugt Anforderungen für den Dienst gemäß den Protokollen und API, die gemäß dem Dienstmodell für den Dienst erforderlich sind.
Wenn zum Beispiel ein Restaurant einen Online-Reservierungsdienst aktiviert hat, kann das Restaurant ein Dienstmodell, das die notwendigen Parameter zum Vornehmen einer Reservierung spezifiziert, und die API zum Übertragen der Werte der notwendigen Parameter an den Online-Reservierungsdienst bereitstellen. Wenn es vom Task-Flow-Verarbeitungsmodul 736 angefordert wird, kann das Service-Verarbeitungsmodul 738 eine Netzwerkverbindung mit dem Online-Reservierungsdienst unter Verwendung der im Dienstmodell gespeicherten Webadresse aufbauen und die notwendigen Parameter der Reservierung (z. B. Uhrzeit, Datum, Gästezahl) in einem Format gemäß der API des Online-Reservierungsdienstes an die Online-Reservierungsschnittstelle senden.
In einigen Beispielen wird das Verarbeitungsmodul für natürliche Sprache 732, das Dialog-Flow-Verarbeitungsmodul 734 und das Task-Flow-Verarbeitungsmodul 736 kollektiv und iterativ verwendet, um die Absicht des Benutzers abzuleiten und zu definieren, Informationen zu erhalten, um die Benutzerabsicht weiter zu klären und einzugrenzen, und letztlich eine Antwort (z. B. eine Ausgabe für den Benutzer oder die Vollendung eines Tasks) zu erzeugen, und die Absicht des Benutzers zu erfüllen. Die erzeugte Antwort kann ein Dialog als Antwort auf die Spracheingabe sein, die mindestens teilweise die Absicht des Benutzers erfüllt. Des Weiteren kann in einigen Beispielen die erzeugte Antwort die Ausgabe als Sprachausgabe sein. In diesen Beispielen kann die erzeugte Antwort an das Sprach-Synthesemodul 740 (z. B. ein Sprach-Synthesizer) gesendet werden, wo es verarbeitet werden kann, um die Dialogantwort in Sprachform zu synthetisieren. In noch einem weiteren Beispiel kann die erzeugte Antwort Dateninhalt sein, der relevant ist, um eine Benutzeranfrage in der Spracheingabe zu erfüllen.
Das Sprach-Synthesemodul 740 kann so konfiguriert werden, dass es die Sprachausgaben zur Präsentation für den Benutzer synthetisiert. Das Sprach-Synthesemodul 740 synthetisiert Sprachausgaben auf der Basis des Textes, der vom digitalen Assistenten bereitgestellt wird. Die erzeugte Dialogantwort kann beispielsweise in Form einer Textzeichenfolge vorliegen. Das Sprach-Synthesemodul 740 kann die Textzeichenfolge in eine hörbare Sprachausgabe. Das Sprach-Synthesemodul 740 kann jede geeignete Sprachsynthesetechnik verwenden, um Sprachausgaben aus Text zu erzeugen, insbesondere konkatenative Synthese, Einheitenauswahlsynthese, Diphonsynthese, domänenspezifische Synthese, Formantsynthese, artikulatorische Synthese, HMM-basierte (Hidden Markov Model) Synthese und Sinuswellensynthese. In einigen Beispielen kann das Sprach-Synthesemodul 740 auch so konfiguriert sein, dass es einzelne Wörter basierend auf phonemischen Zeichenfolgen, die den Wörtern entsprechen, zu synthetisieren. Eine phonemische Zeichenfolge kann beispielsweise mit einem Wort in der erzeugten Dialogantwort verknüpft werden. Die phonemische Zeichenfolge kann in Metadaten gespeichert werden, die mit dem Wort verbunden sind. Das Sprach-Synthesemodul 740 kann so konfiguriert sein, dass es die phonemische Zeichenfolge direkt in den Metadaten verarbeitet, um das Wort in Sprachform zu synthetisieren.
In einigen Beispielen kann die Sprachsynthese auch anstelle (oder zusätzlich zu) der Verwendung des Sprach-Synthesemoduls 740 auf einem Remote-Gerät (z. B. Serversystem 108) ausgeführt werden, und die synthetisierte Sprache kann zur Ausgabe für den Benutzer an die Benutzervorrichtung gesendet werden. Dies kann beispielsweise bei Implementierungen der Fall sein, bei denen Ausgaben für digitale Assistenten auf einem Serversystem erzeugt werden. Und da Serversysteme allgemein mehr Verarbeitungsleistung oder Ressourcen haben als eine Benutzervorrichtung, kann es möglich sein, eine hochwertigere Sprachausgabe zu erzielen als mit einer clientseitigen Synthese praktikabel wäre.
Weitere Details zu digitalen Assistenten sind in der US-Gebrauchsmusteranmeldung Nr. 12/987,982 mit dem Titel „Intelligent Automated Assistant”, eingereicht am 10. Januar 2011, und in der US-Gebrauchsmusteranmeldung Nr. 13/251,088 mit dem Titel „Generating and Processing Data Items That Represent Tasks to Perform”, eingereicht am 30. September 2011, deren gesamte Offenbarungen durch Bezugnahme hierin eingeschlossen sind, zu finden.
4. Beispielhafte Techniken zum Steuern des Auslösens von mehreren Sitzungen eines virtuellen Assistenten.
Die Aufmerksamkeit wird nun auf Ausführungsformen von Benutzerschnittstellen („UI”) und zugehörigen Prozessen gerichtet, die auf Multifunktionsvorrichtungen wie den Vorrichtungen 104, 122, 200, 400, 600 und 1000 (1, 2, 4, 6 und 10) implementiert sein können, um gesprochene Auslöser in Nutzungsszenarios mit mehreren elektronischen Vorrichtungen, die in der Nähe voneinander sind, handzuhaben. Diese Techniken sind Bezug nehmend auf 8A–8F beschrieben. Diese Figuren werden auch zum Veranschaulichen der nachfolgend beschriebenen Verfahren, einschließlich der Verfahren in 9, verwendet.
8A–8C beschreiben ein beispielhaftes Nutzungsszenario, das zu unerwünschten gleichzeitigen Ausgaben von mehreren elektronischen Vorrichtungen führen kann. 8A veranschaulicht die beispielhafte am Körper tragbare elektronische Vorrichtung 802, getragen durch den Benutzer 800. Die am Körper tragbare Vorrichtung 802 ist in einigen Ausführungsformen eine der Vorrichtungen 104, 122, 200, 400, 600 oder 1000 (1, 2, 4, 6 oder 10). 8A veranschaulicht auch die beispielhafte elektronische Vorrichtung 804, getragen durch den Benutzer 800. Die Vorrichtung 804 ist in einigen Ausführungsformen eine der Vorrichtungen 104, 122, 200, 400, 600 oder 1000 (1, 2, 4, 6 oder 10). Im veranschaulichten Beispiel ist die Vorrichtung 804 ein Telefon.
Sowohl die am Körper tragbare Vorrichtung 802 als auch die Telefonvorrichtung 804 haben Mikrofone zum Abtasten einer Audioeingabe. In einigen Ausführungsformen sind beide Vorrichtungen 802 und 804 dazu konfiguriert, nach einem Erfassen der Nennung eines gesprochenen Auslösers wie des Ausdrucks „Hey, Siri” in der abgetasteten Audioeingabe von ihren jeweiligen Mikrofonen eine Sitzung eines virtuellen Assistenten auszulösen.
Wie in 8B und 8C dargestellt, bestimmt die Telefonvorrichtung 804, wenn sie während des Abtastens einer Audioeingabe eine gesprochene Eingabe 806 erfasst, dass die gesprochene Eingabe 806 einen relevanten Auslöserausdruck umfasst, und löst einen Virtueller-Assistent-Dienst aus, der ein Anzeigen einer Benutzerschnittstelle 814 eines virtuellen Assistenten einschließt, um den Benutzer zu einer zusätzlichen Eingabe aufzufordern. Gleichzeitig erfasst auch die am Körper tragbare Vorrichtung 802 bei ihrem Abtasten einer Audioeingabe den Auslöserausdruck, weil beide Vorrichtungen 802 und 804 innerhalb des Bereichs für ein Erfassen der Benutzeraussage 806 sind. Als Reaktion auf die Eingabe löst die am Körper tragbare Vorrichtung 802 auch einen virtuellen Assistenten aus und zeigt eine Benutzerschnittstelle 812 eines virtuellen Assistenten an, durch die der Benutzer zu einer zusätzlichen Eingabe aufgefordert wird.
Diese gleichzeitigen Reaktionen durch die Vorrichtungen 802 und 804 (und potenzielle weitere Reaktionen von zusätzlichen benachbarten elektronischen Vorrichtungen) können eine nicht optimale Benutzererfahrung erzeugen, besonders weil die mehreren Vorrichtungen in einigen Ausführungsformen akustische und/oder haptische Ausgaben gemäß dem Auslösen des virtuellen Assistenten erzeugen.
8D–8F beschreiben eine beispielhafte Technik zum Überwinden der Bezug nehmend auf 8A–8C beschriebenen gleichzeitigen Reaktionen. Wie in 8D gezeigt, ist die am Körper tragbare Vorrichtung 802 dazu konfiguriert, auf bestimmte Bewegungen wie eine Bewegung der Vorrichtung von einer abgesenkten Position in eine angehobene (z. B. Anzeige-)Position zu reagieren. In einigen Ausführungsformen, wenn die Vorrichtung 802 eine Bewegung erfasst, die eine vorher festgelegte Bedingung erfüllt, schaltet die Vorrichtung 802 den Touchscreen 808 ein, um Informationen wie die aktuelle Zeit anzuzeigen. Zusätzliche Details in Bezug auf Techniken zum Bestimmen, ob eine Vorrichtungsbewegung eine vorher festgelegte Bedingung erfüllt, sind nachfolgend Bezug nehmend auf 10 beschrieben.
Bezug nehmend auf 8E führt die am Körper tragbare Vorrichtung 802 in einigen Ausführungsformen gemäß dem Einschalten des Touchscreens 808 auch (mindestens) zwei zusätzliche Funktionen durch. Erstens beginnt die Vorrichtung 802 damit, eine Audioeingabe unter Verwendung ihres Mikrofons abzutasten und zu bestimmen, ob die abgetastete Audioeingabe einen gesprochenen Auslöser zum Auslösen eines Diensts, genauer einer Sitzung eines virtuellen Assistenten, einschließt. Zweitens, wenn die Vorrichtung 802 mit dem Abtasten einer Audioeingabe beginnt, überträgt die Vorrichtung auch die Anweisungsdaten 818, die von kompatiblen elektronischen Vorrichtungen, die innerhalb der Kommunikationsreichweite der Vorrichtung 802 sind, empfangen werden können, unter Verwendung von einem oder mehreren gemeinsam unterstützten Kommunikationsprotokollen wie Bluetooth und/oder Bluetooth Low Energy.
Die Anweisungsdaten 818 umfassen eine Anweisung an andere elektronische Vorrichtungen innerhalb der Reichweite, das Abtasten einer Audioeingabe und/oder Reagieren auf eine Audioeingabe wenigstens vorübergehend zu stoppen. In dem Beispiel von 8E ist die Telefonvorrichtung 804 innerhalb der Kommunikationsreichweite der am Körper tragbaren Vorrichtung 802 und empfängt somit die Anweisungsdaten 818. Nach dem Empfangen der Anweisungsdaten 818 unterlässt die Telefonvorrichtung 804 das Auslösen ihres Virtueller-Assistent-Diensts, selbst wenn ihre Audioerfassungsschaltung (z. B. Mikrofon 213, Audioschaltung 210, Peripherieeinheitenschnittstelle 218 und dergleichen) den gesprochenen Auslöser in der abgetasteten Audioeingabe erfasst.
Dadurch, Bezug nehmend auf 8F, unterlässt die Telefonvorrichtung 804 das Auslösen ihres virtuellen Assistenten, selbst wenn der Benutzer 800 die gesprochene Eingabe 830, umfassend den Auslöserausdruck „Hey, Siri”, innerhalb des Mikrofonerfassungsbereichs der Vorrichtungen 802 und 804 bereitstellt, sodass die am Körper tragbare Vorrichtung 802 die (z. B. einzige) Vorrichtung ist, die auf die gesprochene Eingabe des Benutzers 830 reagiert. Auf diese Weise wird der redundante Auslöser von Virtueller-Assistent-Diensten zwischen mehreren Vorrichtungen nützlich vermieden.
Wenngleich die beispielhaften Veranschaulichungen von 8A–8F die am Körper tragbare Vorrichtung 802 als die Vorrichtung darstellen, die reagiert, wenn konkurrierende Auslöser erfasst werden (z. B. im Gegensatz zu der Telefonvorrichtung 804), sind die vorstehend beschriebenen Techniken nicht hierauf beschränkt. In einigen Ausführungsformen kann der Benutzer auswählen, welche Vorrichtung auf konkurrierende Auslöser reagieren soll, wenn mehrere Vorrichtungen vorhanden sind. Zum Beispiel können die am Körper tragbare Vorrichtung 802 und die Telefonvorrichtung 804 (und beliebige andere kompatible Vorrichtungen im Eigentum des Benutzers) eine Konfigurationseinstellung teilen, die eine der Vorrichtungen als eine standardmäßig bevorzugte Vorrichtung zum Reagieren auf Sprachauslöser identifiziert. Als ein anderes Beispiel können eine am Körper tragbare Vorrichtung 802 und eine Telefonvorrichtung 804 (und beliebige andere kompatible Vorrichtungen im Eigentum des Benutzers) unter Verwendung einer Konfigurationseinstellung derart im Verhältnis zueinander eingestuft werden, dass die am höchsten eingestufte Vorrichtung der mehreren Vorrichtungen innerhalb der Reichweite die Vorrichtung ist, die reagiert, wenn ein gesprochener Auslöser unter Vorhandensein von mehrere Vorrichtungen bereitgestellt wird.
In einigen Ausführungsformen bestimmen die mehreren Vorrichtungen automatisch basierend auf einer oder mehreren Bedingungen, welche Vorrichtung reagieren soll. Die Bedingung kann auf kürzlicher Verwendung und/oder Frequenz der Verwendung basieren. Zum Beispiel kann ein virtueller Assistent auf der Vorrichtung ausgelöst werden, die unter den Vorrichtungen, die untereinander innerhalb einer Kommunikationsreichweite sind und die den gesprochenen Auslöser des Benutzers abgetastet haben, zuletzt verwendet wurde. Außerdem kann die Bedingung auf Entfernung basieren. Zum Beispiel kann eine Audiosprachverarbeitung auf die auf den Vorrichtungen abgetastete Audioeingabe angewendet werden (z. B. mit Nahfeld- und Fernfeldbestimmungsalgorithmen oder Sprachlautstärkebestimmungsalgorithmen), um die Vorrichtung zu identifizieren, die am nächsten zu dem Benutzer ist und die auf den gesprochenen Auslöser des Benutzers reagieren soll. Außerdem kann die Bedingung auf einer Nutzungsbedingung basieren. Wenn zum Beispiel eine Vorrichtung eingeschaltet ist (z. B., wenn die Telefonvorrichtung 804 eingeschaltet ist), aber eine andere Vorrichtung innerhalb der Reichweite nicht eingeschaltet ist (z. B., wenn die am Körper tragbare Vorrichtung 802 ausgeschaltet ist), soll die Vorrichtung (z. B. die Telefonvorrichtung 804) auf den gesprochenen Auslöser reagieren.
5. Beispielhafte Verfahren zum Steuern des Auslösens von mehreren Sitzungen eines virtuellen Assistenten.
9A–9C stellen ein Flussdiagramm dar, das das Verfahren 900 zum Steuern des Auslösens von mehreren Sitzungen eines virtuellen Assistenten auf mehreren elektronischen Vorrichtungen veranschaulicht. Das Verfahren 900 wird in einigen Ausführungsformen auf einer der mehreren der Vorrichtungen 104, 122, 200, 400, 802, 804 und 1000 (1, 2, 4, 6, 8 oder 10) durchgeführt. In einigen Ausführungsformen wird das Verfahren 900 auf einer Vorrichtung mit einem Touchscreen durchgeführt. In einigen Ausführungsformen wird das Verfahren 900 auf einer Vorrichtung mit einem separaten Anzeigebildschirm und einer berührungsempfindlichen Oberfläche durchgeführt. Vorgänge im Verfahren 900 werden wahlweise kombiniert, und/oder die Reihenfolge einiger Vorgänge wird wahlweise verändert.
Bezug nehmend auf 9A tastet die Vorrichtung in Block 902 eine Audioeingabe unter Verwendung eines ersten Mikrofons ab. In einigen Ausführungsformen erfolgt das Abtasten einer Audioeingabe in Block 902 in Reaktion darauf, dass eine Benutzereingabe eine vorher festgelegte Bedingung erfüllt.
Zum Beispiel besteht die vorher festgelegte Bedingung darin, dass der Anzeigebildschirm der Vorrichtung eingeschaltet ist. Die Vorrichtung kann bestimmen, ob die Anzeige eingeschaltet ist, indem sie bestimmt, ob ihre Hintergrundbeleuchtung eingeschaltet ist. Als ein anderes Beispiel besteht die vorher festgelegte Bedingung darin, dass die Vorrichtung einen vorher festgelegten Dienst oder eine vorher festgelegte Anwendung, wie einen Virtueller-Assistent-Dienst, aktiv ausführt (z. B. im Vordergrund der Benutzerschnittstelle). Als noch ein weiteres Beispiel besteht die vorher festgelegte Bedingung darin, dass die aktive Ausführung eines vorher festgelegten Diensts oder einer vorher festgelegten Anwendung kürzlich geschlossen wurde, wie ein Schließen innerhalb einer vorher festgelegten Dauer von acht Sekunden.
In einigen Ausführungsformen ist die vorher festgelegte Bedingung eine Bewegung der Vorrichtung, wie ein Anheben der Vorrichtung in eine Anzeigeposition (wie in 8D gezeigt). Ob eine Vorrichtungsbewegung eine Anhebebewegung darstellt, basiert in einigen Ausführungsformen auf im Laufe der Zeit ermittelten Messwerten eines Beschleunigungsmessers. Ob eine Vorrichtungsbewegung eine Anhebebewegung darstellt, basiert in einigen Ausführungsformen auf der Gleichmäßigkeit von im Laufe der Zeit ermittelten Messwerten eines Beschleunigungsmessers. Ob eine Vorrichtungsbewegung eine Anhebebewegung darstellt, basiert in einigen Ausführungsformen auf einer Mindestverweildauer für das Messen (z. B. einem Zeitraum der relativen Nichtbewegung oder Stabilität).
In der in 8D dargestellten beispielhaften Anhebebewegung hebt der Benutzer 800 die Vorrichtung 802 von einer abgesenkten Position in eine angehobene Position (z. B. eine Anzeigeposition). Diese Bewegung umfasst eine Beschleunigung im Laufe der Zeit in eine Richtung (z. B. in die vertikale Richtung entlang der Y-Achse) und eine Drehbeschleunigung im Laufe der Zeit in eine andere Richtung (z. B. eine horizontale Drehung um die X-Achse), die beide durch die Beschleunigungssensoren der Vorrichtung bestimmt werden können. Wahlweise kann die Gleichmäßigkeit einer solchen Anhebebewegung durch das Vergleichen von Schwankungen bei den Messwerten der Beschleunigungssensoren im Laufe der Zeit bestimmt werden. Wahlweise endet die Anhebebewegung damit, dass der Benutzer auf den Touchscreen der Vorrichtung in der angehobenen Position blickt. Die Dauer der relativen Stabilität, wenn sich der Benutzer 800 auf die Anzeige der Vorrichtung konzentriert, kann über Beschleunigungssensormesswerte bestimmt werden. Die Vorrichtung verwendet in einigen Ausführungsformen wenigstens einige dieser Messwerte eines Beschleunigungsmessers zum Bestimmen, ob eine vorher festgelegte Bedingung zum Abtasten einer Audioeingabe über ein Mikrofon erfüllt ist.
Weitere Details in Bezug auf Techniken zum Bestimmen von Anhebebewegungen einer elektronischen Vorrichtung sind z. B. in der vorläufigen US-Patentanmeldung Nr. 62/026,532 mit dem Titel „Raise Gesture Detection in a Device”, eingereicht am 18. Juli 2014, beschrieben, deren Inhalt hiermit durch Bezugnahme aufgenommen wird. Der Kürze halber werden die Inhalte der Anmeldung hier nicht wiederholt.
In einigen Ausführungsformen besteht die vorher festgelegte Bedingung in einer Aktivierung einer Eingabevorrichtung wie einer mechanischen Taste, einer berührungsempfindlichen Schaltfläche, einer drehbaren Eingabevorrichtung und dergleichen der Vorrichtung. In einigen Ausführungsformen besteht die vorher festgelegte Bedingung in einer Berührung auf einer berührungsempfindlichen Oberfläche oder einem Touchscreen (wie dem in 8D gezeigten Touchscreen 808).
Bezug nehmend auf 9B sendet die Vorrichtung in Block 904, gemäß dem Abtasten der Audioeingabe unter Verwendung des ersten Mikrofons, Anweisungen an eine zweite elektronische Vorrichtung mit einem zweiten Mikrofon. Die zweite elektronische Vorrichtung ist ebenfalls dazu konfiguriert, auf eine unter Verwendung eines zweiten Mikrofons empfangene Audioeingabe zu reagieren. Die Anweisungen in Block 904 weisen die zweite elektronische Vorrichtung an, nicht auf eine Audioeingabe von dem zweiten Mikrofon zu reagieren. In einigen Beispielen sind die Anweisungen durch die Anweisungsdaten 818 (8E) dargestellt und werden als „Stopp”-Anweisungen bezeichnet. Die zweite elektronische Vorrichtung ist außerhalb der elektronischen Vorrichtung, die das Verfahren 900 durchführt. Zum Beispiel ist die Vorrichtung, die das Verfahren 900 durchführt, die am Körper tragbare Vorrichtung 802 in 8, und ist die zweite elektronische Vorrichtung die Telefonvorrichtung 804.
Bezug nehmend auf 9C bestimmt die Vorrichtung in Block 906, ob die abgetastete Audioeingabe einen gesprochenen Auslöser umfasst. Wenn die abgetastete Audioeingabe den gesprochenen Auslöser umfasst, löst die Vorrichtung einen vorher festgelegten Dienst aus. Wenn die abgetastete Audioeingabe den gesprochenen Auslöser nicht umfasst, löst die Vorrichtung den vorher festgelegten Dienst nicht aus. In einigen Beispielen ist der vorher festgelegte Dienst ein Virtueller-Assistent-Dienst, der eine gesprochene Eingabe eines Benutzers (z. B. in natürlicher Sprache) verarbeiten kann und der die gesprochene Eingabe in durch die Vorrichtung durchgeführte Rechenaufgaben umsetzen kann. In einigen Ausführungsformen ist der gesprochene Auslöser ein Ausdruck wie „Hey, Siri”. Wenn die Vorrichtung in Block 906 eine Sitzung eines virtuellen Assistenten auslöst, stellt sie wahlweise eine wahrnehmbare Ausgabe wie eine visuelle Ausgabe (z. B. den Benutzerschnittstellenbildschirm 808 in 8C), eine haptische Ausgabe (z. B. eine Vibration) und/oder eine akustische Ausgabe (z. B. einen Piepston) bereit.
In einigen Ausführungsformen bestimmt die zweite elektronische Vorrichtung, ob die unter Verwendung des zweiten Mikrofons abgetastete Audioeingabe einen gesprochenen Auslöser umfasst. Wenn die abgetastete Audioeingabe den gesprochenen Auslöser umfasst, löst die zweite elektronische Vorrichtung einen vorher festgelegten Dienst aus. Wenn die abgetastete Audioeingabe den gesprochenen Auslöser nicht umfasst, löst die zweite elektronische Vorrichtung den vorher festgelegten Dienst nicht aus. Zum Beispiel ist der vorher festgelegte Dienst ein Virtueller-Assistent-Dienst, der eine gesprochene Eingabe eines Benutzers (z. B. in natürlicher Sprache) verarbeiten kann und der die gesprochene Eingabe in durch die Vorrichtung durchgeführte Rechenaufgaben umsetzen kann. In einigen Ausführungsformen ist der gesprochene Auslöser ein Ausdruck wie „Hey, Siri”. Wenn die zweite Vorrichtung in Reaktion auf einen gesprochenen Auslöser eine Sitzung eines virtuellen Assistenten auslöst, stellt die zweite Vorrichtung wahlweise eine wahrnehmbare Ausgabe wie eine visuelle Ausgabe (z. B. den Benutzerschnittstellenbildschirm 810 in 8C), eine haptische Ausgabe (z. B. eine Vibration) und/oder eine akustische Ausgabe (z. B. einen Piepston) bereit.
In einigen Ausführungsformen verarbeitet die zweite elektronische Vorrichtung eine Audioeingabe von dem zweiten Mikrofon in Reaktion darauf, dass eine Benutzereingabe eine vorher festgelegte Bedingung erfüllt. Zum Beispiel besteht die vorher festgelegte Bedingung darin, dass ein vorher festgelegter Prozessor oder eine vorher festgelegte Gruppe von Prozessoren eingeschaltet wird. Beispielhafte Verfahren umfassen einen Hauptprozessor und einen dedizierten Audioverarbeitungsprozessor. Als ein anderes Beispiel besteht die vorher festgelegte Bedingung darin, dass die Vorrichtung einen vorher festgelegten Dienst oder eine vorher festgelegte Anwendung, wie einen Virtueller-Assistent-Dienst, aktiv ausführt (z. B. im Vordergrund der Benutzerschnittstelle). Als ein anderes Beispiel besteht die vorher festgelegte Bedingung darin, dass die aktive Ausführung eines vorher festgelegten Diensts oder einer vorher festgelegten Anwendung kürzlich geschlossen wurde, wie ein Schließen innerhalb einer vorher festgelegten Dauer von acht Sekunden. Als ein anderes Beispiel besteht die vorher festgelegte Bedingung darin, dass der Anzeigebildschirm der Vorrichtung eingeschaltet ist. Die Vorrichtung kann bestimmen, ob die Anzeige eingeschaltet ist, indem sie bestimmt, ob ihre Hintergrundbeleuchtung eingeschaltet ist. Als ein anderes Beispiel besteht die vorher festgelegte Bedingung darin, dass die zweite elektronische Vorrichtung gerade geladen wird.
In einigen Ausführungsformen stellt die Vorrichtung in Block 908 das Abtasten einer Audioeingabe ein und sendet Anweisungen an die zweite elektronische Vorrichtung, durch die die zweite elektronische Vorrichtung angewiesen wird, das Reagieren auf eine unter Verwendung eines zweiten Mikrofons empfangene Audioeingabe wieder aufzunehmen. Diese Anweisungen können als Wiederaufnahmeanweisungen bezeichnet werden. In einigen Beispielen stellt die Vorrichtung das Abtasten einer Audioeingabe ein, nachdem sie diese für eine vorher festgelegte Dauer abgetastet hat. In einigen Beispielen stellt die Vorrichtung das Abtasten einer Audioeingabe ein, wenn eine Sitzung eines virtuellen Assistenten auf dem Vordergrund der Benutzerschnittstelle der Vorrichtung geschlossen wird. In einigen Beispielen stellt die Vorrichtung das Abtasten einer Audioeingabe ein, nachdem ein virtueller Assistent für einen längeren Zeitraum als eine vorher festgelegte Dauer geschlossen wurde. In einigen Beispielen stellt die Vorrichtung das Audioabtasten ein, wenn ihr Anzeigebildschirm ausgeschaltet ist.
In einigen Ausführungsformen weisen die durch die Vorrichtung in Block 904 gesendeten Stoppanweisungen die zweite elektronische Vorrichtung an, das Abtasten einer Audioeingabe unter Verwendung des zweiten Mikrofons zu stoppen. In einigen Ausführungsformen weisen die durch die Vorrichtung in Block 904 gesendeten Stoppanweisungen die zweite elektronische Vorrichtung an, ihre Reaktionen auf von dem zweiten Mikrofon empfangene Audioeingaben zu unterdrücken, selbst wenn zugrunde liegende Hardware- und/oder Softwareprozesse der zweiten elektronischen Vorrichtung eine Audioeingabe abtasten. Zum Beispiel ist die zweite elektronische Vorrichtung mit einem hocheffizienten Hardwareaudioprozessor konfiguriert, der das Abtasten einer Audioeingabe fortsetzt, selbst wenn seine Softwareprozesse angewiesen sind, vorübergehend nicht auf eine Audioeingabe zu reagieren.
In einigen Ausführungsformen umfassen die durch die Vorrichtung in Block 904 gesendeten Stoppanweisungen eine Anzeige der Dauer, für die die zweite elektronische Vorrichtung keinen virtuellen Assistenten als Reaktion auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe auslösen soll. In einigen Ausführungsformen ist die zweite elektronische Vorrichtung dazu konfiguriert, das Abtasten einer Audioeingabe und/oder das Verarbeiten der abgetasteten Audioeingabe automatisch wieder aufzunehmen, nachdem sie das Reagieren für eine vorher festgelegte Dauer gestoppt hat.
In einigen Ausführungsformen ist die zweite elektronische Vorrichtung dazu konfiguriert, das Reagieren auf eine bereits abgetastete Audioeingabe einzustellen, wenn sie die aus den Vorgängen von Block 904 resultierenden Stoppanweisungen empfängt. Zum Beispiel beendet die zweite elektronische Vorrichtung eine Sitzung eines virtuellen Assistenten, die aktiv ist. In einigen Ausführungsformen ist die zweite elektronische Vorrichtung dazu konfiguriert, eine Anzeige, dass sie das Reagieren auf eine Audioeingabe einstellt, bereitzustellen, wenn sie die aus den Vorgängen von Block 904 resultierenden Stoppanweisungen empfängt. Zum Beispiel informiert die zweite elektronische Vorrichtung den Benutzer visuell, akustisch und/oder haptisch, dass sie eine aktive Sitzung eines virtuellen Assistenten beendet.
In einigen Ausführungsformen werden die in Block 904 bzw. Block 908 gesendeten Stoppanweisungen und Wiederaufnahmeanweisungen unter Verwendung eines statusfreien Kommunikationsmechanismus gesendet, was bedeutet, dass die Vorrichtung keine Bestätigung von der zweiten elektronischen Vorrichtung erwartet, durch die diese den Empfang der Anweisungen bestätigt. In einigen Ausführungsformen werden die Stopp- und Wiederaufnahmeanweisungen über einen Sendemechanismus, wie von WiFi, Bluetooth Low Energy und dergleichen unterstützte Sendevorgänge, gesendet. Mit anderen Worten können die gesendeten Anweisungen von null oder mehr externen Vorrichtungen, einschließlich der zweiten elektronischen Vorrichtung, empfangen werden. In einigen Ausführungsformen werden die Stopp- und Wiederaufnahmeanweisungen über ein Datenpaket gesendet, das an die zweite elektronische Vorrichtung gerichtet ist. Mit anderen Worten werden die vorrichtungsspezifischen Stopp- und Wiederaufnahmeanweisungen in Block 904 bzw. Block 908 gesendet.
In einigen Ausführungsformen unterhält die Vorrichtung einen Zähler, wie einen numerischen Zähler, der verwendet wird, um zu bestimmen, ob die Vorrichtung Stoppanweisungen an die zweite elektronische Vorrichtung sendet. Wenn der Zähler über einen Schwellenwert hinaus erhöht wird, sendet die Vorrichtung die Stoppanweisungen. Zum Beispiel ist der Schwellenwert null, was bedeutet, dass die Vorrichtung, wenn der Zähler auf einen positiven Wert ungleich null erhöht wird, Stoppanweisungen an die zweite elektronische Vorrichtung sendet.
Der Zählerwert hängt von den Nutzungsbedingungen der Vorrichtung ab. Zum Beispiel wird der Zählerwert erhöht, wenn: sich eine Hintergrundbeleuchtung der Vorrichtungsanzeige einschaltet; eine Eingabevorrichtung (z. B. eine Taste oder Schaltfläche, ein Touchscreen, eine berührungsempfindliche Oberfläche oder ein anderer Eingabemechanismus) aktiviert wird; die Vorrichtung eine Bewegung erfasst, die eine vorher festgelegte Bedingung erfüllt, und eine Sitzung eines virtuellen Assistenten im Vordergrund der Benutzerschnittstelle der Vorrichtung aktiv ausgeführt wird. In einigen Ausführungsformen erhöhen alle diese Bedingungen den Zählerwert um den Wert eins.
In einigen Ausführungsformen, wenn der Zähler auf einen Wert reduziert wird, der nicht mehr über den Schwellenwert hinausgeht, sendet die Vorrichtung Wiederaufnahmeanweisungen an die zweite elektronische Vorrichtung. Der Zählerwert wird reduziert, wenn: sich eine Hintergrundbeleuchtung der Vorrichtungsanzeige ausschaltet; die Anzeige für einen längeren Zeitraum als eine vorher festgelegte Dauer eingeschaltet war; eine Sitzung eines virtuellen Assistenten auf dem Vordergrund der Benutzerschnittstelle der Vorrichtung geschlossen wird und eine vorher festgelegte Dauer seit dem Schließen der Sitzung eines virtuellen Assistenten abgelaufen ist. In einigen Ausführungsformen reduzieren alle diese Bedingungen den Zählerwert um den Wert eins.
Gemäß einigen Ausführungsformen zeigt 10 ein Funktionsblockdiagramm einer elektronischen Vorrichtung 1000, die gemäß den Prinzipien der verschiedenen beschriebenen Ausführungsformen, einschließlich der Bezug nehmend auf 8A–8F und 9 beschriebenen, konfiguriert ist. Die funktionellen Blöcke der Vorrichtung werden wahlweise durch Hardware, Software oder eine Kombination von Hardware und Software implementiert, um die Prinzipien der verschiedenen beschriebenen Ausführungsformen umzusetzen. Dem Fachmann ist klar, dass die in 10 beschriebenen Funktionsblöcke wahlweise kombiniert oder in Unterblöcke aufgeteilt werden können, um die Prinzipien der verschiedenen beschriebenen Ausführungsformen zu implementieren. Deshalb belegt die Beschreibung hierin wahlweise jede mögliche Kombination oder Aufteilung oder weitere Definition der hierein beschriebenen, funktionellen Blöcke.
Wie in 10 gezeigt, umfasst eine elektronische Vorrichtung 1000 eine Anzeigeeinheit 1002, die zum Anzeigen einer grafischen Benutzerschnittstelle konfiguriert ist, eine optionale berührungsempfindliche Oberflächeneinheit 1004 zum Empfangen von Kontakten, eine Mikrofoneinheit 1006 zum Erfassen einer Audioeingabe, eine Kommunikationseinheit 1008 zum Bereitstellen, Senden und Empfangen von Informationen unter Verwendung von einem oder mehreren Datenübertragungsmechanismen und eine Verarbeitungseinheit 1012, die an die vorstehend beschriebenen Einheiten gekoppelt ist. In einigen Ausführungsformen umfasst die Verarbeitungseinheit 1012 eine Anzeigeaktivierungseinheit 1014, eine Audioabtasteinheit 1016, eine Audiobestimmungseinheit 1018, eine Virtueller-Assistent-Dienst-Einheit 1020, eine Anweisungseinheit 1022 und eine Nutzungsbedingungszählereinheit 1024.
In einigen Ausführungsformen ist die Verarbeitungseinheit 1012 zu Folgendem konfiguriert: einem Abtasten (z. B. mit der Audioabtasteinheit 1016) einer Audioeingabe unter Verwendung des ersten Mikrofons (z. B. mit der Mikrofoneinheit 1006); gemäß dem Abtasten der Audioeingabe unter Verwendung des ersten Mikrofons, einem Senden (z. B. mit der Anweisungseinheit 1022 und/oder der Kommunikationseinheit 1008) von Stoppanweisungen an eine zweite elektronische Vorrichtung mit einem zweiten Mikrofon, wobei die zweite elektronische Vorrichtung außerhalb der elektronischen Vorrichtung 1000 ist, wobei die zweite elektronische Vorrichtung dazu konfiguriert ist, auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, und wobei die Stoppanweisungen die zweite elektronische Vorrichtung anweisen, nicht auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, wobei das Reagieren auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe ein Bereitstellen einer wahrnehmbaren Ausgabe (wie die visuelle Anzeige von Bildschirm 810 in 8C) umfasst.
In einigen Ausführungsformen ist die Verarbeitungseinheit 1012 ferner zu Folgendem konfiguriert: einem Einstellen des Abtastens einer Audioeingabe (z. B. mit der Audioabtasteinheit 1016); gemäß dem Einstellen des Abtastens einer Audioeingabe, einem Senden (z. B. Anweisungseinheit 1022 und/oder Kommunikationseinheit 1008) von Wiederaufnahmeanweisungen an die zweite elektronische Vorrichtung, wobei die Wiederaufnahmeanweisungen die zweite elektronische Vorrichtung anweisen, das Reagieren auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe wieder aufzunehmen.
Es sei darauf hingewiesen, dass die zweite elektronische Vorrichtung in einigen Ausführungsformen dazu konfiguriert ist, auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe durch Folgendes zu reagieren: ein Abtasten einer Audioeingabe unter Verwendung des zweiten Mikrofons und ein Initiieren einer Sitzung eines virtuellen Assistenten gemäß einer Bestimmung, dass die unter Verwendung des zweiten Mikrofons abgetastete Audioeingabe einen gesprochenen Auslöser umfasst. Die Stoppanweisungen (z. B. mit der Anweisungseinheit 1022 gesendet) veranlassen die zweite elektronische Vorrichtung dazu, nicht auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, indem sie das Abtasten einer Audioeingabe unter Verwendung des zweiten Mikrofons unterlässt.
Es sei darauf hingewiesen, dass die zweite elektronische Vorrichtung in einigen Ausführungsformen dazu konfiguriert ist, auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe durch Folgendes zu reagieren: ein Abtasten einer Audioeingabe unter Verwendung des zweiten Mikrofons und ein Initiieren einer Sitzung eines virtuellen Assistenten gemäß einer Bestimmung, dass die unter Verwendung des zweiten Mikrofons abgetastete Audioeingabe einen gesprochenen Auslöser umfasst. Die Stoppanweisungen (z. B. mit der Anweisungseinheit 1022 gesendet) veranlassen die zweite elektronische Vorrichtung dazu, nicht auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, indem sie das Initiieren der Sitzung eines virtuellen Assistenten unterlässt, selbst wenn die unter Verwendung des zweiten Mikrofons abgetastete Audioeingabe einen gesprochenen Auslöser umfasst.
In einigen Ausführungsformen umfassen die Stoppanweisungen eine Anzeige der Dauer, für die die zweite elektronische Vorrichtung nicht auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe reagieren soll.
In einigen Ausführungsformen veranlassen die Wiederaufnahmeanweisungen die zweite elektronische Vorrichtung dazu, das Reagieren auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe wieder aufzunehmen.
In einigen Ausführungsformen veranlassen die Stoppanweisungen die zweite elektronische Vorrichtung zu Folgendem: gemäß einem Empfangen der Stoppanweisungen, während die zweite elektronische Vorrichtung auf eine Audioeingabe von dem zweiten Mikrofon reagiert, einem Einstellen des Reagieren auf die Audioeingabe von dem zweiten Mikrofon.
In einigen Ausführungsformen veranlassen die Stoppanweisungen die zweite elektronische Vorrichtung zu Folgendem: gemäß einem Empfangen der Stoppanweisungen, während die zweite elektronische Vorrichtung auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe reagiert, einem Bereitstellen einer Ausgabe, die anzeigt, dass die zweite elektronische Vorrichtung ihre Reaktion auf die Audioeingabe von dem zweiten Mikrofon einstellt.
In einigen Ausführungsformen ist die Verarbeitungseinheit 1012 ferner zu Folgendem konfiguriert: einem Bestimmen (z. B. mit der Anzeigeaktivierungseinheit 1014), ob die Anzeige der Vorrichtung 1000 eingeschaltet ist; gemäß einer Bestimmung, dass der Bildschirm eingeschaltet ist, einem Abtasten einer Audioeingabe unter Verwendung des ersten Mikrofons und gemäß einer Bestimmung, dass der Bildschirm nicht eingeschaltet ist, einem Unterlassen des Abtasten einer Audioeingabe unter Verwendung des ersten Mikrofons (z. B. mit der Audioabtasteinheit 1016).
In einigen Ausführungsformen ist die Verarbeitungseinheit 1012 ferner zu Folgendem konfiguriert: gemäß dem Abtasten (z. B. mit der Audioabtasteinheit 1016) der Audioeingabe unter Verwendung des ersten Mikrofons: einem Bestimmen (z. B. mit der Virtueller-Assistent-Dienst-Einheit 1020), ob ein vorher festgelegter Dienst im Vordergrund der Vorrichtung 1000 ausgeführt wird; gemäß einer Bestimmung, dass der Dienst im Vordergrund ausgeführt wird, einem Abtasten (z. B. mit der Audioabtasteinheit 1016) einer Audioeingabe unter Verwendung des ersten Mikrofons und gemäß einer Bestimmung, dass der Bildschirm nicht im Vordergrund ausgeführt wird, einem Unterlassen des Abtastens einer Audioeingabe unter Verwendung des ersten Mikrofons (z. B. mit der Audioabtasteinheit 1016).
In einigen Ausführungsformen ist die Verarbeitungseinheit 1012 ferner zu Folgendem konfiguriert: gemäß dem Abtasten (z. B. mit der Audioabtasteinheit 1016) der Audioeingabe unter Verwendung des ersten Mikrofons auf der Vorrichtung 1000: einem Bestimmen (z. B. mit der Virtueller-Assistent-Dienst-Einheit 1020), ob ein vorher festgelegter Dienst für einen längeren Zeitraum als eine vorher festgelegte Dauer geschlossen wurde; gemäß einer Bestimmung, dass der vorher festgelegte Dienst nicht für einen längeren Zeitraum als eine vorher festgelegte Dauer geschlossen wurde, einem Abtasten (z. B. mit der Audioabtasteinheit 1016) einer Audioeingabe unter Verwendung des ersten Mikrofons; und gemäß einer Bestimmung, dass der vorher festgelegte Dienst für einen längeren Zeitraum als eine vorher festgelegte Dauer geschlossen wurde, einem Unterlassen des Abtastens einer Audioeingabe unter Verwendung des ersten Mikrofons (z. B. mit der Audioabtasteinheit 1016).
Es sei darauf hingewiesen, dass die zweite elektronische Vorrichtung in einigen Ausführungsformen eine Audioeingabe unter Verwendung des zweiten Mikrofons abtastet, wenn mindestens ein vorher festgelegter Prozessor der zweiten elektronischen Vorrichtung eingeschaltet ist. Es sei darauf hingewiesen, dass das Abtasten der Audioeingabe unter Verwendung des zweiten Mikrofons auf der zweiten elektronischen Vorrichtung in einigen Ausführungsformen Folgendes umfasst: ein Bestimmen, ob die zweite elektronische Vorrichtung gerade geladen wird; gemäß einer Bestimmung, dass die zweite elektronische Vorrichtung gerade geladen wird, ein Abtasten einer Audioeingabe unter Verwendung des ersten Mikrofons; und gemäß einer Bestimmung, dass die zweite elektronische Vorrichtung gerade nicht geladen wird, ein Unterlassen des Abtastens einer Audioeingabe unter Verwendung des ersten Mikrofons.
In einigen Ausführungsformen ist die Verarbeitungseinheit 1012 ferner zu Folgendem konfiguriert: einem Bestimmen (z. B. mit der Audiobestimmungseinheit 1018), ob die abgetastete Audioeingabe einen gesprochenen Auslöser umfasst; gemäß einer Bestimmung, dass die abgetastete Audioeingabe den gesprochenen Auslöser umfasst, einem Auslösen (z. B. mit der Virtueller-Assistent-Dienst-Einheit 1020) eines vorher festgelegten Diensts; und gemäß einer Bestimmung, dass die abgetastete Audioeingabe den gesprochenen Auslöser nicht umfasst, einem Unterlassen des Auslösens des vorher festgelegten Diensts (z. B. mit der Virtueller-Assistent-Dienst-Einheit 1020).
In einigen Ausführungsformen ist die Verarbeitungseinheit 1012 ferner zu Folgendem konfiguriert: einem Senden (z. B. mit der Anweisungseinheit 1022 und/oder der Kommunikationseinheit 1008) der Stoppanweisungen oder der Wiederaufnahmeanweisungen an die zweite elektronische Vorrichtung unter Verwendung eines statusfreien Übertragungsmechanismus.
In einigen Ausführungsformen ist die Verarbeitungseinheit 1012 ferner zu Folgendem konfiguriert: einem Senden (z. B. mit der Anweisungseinheit 1022 und/oder der Kommunikationseinheit 1018) der Stoppanweisungen als Teil einer an die zweite elektronische Vorrichtung gerichteten Übertragung auf einem elektronischen Kommunikationskanal.
In einigen Ausführungsformen ist die Verarbeitungseinheit 1012 ferner zu Folgendem konfiguriert: gemäß dem Senden (z. B. mit der Anweisungseinheit 1022 und/oder der Kommunikationseinheit 1008) der Stoppanweisungen an eine zweite elektronische Vorrichtung, einem Senden (z. B. mit der Anweisungseinheit 1022 und/oder der Kommunikationseinheit 1008) der Stoppanweisungen auf einem elektronischen Kommunikationskanal.
In einigen Ausführungsformen umfasst der gesprochene Auslöser einen vorher festgelegten Ausdruck.
In einigen Ausführungsformen ist die Verarbeitungseinheit 1012 ferner zu Folgendem konfiguriert: einem Unterhaken eines Zählers (z. B. mit der Zählereinheit 1024) basierend auf Vorrichtungsnutzungsbedingungen, wobei das Senden (z. B. mit der Anweisungseinheit 1022 und/oder der Kommunikationseinheit 1008) der Stoppanweisungen an die zweite elektronische Vorrichtung Folgendes umfasst: gemäß einer Bestimmung, dass der Zähler einen Schwellenwert überschreitet, ein Senden (z. B. mit der Anweisungseinheit 1022 und/oder der Kommunikationseinheit 1008) der Stoppanweisungen, und gemäß einer Bestimmung, dass der Zähler den Schwellenwert nicht überschreitet, ein Unterlassen des Sendens der Stoppanweisungen (z. B. mit der Anweisungseinheit 1022 und/oder der Kommunikationseinheit 1008).
In einigen Ausführungsformen ist die Verarbeitungseinheit 1012 ferner zum Senden (z. B. mit der Anweisungseinheit 1022 und/oder der Kommunikationseinheit 1008) der Wiederaufnahmeanweisungen an die zweite elektronische Vorrichtung durch Folgendes konfiguriert: gemäß einer Bestimmung, dass der Zähler einen Schwellenwert nicht überschreitet, ein Senden (z. B. mit der Anweisungseinheit 1022 und/oder der Kommunikationseinheit 1008) der Wiederaufnahmeanweisungen und gemäß einer Bestimmung, dass der Zähler den Schwellenwert überschreitet, ein Unterlassen des Sendens der Wiederaufnahmeanweisungen (z. B. mit der Anweisungseinheit 1022 und/oder der Kommunikationseinheit 1008).
In einigen Ausführungsformen ist die Verarbeitungseinheit 1012 ferner zum Erhöhen des Zählers (z. B. mit der Zählereinheit 1024) gemäß einer Bestimmung (z. B. mit der Anzeigeaktivierungseinheit 1014 und/oder der Anzeigeeinheit 1002), dass eine Hintergrundbeleuchtung der Anzeigeeinheit 1002 der Vorrichtung 1000 eingeschaltet ist, konfiguriert.
In einigen Ausführungsformen ist die Verarbeitungseinheit 1012 ferner zum Erhöhen des Zählers (z. B. mit der Zählereinheit 1024) gemäß einem Erfassen einer Aktivierung einer Eingabevorrichtung (z. B. mit der berührungsempfindlichen Oberfläche 1004) der Vorrichtung 1000 konfiguriert.
In einigen Ausführungsformen ist die Verarbeitungseinheit 1012 ferner zum Erhöhen des Zählers (z. B. mit der Zählereinheit 1024) gemäß einem Erfassen (z. B. mit der Bewegungssensoreinheit 1010) einer Bewegung der Vorrichtung 1000, die eine vorher festgelegte Bedingung erfüllt, konfiguriert.
In einigen Ausführungsformen ist die Verarbeitungseinheit 1012 ferner zum Erhöhen des Zählers (z. B. mit der Zählereinheit 1024) gemäß einer Bestimmung, dass ein vorher festgelegter Dienst (z. B. mit der Virtueller-Assistent-Dienst-Einheit 1020) aktiv (z. B. im Vordergrund) auf der Vorrichtung 1000 ausgeführt wird, konfiguriert.
In einigen Ausführungsformen ist die Verarbeitungseinheit 1012 ferner zum Reduzieren des Zählers (z. B. mit der Zählereinheit 1024) gemäß einer Bestimmung (z. B. mit der Anzeigeaktivierungseinheit 1014), dass eine Hintergrundbeleuchtung der Anzeigeeinheit 1002 ausgeschaltet ist, konfiguriert.
In einigen Ausführungsformen ist die Verarbeitungseinheit 1012 ferner zum Reduzieren des Zählers (z. B. mit der Zählereinheit 1024) gemäß einer Bestimmung (z. B. mit der Anzeigeaktivierungseinheit 1014), dass die Anzeigeeinheit 1002 für einen längeren Zeitraum als eine vorher festgelegte Dauer eingeschaltet war, konfiguriert.
In einigen Ausführungsformen ist die Verarbeitungseinheit 1012 ferner zum Reduzieren des Zählers (z. B. mit der Zählereinheit 1024) gemäß einem Erfassen eines Schließens eines vorher festgelegten Diensts (z. B. eines durch die Virtueller-Assistent-Einheit 1020 bereitgestellten Virtueller-Assistent-Diensts) oder einer vorher festgelegten Anwendung auf der Vorrichtung 1000 konfiguriert. In einigen Ausführungsformen ist die Verarbeitungseinheit 1012 ferner zum Reduzieren des Zählers (z. B. mit der Zählereinheit 1024) gemäß einer Bestimmung, dass seit dem Schließen eine vorher festgelegte Dauer abgelaufen ist, konfiguriert.
Die vorstehend unter Bezugnahme auf 8A–8F beschriebenen Vorgänge sind wahlweise durch die in 1, 2 oder 10 dargestellten Komponenten implementiert. Zum Beispiel ist der Audioempfangsvorgang 902 wahlweise durch die Audioschaltung 210 implementiert und sind Anweisungsübertragungen in den Blöcken 904 und 908 wahlweise durch den/die Prozessor(en) 220 implementiert. Für einen Fachmann ist klar, wie andere Prozesse auf Grundlage der in 1, 2 oder 10 dargestellten Komponenten implementiert werden können.
Dem Fachmann ist klar, dass die in 10 beschriebenen Funktionsblöcke wahlweise kombiniert oder in Unterblöcke aufgeteilt werden können, um die Prinzipien der verschiedenen beschriebenen Ausführungsformen zu implementieren. Deshalb belegt die Beschreibung hierin wahlweise jede mögliche Kombination oder Aufteilung oder weitere Definition der hierein beschriebenen, funktionellen Blöcke. Zum Beispiel können die Einheiten 1002–1012 verbundene „Steuerungseinheiten” haben, die operativ mit der jeweiligen Einheit und der Verarbeitungseinheit 1012 gekoppelt sind, um den Betrieb zu ermöglichen. Diese Steuerungseinheiten sind in 10 nicht separat dargestellt, sondern es versteht sich, dass sie einem Fachmann, der eine Vorrichtung mit den Einheiten 1002–1012 wie die Vorrichtung 1000 entwickelt, bereits bekannt sind. Als ein anderes Beispiel können die Audioabtasteinheit 1016 und/oder die Audiobestimmungseinheit 1018 in einigen Ausführungsformen Hardwareeinheiten außerhalb der Verarbeitungseinheit 1012 sein. Deshalb belegt die Beschreibung hierin wahlweise jede mögliche Kombination oder Aufteilung und/oder weitere Definitionen der hierein beschriebenen, funktionellen Blöcke.
Obwohl die Offenbarung und Beispiele unter Bezugnahme auf die begleitenden Darstellungen vollständig beschrieben wurden, ist zu beachten, dass vielfältige Änderungen und Modifikationen für den Fachmann ersichtlich sind. Solche Änderungen und Modifikationen sind als innerhalb des Umfangs der Offenbarung und Beispiele, wie sie durch die beigefügten Ansprüche definiert sind, eingeschlossen zu verstehen.

Claims

Verfahren, umfassend: auf einer ersten elektronischen Vorrichtung mit einer Anzeige und einem ersten Mikrofon: ein Abtasten einer Audioeingabe unter Verwendung des ersten Mikrofons; gemäß dem Abtasten der Audioeingabe unter Verwendung des ersten Mikrofons, ein Senden von Stoppanweisungen an eine zweite elektronische Vorrichtung mit einem zweiten Mikrofon, wobei die zweite elektronische Vorrichtung außerhalb der ersten elektronischen Vorrichtung ist, wobei die zweite elektronische Vorrichtung dazu konfiguriert ist, auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, und wobei die Stoppanweisungen die zweite elektronische Vorrichtung anweisen, nicht auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, wobei das Reagieren auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe ein Bereitstellen einer wahrnehmbaren Ausgabe umfasst.
Verfahren nach Anspruch 1, ferner umfassend: auf der ersten elektronischen Vorrichtung: ein Einstellen des Abtasten einer Audioeingabe; gemäß dem Einstellen des Abtasten einer Audioeingabe, ein Senden von Wiederaufnahmeanweisungen an die zweite elektronische Vorrichtung, wobei die Wiederaufnahmeanweisungen die zweite elektronische Vorrichtung anweisen, das Reagieren auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe wieder aufzunehmen.
Verfahren nach einem der Ansprüche 1 und 2, wobei die zweite elektronische Vorrichtung dazu konfiguriert ist, auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe durch Folgendes zu reagieren: ein Abtasten einer Audioeingabe unter Verwendung des zweiten Mikrofons und ein Initiieren einer Sitzung eines virtuellen Assistenten gemäß einer Bestimmung, dass die unter Verwendung des zweiten Mikrofons abgetastete Audioeingabe einen gesprochenen Auslöser umfasst; und wobei die Stoppanweisungen die zweite elektronische Vorrichtung dazu veranlassen, nicht auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, indem sie das Abtasten einer Audioeingabe unter Verwendung des zweiten Mikrofons unterlässt.
Verfahren nach einem der Ansprüche 1 und 2, wobei die zweite elektronische Vorrichtung dazu konfiguriert ist, auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe durch Folgendes zu reagieren: ein Abtasten einer Audioeingabe unter Verwendung des zweiten Mikrofons und ein Initiieren einer Sitzung eines virtuellen Assistenten gemäß einer Bestimmung, dass die unter Verwendung des zweiten Mikrofons abgetastete Audioeingabe einen gesprochenen Auslöser umfasst; und wobei die Stoppanweisungen die zweite elektronische Vorrichtung anweisen, nicht auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, indem sie das Initiieren der Sitzung eines virtuellen Assistenten unterlässt, selbst wenn die unter Verwendung des zweiten Mikrofons abgetastete Audioeingabe einen gesprochenen Auslöser umfasst.
Verfahren nach einem der Ansprüche 1–4, wobei die Stoppanweisungen eine Anzeige der Dauer umfassen, für die die zweite elektronische Vorrichtung nicht auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe reagieren soll.
Verfahren nach einem der Ansprüche 1–5, wobei die zweite elektronische Vorrichtung zu Folgendem konfiguriert ist: nach einem Unterlassen des Reagieren auf eine unter Verwendung des zweiten Mikrofon empfangene Audioeingabe, gemäß einem Empfangen der Stoppanweisungen von der ersten elektronischen Vorrichtung: einem Wiederaufnehmen des Reagieren auf eine unter Verwendung des zweiten Mikrofon empfangene Audioeingabe.
Verfahren nach einem der Ansprüche 1–6, wobei die zweite elektronische Vorrichtung ferner zu Folgendem konfiguriert ist: gemäß einem Empfangen der Stoppanweisungen, während die zweite elektronische Vorrichtung auf eine Audioeingabe von dem zweiten Mikrofon reagiert, einem Einstellen des Reagieren auf die Audioeingabe von dem zweiten Mikrofon.
Verfahren nach einem der Ansprüche 1–7, wobei die zweite elektronische Vorrichtung ferner zu Folgendem konfiguriert ist: gemäß einem Empfangen der Stoppanweisungen, während die zweite elektronische Vorrichtung auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe reagiert, einem Bereitstellen einer Ausgabe, die anzeigt, dass die zweite elektronische Vorrichtung ihre Reaktion auf die Audioeingabe von dem zweiten Mikrofon einstellt.
Verfahren nach einem der Ansprüche 1–8, ferner umfassend: gemäß dem Abtasten der Audioeingabe unter Verwendung des ersten Mikrofons auf der ersten elektronischen Vorrichtung: ein Bestimmen, ob die Anzeige der ersten elektronischen Vorrichtung eingeschaltet ist; gemäß einer Bestimmung, dass der Bildschirm eingeschaltet ist, ein Abtasten einer Audioeingabe unter Verwendung des ersten Mikrofons; und gemäß einer Bestimmung, dass der Bildschirm nicht eingeschaltet ist, ein Unterlassen des Abtasten einer Audioeingabe unter Verwendung des ersten Mikrofons.
Verfahren nach einem der Ansprüche 1–9, ferner umfassend: gemäß dem Abtasten der Audioeingabe unter Verwendung des ersten Mikrofons auf der ersten elektronischen Vorrichtung: ein Bestimmen, ob ein vorher festgelegter Dienst im Vordergrund der ersten elektronischen Vorrichtung ausgeführt wird; gemäß einer Bestimmung, dass der Dienst im Vordergrund ausgeführt wird, ein Abtasten einer Audioeingabe unter Verwendung des ersten Mikrofons; und gemäß einer Bestimmung, dass der Bildschirm nicht im Vordergrund ausgeführt wird, ein Unterlassen des Abtastens einer Audioeingabe unter Verwendung des ersten Mikrofons.
Verfahren nach einem der Ansprüche 1–10, ferner umfassend: gemäß dem Abtasten der Audioeingabe unter Verwendung des ersten Mikrofons auf der ersten elektronischen Vorrichtung: ein Bestimmen, ob ein vorher festgelegter Dienst für einen längeren Zeitraum als eine vorher festgelegte Dauer geschlossen wurde; gemäß einer Bestimmung, dass der vorher festgelegte Dienst nicht für einen längeren Zeitraum als eine vorher festgelegte Dauer geschlossen wurde, ein Abtasten einer Audioeingabe unter Verwendung des ersten Mikrofons; und gemäß einer Bestimmung, dass der vorher festgelegte Dienst für einen längeren Zeitraum als eine vorher festgelegte Dauer geschlossen wurde, ein Unterlassen des Abtasten einer Audioeingabe unter Verwendung des ersten Mikrofons.
Verfahren nach einem der Ansprüche 1–11, ferner umfassend: gemäß dem Abtasten der Audioeingabe unter Verwendung des zweiten Mikrofons auf der zweiten elektronischen Vorrichtung: ein Abtasten einer Audioeingabe unter Verwendung des zweiten Mikrofons, wenn mindestens ein vorher festgelegter Prozessor der zweiten elektronischen Vorrichtung eingeschaltet ist.
Verfahren nach einem der Ansprüche 1–12, ferner umfassend: gemäß dem Abtasten der Audioeingabe unter Verwendung des zweiten Mikrofons auf der zweiten elektronischen Vorrichtung: ein Bestimmen, ob die zweite elektronische Vorrichtung gerade geladen wird; gemäß einer Bestimmung, dass die zweite elektronische Vorrichtung gerade geladen wird, ein Abtasten einer Audioeingabe unter Verwendung des ersten Mikrofon; und gemäß einer Bestimmung, dass die zweite elektronische Vorrichtung gerade nicht geladen wird, ein Unterlassen des Abtasten einer Audioeingabe unter Verwendung des ersten Mikrofon.
Verfahren nach einem der Ansprüche 1–13, ferner umfassend: ein Bestimmen, ob die abgetastete Audioeingabe einen gesprochenen Auslöser umfasst; gemäß einer Bestimmung, dass die abgetastete Audioeingabe den gesprochenen Auslöser umfasst, ein Auslösen eines vorher festgelegten Diensts; und gemäß einer Bestimmung, dass die abgetastete Audioeingabe den gesprochenen Auslöser nicht umfasst, ein Unterlassen des Auslösen des vorher festgelegten Diensts.
Verfahren nach einem der Ansprüche 1–14, ferner umfassend: auf der ersten elektronischen Vorrichtung, ein Senden der Stoppanweisungen oder der Wiederaufnahmeanweisungen an die zweite elektronische Vorrichtung unter Verwendung eines statusfreien Übertragungsmechanismus.
Verfahren nach einem der Ansprüche 1–15, ferner umfassend: gemäß dem Senden der Stoppanweisungen an die zweite elektronische Vorrichtung, ein Senden der Stoppanweisungen als Teil einer an die zweite elektronische Vorrichtung gerichteten Übertragung auf einem elektronischen Kommunikationskanal.
Verfahren nach einem der Ansprüche 1–16, ferner umfassend: gemäß dem Senden der Stoppanweisungen an eine zweite elektronische Vorrichtung, ein Senden der Stoppanweisungen auf einem elektronischen Kommunikationskanal.
Verfahren nach einem der Ansprüche 1–17, wobei der gesprochene Auslöser einen vorher festgelegten Ausdruck umfasst.
Verfahren nach einem der Ansprüche 1–18, ferner umfassend: auf der ersten elektronischen Vorrichtung: ein Unterhalten eines Zählers basierend auf Vorrichtungsnutzungsbedingungen, wobei das Senden der Stoppanweisungen an die zweite elektronische Vorrichtung Folgendes umfasst: gemäß einer Bestimmung, dass der Zähler einen Schwellenwert überschreitet, ein Senden der Stoppanweisungen und gemäß einer Bestimmung, dass der Zähler den Schwellenwert nicht überschreitet, ein Unterlassen des Sendens der Stoppanweisungen.
Verfahren nach Anspruch 19, wobei das Senden der Wiederaufnahmeanweisungen an die zweite elektronische Vorrichtung Folgendes umfasst: gemäß einer Bestimmung, dass der Zähler einen Schwellenwert nicht überschreitet, ein Senden der Wiederaufnahmeanweisungen und gemäß einer Bestimmung, dass der Zähler den Schwellenwert überschreitet, ein Unterlassen des Sendens der Wiederaufnahmeanweisungen.
Verfahren nach einem der Ansprüche 19 und 20, ferner umfassend: ein Erhöhen des Zählers gemäß einer Bestimmung, dass eine Hintergrundbeleuchtung der Anzeige der ersten elektronischen Vorrichtung eingeschaltet ist.
Verfahren nach einem der Ansprüche 19–21, ferner umfassend: ein Erhöhen des Zählers gemäß einem Erfassen einer Aktivierung einer Eingabevorrichtung der ersten elektronischen Vorrichtung.
Verfahren nach einem der Ansprüche 19–22, ferner umfassend: ein Erhöhen des Zählers gemäß einem Erfassen einer Bewegung der ersten elektronischen Vorrichtung, die eine vorher festgelegte Bedingung erfüllt.
Verfahren nach einem der Ansprüche 19–23, ferner umfassend: ein Erhöhen des Zählers gemäß einer Bestimmung, dass ein vorher festgelegter Dienst auf der ersten elektronischen Vorrichtung aktiv ausgeführt wird.
Verfahren nach einem der Ansprüche 19–24, ferner umfassend: ein Reduzieren des Zählers gemäß einer Bestimmung, dass eine Hintergrundbeleuchtung der Anzeige der ersten elektronischen Vorrichtung ausgeschaltet ist.
Verfahren nach einem der Ansprüche 19–25, ferner umfassend: ein Reduzieren des Zählers gemäß einer Bestimmung, dass die Anzeige der ersten elektronischen Vorrichtung für einen längeren Zeitraum als eine vorher festgelegte Dauer eingeschaltet war.
Verfahren nach einem der Ansprüche 19–26, ferner umfassend: ein Reduzieren des Zählers gemäß einem Erfassen eines Schließens eines vorher festgelegten Diensts oder einer vorher festgelegten Anwendung auf der ersten elektronischen Vorrichtung.
Verfahren nach Anspruch 27, ferner umfassend: ein Reduzieren des Zählers gemäß einer Bestimmung, dass seit dem Schließen eine vorher festgelegte Dauer abgelaufen ist.
Nicht flüchtiges, computerlesbares Speichermedium, das ein oder mehrere Programme speichert, wobei das eine oder die mehreren Programme Anweisungen umfassen, die bei Ausführung durch eine erste elektronische Vorrichtung mit einer Anzeige und einem ersten Mikrofon die elektronische Vorrichtung zu Folgendem veranlassen: einem Abtasten einer Audioeingabe unter Verwendung des ersten Mikrofons; gemäß dem Abtasten der Audioeingabe unter Verwendung des ersten Mikrofons, einem Senden von Stoppanweisungen an eine zweite elektronische Vorrichtung mit einem zweiten Mikrofon, wobei die zweite elektronische Vorrichtung außerhalb der ersten elektronischen Vorrichtung ist, wobei die zweite elektronische Vorrichtung dazu konfiguriert ist, auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren und wobei die Stoppanweisungen die zweite elektronische Vorrichtung anweisen, nicht auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, wobei das Reagieren auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe ein Bereitstellen einer wahrnehmbaren Ausgabe umfasst.
Nicht flüchtiges, computerlesbares Speichermedium, das ein oder mehrere Programme speichert, wobei das eine oder die mehreren Programme Anweisungen umfassen, die bei Ausführung durch eine erste elektronische Vorrichtung mit einer Anzeige, einem ersten Mikrofon und einer Eingabevorrichtung die erste elektronische Vorrichtung zu Folgendem veranlassen: einem Durchführen der Verfahren nach einem der Ansprüche 1–28.
Elektronische Vorrichtung, umfassend: eine Anzeige; einen oder mehrere Prozessoren; einen Speicher; ein erstes Mikrofon und ein oder mehrere Programme, wobei das eine oder die mehreren Programme im Speicher gespeichert sind und dazu konfiguriert sind, von dem einen oder den mehreren Prozessoren ausgeführt zu werden, wobei das eine oder die mehreren Programme Anweisungen für Folgendes einschließen: ein Abtasten einer Audioeingabe unter Verwendung des ersten Mikrofons; gemäß dem Abtasten der Audioeingabe unter Verwendung des ersten Mikrofons, ein Senden von Stoppanweisungen an eine zweite elektronische Vorrichtung mit einem zweiten Mikrofon, wobei die zweite elektronische Vorrichtung außerhalb der ersten elektronischen Vorrichtung ist, wobei die zweite elektronische Vorrichtung dazu konfiguriert ist, auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, und wobei die Stoppanweisungen die zweite elektronische Vorrichtung anweisen, nicht auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, wobei das Reagieren auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe ein Bereitstellen einer wahrnehmbaren Ausgabe umfasst.
Elektronische Vorrichtung, umfassend: eine Anzeige; einen oder mehrere Prozessoren; einen Speicher; ein erstes Mikrofon und ein oder mehrere Programme, wobei das eine oder die mehreren Programme im Speicher gespeichert sind und dazu konfiguriert sind, von dem einen oder den mehreren Prozessoren ausgeführt zu werden, wobei das eine oder die mehreren Programme Anweisungen zum Durchführen der Verfahren nach einem der Ansprüche 1–28 einschließen.
Elektronische Vorrichtung, umfassend: ein Mittel zum Abtasten einer Audioeingabe unter Verwendung des ersten Mikrofons; ein Mittel, gemäß dem Abtasten der Audioeingabe unter Verwendung des ersten Mikrofons, zum Senden von Stoppanweisungen an eine zweite elektronische Vorrichtung mit einem zweiten Mikrofon, wobei die zweite elektronische Vorrichtung außerhalb der ersten elektronischen Vorrichtung ist, wobei die zweite elektronische Vorrichtung dazu konfiguriert ist, auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, und wobei die Stoppanweisungen die zweite elektronische Vorrichtung anweisen, nicht auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, wobei das Reagieren auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe ein Bereitstellen einer wahrnehmbaren Ausgabe umfasst.
Elektronische Vorrichtung, umfassend: ein Mittel zum Durchführen der Verfahren nach einem der Ansprüche 1–28.
Elektronische Vorrichtung, umfassend: eine Anzeige; ein erstes Mikrofon; und eine an die Anzeige und das erste Mikrofon gekoppelte Verarbeitungseinheit, wobei die Verarbeitungseinheit zu Folgendem konfiguriert ist: einem Abtasten einer Audioeingabe unter Verwendung des ersten Mikrofons; gemäß dem Abtasten der Audioeingabe unter Verwendung des ersten Mikrofons, einem Senden von Stoppanweisungen an eine zweite elektronische Vorrichtung mit einem zweiten Mikrofon, wobei die zweite elektronische Vorrichtung außerhalb der elektronischen Vorrichtung ist, wobei die zweite elektronische Vorrichtung dazu konfiguriert ist, auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, und wobei die Stoppanweisungen die zweite elektronische Vorrichtung anweisen, nicht auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, wobei das Reagieren auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe ein Bereitstellen einer wahrnehmbaren Ausgabe umfasst.
Elektronische Vorrichtung nach Anspruch 35, wobei die Verarbeitungseinheit ferner zu Folgendem konfiguriert ist: einem Einstellen des Abtastens einer Audioeingabe; gemäß dem Einstellen des Abtastens einer Audioeingabe, einem Senden von Wiederaufnahmeanweisungen an die zweite elektronische Vorrichtung, wobei die Wiederaufnahmeanweisungen die zweite elektronische Vorrichtung anweisen, das Reagieren auf die unter Verwendung des zweiten Mikrofons empfangene Audioeingabe wieder aufzunehmen.
Elektronische Vorrichtung nach einem der Ansprüche 35 und 36, wobei die zweite elektronische Vorrichtung dazu konfiguriert ist, auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe durch Folgendes zu reagieren: ein Abtasten einer Audioeingabe unter Verwendung des zweiten Mikrofons und ein Initiieren einer Sitzung eines virtuellen Assistenten gemäß einer Bestimmung, dass die unter Verwendung des zweiten Mikrofons abgetastete Audioeingabe einen gesprochenen Auslöser umfasst; und wobei die Stoppanweisungen die zweite elektronische Vorrichtung dazu veranlassen, nicht auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, indem sie das Abtasten einer Audioeingabe unter Verwendung des zweiten Mikrofons unterlässt.
Elektronische Vorrichtung nach einem der Ansprüche 35 und 36, wobei die zweite elektronische Vorrichtung dazu konfiguriert ist, auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe durch Folgendes zu reagieren: ein Abtasten einer Audioeingabe unter Verwendung des zweiten Mikrofons und ein Initiieren einer Sitzung eines virtuellen Assistenten gemäß einer Bestimmung, dass die unter Verwendung des zweiten Mikrofons abgetastete Audioeingabe einen gesprochenen Auslöser umfasst; und wobei die Stoppanweisungen die zweite elektronische Vorrichtung dazu veranlassen, nicht auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe zu reagieren, indem sie das Initiieren der Sitzung eines virtuellen Assistenten unterlässt, selbst wenn die unter Verwendung des zweiten Mikrofons abgetastete Audioeingabe einen gesprochenen Auslöser umfasst.
Elektronische Vorrichtung nach einem der Ansprüche 35–38, wobei die Stoppanweisungen eine Anzeige der Dauer umfassen, für die die zweite elektronische Vorrichtung nicht auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe reagieren soll.
Elektronische Vorrichtung nach einem der Ansprüche 35–39, wobei die Wiederaufnahmeanweisungen die zweite elektronische Vorrichtung zu Folgendem veranlassen: einem Wiederaufnehmen des Reagieren auf eine unter Verwendung des zweiten Mikrofon empfangene Audioeingabe.
Elektronische Vorrichtung nach einem der Ansprüche 35–40, wobei die Stoppanweisungen die zweite elektronische Vorrichtung zu Folgendem veranlassen: gemäß einem Empfangen der Stoppanweisungen, während die zweite elektronische Vorrichtung auf eine Audioeingabe von dem zweiten Mikrofon reagiert, einem Einstellen des Reagieren auf die Audioeingabe von dem zweiten Mikrofon.
Elektronische Vorrichtung nach einem der Ansprüche 35–41, wobei die Stoppanweisungen die zweite elektronische Vorrichtung zu Folgendem veranlassen: gemäß einem Empfangen der Stoppanweisungen, während die zweite elektronische Vorrichtung auf eine unter Verwendung des zweiten Mikrofons empfangene Audioeingabe reagiert, einem Bereitstellen einer Ausgabe, die anzeigt, dass die zweite elektronische Vorrichtung ihre Reaktion auf die Audioeingabe von dem zweiten Mikrofon einstellt.
Elektronische Vorrichtung nach einem der Ansprüche 35–42, wobei die Verarbeitungseinheit ferner zu Folgendem konfiguriert ist: einem Bestimmen, ob die Anzeige der ersten elektronischen Vorrichtung eingeschaltet ist; gemäß einer Bestimmung, dass der Bildschirm eingeschaltet ist, einem Abtasten einer Audioeingabe unter Verwendung des ersten Mikrofons; und gemäß einer Bestimmung, dass der Bildschirm nicht eingeschaltet ist, einem Unterlassen des Abtastens einer Audioeingabe unter Verwendung des ersten Mikrofons.
Elektronische Vorrichtung nach einem der Ansprüche 35–43, wobei die Verarbeitungseinheit ferner zu Folgendem konfiguriert ist: gemäß dem Abtasten der Audioeingabe unter Verwendung des ersten Mikrofons auf der elektronischen Vorrichtung: einem Bestimmen, ob ein vorher festgelegter Dienst im Vordergrund der elektronischen Vorrichtung ausgeführt wird; gemäß einer Bestimmung, dass der Dienst im Vordergrund ausgeführt wird, einem Abtasten einer Audioeingabe unter Verwendung des ersten Mikrofons; und gemäß einer Bestimmung, dass der Dienst nicht im Vordergrund ausgeführt wird, einem Unterlassen des Abtastens einer Audioeingabe unter Verwendung des ersten Mikrofons.
Elektronische Vorrichtung nach einem der Ansprüche 35–44, wobei die Verarbeitungseinheit ferner zu Folgendem konfiguriert ist: gemäß dem Abtasten der Audioeingabe unter Verwendung des ersten Mikrofons auf der ersten elektronischen Vorrichtung: einem Bestimmen, ob ein vorher festgelegter Dienst für einen längeren Zeitraum als eine vorher festgelegte Dauer geschlossen wurde; gemäß einer Bestimmung, dass der vorher festgelegte Dienst nicht für einen längeren Zeitraum als eine vorher festgelegte Dauer geschlossen wurde, einem Abtasten einer Audioeingabe unter Verwendung des ersten Mikrofons; und gemäß einer Bestimmung, dass der vorher festgelegte Dienst für einen längeren Zeitraum als eine vorher festgelegte Dauer geschlossen wurde, einem Unterlassen des Abtastens einer Audioeingabe unter Verwendung des ersten Mikrofons.
Elektronische Vorrichtung nach einem der Ansprüche 35–45, wobei das Abtasten der Audioeingabe unter Verwendung des zweiten Mikrofons auf der zweiten elektronischen Vorrichtung Folgendes umfasst: ein Abtasten einer Audioeingabe unter Verwendung des zweiten Mikrofons, wenn mindestens ein vorher festgelegter Prozessor der zweiten elektronischen Vorrichtung eingeschaltet ist.
Elektronische Vorrichtung nach einem der Ansprüche 35–46, wobei das Abtasten der Audioeingabe unter Verwendung des zweiten Mikrofons auf der zweiten elektronischen Vorrichtung Folgendes umfasst: ein Bestimmen, ob die zweite elektronische Vorrichtung gerade geladen wird; gemäß einer Bestimmung, dass die zweite elektronische Vorrichtung gerade geladen wird, ein Abtasten einer Audioeingabe unter Verwendung des ersten Mikrofons; und gemäß einer Bestimmung, dass die zweite elektronische Vorrichtung gerade nicht geladen wird, ein Unterlassen des Abtastens einer Audioeingabe unter Verwendung des ersten Mikrofons.
Elektronische Vorrichtung nach einem der Ansprüche 35–47, wobei die Verarbeitungseinheit ferner zu Folgendem konfiguriert ist: einem Bestimmen, ob die abgetastete Audioeingabe einen gesprochenen Auslöser umfasst; gemäß einer Bestimmung, dass die abgetastete Audioeingabe den gesprochenen Auslöser umfasst, einem Auslösen eines vorher festgelegten Diensts und gemäß einer Bestimmung, dass die abgetastete Audioeingabe den gesprochenen Auslöser nicht umfasst, einem Unterlassen des Auslösen des vorher festgelegten Diensts.
Elektronische Vorrichtung nach einem der Ansprüche 35–48, wobei die Verarbeitungseinheit ferner zu Folgendem konfiguriert ist: einem Senden der Stoppanweisungen oder der Wiederaufnahmeanweisungen an die zweite elektronische Vorrichtung unter Verwendung eines statusfreien Übertragungsmechanismus.
Elektronische Vorrichtung nach einem der Ansprüche 35–49, wobei die Verarbeitungseinheit ferner zu Folgendem konfiguriert ist: einem Senden der Stoppanweisungen als Teil einer an die zweite elektronische Vorrichtung gerichteten Übertragung auf einem elektronischen Kommunikationskanal.
Elektronische Vorrichtung nach einem der Ansprüche 35–49, wobei die Verarbeitungseinheit ferner zu Folgendem konfiguriert ist: gemäß dem Senden der Stoppanweisungen an eine zweite elektronische Vorrichtung, einem Senden der Stoppanweisungen auf einem elektronischen Kommunikationskanal.
Elektronische Vorrichtung nach einem der Ansprüche 35–51, wobei der gesprochene Auslöser einen vorher festgelegten Ausdruck umfasst.
Elektronische Vorrichtung nach einem der Ansprüche 35–52, wobei die Verarbeitungseinheit ferner zu Folgendem konfiguriert ist: einem Unterhalten eines Zählers basierend auf Vorrichtungsnutzungsbedingungen, wobei das Senden der Stoppanweisungen an die zweite elektronische Vorrichtung Folgendes umfasst: gemäß einer Bestimmung, dass der Zähler einen Schwellenwert überschreitet, ein Senden der Stoppanweisungen und gemäß einer Bestimmung, dass der Zähler den Schwellenwert nicht überschreitet, ein Unterlassen des Sendens der Stoppanweisungen.
Elektronische Vorrichtung nach Anspruch 53, wobei die Verarbeitungseinheit ferner zum Senden der Wiederaufnahmeanweisungen an die zweite elektronische Vorrichtung durch Folgendes konfiguriert ist: gemäß einer Bestimmung, dass der Zähler einen Schwellenwert nicht überschreitet, ein Senden der Wiederaufnahmeanweisungen und gemäß einer Bestimmung, dass der Zähler den Schwellenwert überschreitet, ein Unterlassen des Sendens der Wiederaufnahmeanweisungen.
Elektronische Vorrichtung nach einem der Ansprüche 53 und 54, wobei die Verarbeitungseinheit ferner zum Erhöhen des Zählers gemäß einer Bestimmung, dass eine Hintergrundbeleuchtung der Anzeige der ersten elektronischen Vorrichtung eingeschaltet ist, konfiguriert ist.
Elektronische Vorrichtung nach einem der Ansprüche 53–55, wobei die Verarbeitungseinheit ferner zum Erhöhen des Zählers gemäß einem Erfassen einer Aktivierung einer Eingabevorrichtung der ersten elektronischen Vorrichtung konfiguriert ist.
Elektronische Vorrichtung nach einem der Ansprüche 53–56, wobei die Verarbeitungseinheit ferner zum Erhöhen des Zählers gemäß einem Erfassen einer Bewegung der ersten elektronischen Vorrichtung, die eine vorher festgelegte Bedingung erfüllt, konfiguriert ist.
Elektronische Vorrichtung nach einem der Ansprüche 53–57, wobei die Verarbeitungseinheit ferner zum Erhöhen des Zählers gemäß einer Bestimmung, dass ein vorher festgelegter Dienst auf der ersten elektronischen Vorrichtung aktiv ausgeführt wird, konfiguriert ist.
Elektronische Vorrichtung nach einem der Ansprüche 53–58, wobei die Verarbeitungseinheit ferner zum Reduzieren des Zählers gemäß einer Bestimmung, dass eine Hintergrundbeleuchtung der Anzeige der ersten elektronischen Vorrichtung ausgeschaltet ist, konfiguriert ist.
Elektronische Vorrichtung nach einem der Ansprüche 53–59, wobei die Verarbeitungseinheit ferner zum Reduzieren des Zählers gemäß einer Bestimmung, dass die Anzeige der ersten elektronischen Vorrichtung für einen längeren Zeitraum als eine vorher festgelegte Dauer eingeschaltet war, konfiguriert ist.
Elektronische Vorrichtung nach einem der Ansprüche 53–60, wobei die Verarbeitungseinheit ferner zum Reduzieren des Zählers gemäß einem Erfassen eines Schließens eines vorher festgelegten Diensts oder einer vorher festgelegten Anwendung auf der ersten elektronischen Vorrichtung konfiguriert ist.
Elektronische Vorrichtung nach einem der Ansprüche 53–61, wobei die Verarbeitungseinheit ferner zum Reduzieren des Zählers gemäß einer Bestimmung, dass seit dem Schließen eine vorher festgelegte Dauer abgelaufen ist, konfiguriert ist.