CN101636711A - 利用多点感测设备作姿态 - Google Patents

Abstract

公开了用于利用感测设备实现姿态的方法与系统。更具体地，公开了涉及利用多点感测设备作姿态的方法与系统。

Description

利用多点感测设备作姿态

对相关申请的交叉引用

本申请要求于2006年1月30日提交的题为“GESTURING WITHA MULTIPOINT SENSING DEVICE”的美国临时专利申请No.60/763,605的优先权利益，该申请通过引入并入于此。

本申请是于2004年7月30日提交的题为“GESTURES FORTOUCH SENSITIVE INPUT DEVICES”的美国专利申请No.10/903,964的部分继续申请，上述申请通过引入并入于此。

本申请是于2004年12月17日提交的题为“METHOD ANDAPPARATUS FOR INTE GRATING MANUAL INPUT”的美国专利申请No.11/015,434的部分继续申请，上述申请要求于2001年11月27日发布的美国专利No.6,323,846的优先权，该专利又要求于1998年1月26日提交的美国临时专利申请No.60/072,509的优先权，所有这些专利申请和专利都通过引入并入于此。

本申请还与以下专利申请相关，其中每个申请都通过引入并入于此：

于2003年9月2日提交的题为“AMBIDEXTROUS MOUSE”的美国专利申请No.10/654,108；

于2004年2月27日提交的题为“SHAPE DETECTING INPUTDEVICE”的美国专利申请No.10/789,676；

于2004年5月6日提交的题为“MULTIPOINTTOUCHSCREEN”的美国专利申请No.10/840,862；

于2005年4月26日提交的题为“HAND HELD ELECTRONICDEVICE WITH MULTIPLE TOUCH SENSING DEVICES”的美国专利申请No.11/115,539；

于2004年7月30日提交的题为“PROXIMITY DETECTOR INHANDHELD DEVICE”的美国专利申请No.11/241,839；

于2005年3月4日提交的题为“MULTI-FUNCTIONALHAND-HELD DEVICE”的美国临时专利申请No.60/658,777；

于2004年7月30日提交的题为“GESTURES FOR TOUCHSENSITIVE INPUT DEVICES”的美国专利申请No.10/903,964；

于2005年1月18日提交的题为“MODE-BASED GRAPHICALUSER INTERFACES FOR TOUCH SENSITIVE INPUT DEVICES”的美国专利申请No.11/038,590；

于2005年1月31日提交的题为“GESTURES FOR TOUCHSENSITIVE INPUT DEVICES”的美国专利申请No.11/048,264；

于2005年9月16日提交的题为“ACTIVATING VIRTUALKEYS OF A TOUCH-SCREEN VIRTUAL KEYBOARD”的美国专利申请No.11/228,737；

于2005年9月16日提交的题为“VIRTUAL INPUT DEVICEPLACEMENT ON A TOUCH SCREEN USER INTERFACE”的美国专利申请No.11/228,758；

于2005年9月16日提交的题为“OPERATION OF ACOMPUTER WITH TOUCH SCREEN INTERFACE”的美国专利申请No.11/228,700；

于2004年8月26日提交的题为“VISUAL EXPANDER”的美国专利申请No.10/927,925；

于2004年8月25日提交的题为“WIDE TOUCHPAD ON APORTABLE COMPUTER”的美国专利申请No.10/927,575；

于2007年1月3日提交的题为“MULTI-TOUCH GESTUREDICTIONARY”的美国专利申请No.11/619,553；及

于2007年1月3日提交的题为“MULTI-TOUCH GESTUREDICTIONARY”的美国专利申请No.11/619,571。

技术领域

本发明总体上涉及与多点感测设备关联的作姿态。

背景技术

如今存在许多类型的用于在计算机系统中执行操作的输入设备。操作通常对应于在显示屏上移动光标和进行选择。操作还可以包括翻页、滚动、扫视、缩放等。作为例子，输入设备可以包括按钮、开关、键盘、鼠标、轨迹球、触摸板、操纵杆、触摸屏等。当设计计算机系统时，这些设备中的每一种都有要考虑的优点和缺点。

关于触摸板，当用户手指(或触笔)沿触摸板的表面移动时，输入指示器的移动对应于该手指的相对移动。另一方面，触摸屏是具有覆盖屏幕的触摸敏感透明面板的一类显示屏。当使用触摸屏时，用户通过(通常是利用触笔或手指)直接指向屏幕上的GUI对象来在显示屏上进行选择。总的来说，触摸设备辨识触摸及触摸的位置，而计算机系统解释所述触摸，然后基于触摸事件执行动作。

为了提供附加的功能性，利用这些输入设备中的一些实现了姿态。作为例子，在触摸板中，当在触摸板的表面上检测到一次或多次轻敲时，可以作出选择。在有些情况下，触摸板的任何部分都可以被轻敲，而在其它情况下，触摸板的专用部分可以被轻敲。除了选择，可以通过在触摸板的边缘利用手指移动来启动滚动。

不幸的是，由于即使当感测表面上放置有多个对象时，大多数触摸技术也只能够报告单个点的事实，使得作姿态受到了严重的限制。即，这些触摸技术缺乏同时跟踪多个接触点的能力。在电阻式和电容式技术中，确定所有同时出现的触摸点的平均值，并报告落在触摸点之间某个地方的单个点。在表面波和红外技术中，由于遮蔽，因此不可能辨别落在相同水平或垂直线上的多个触摸点的确切位置。在任何一种情况下，都会产生错误结果。

基于以上内容，需要多点感测设备及利用多点感测设备作姿态的方法。

发明内容

在一种实施方式中，本发明涉及电子系统。该电子系统包括提供用于从一个或多个物体接收输入的多点感测区域的多点感测设备。该电子系统还包括配置成确定用于由多点感测设备的多点感测区域接收到的给定输入布置的姿态集合的姿态模块，以便监视用于包括在姿态集合中的一个或多个姿态事件的给定输入布置，并且当利用输入布置执行姿态事件时，启动与该姿态事件关联的输入动作。输入布置可以是例如手指和/或手的其它部分的布置。

在另一种实施方式中，本发明涉及姿态控制方法。该方法包括同时检测感测区域内的多个点。该方法还包括当检测到感测区域内的一个或多个点时，确定弦(chord)。该弦是感测区域内点的特定布置。该方法还包括确定将命令与一个或多个姿态事件关联的姿态集合。该方法还附加地包括针对姿态事件而监视点。此外，该方法还包括：如果辨识出姿态事件，则执行与该姿态事件关联的命令。

在另一种实施方式中，本发明涉及控制操作。该控制操作包括检测触摸或接近触摸。该操作还包括确定用于该触摸的姿态集合。姿态集合包括用于激发或启动命令的一个或多个姿态事件。该操作还包括针对姿态事件而监视触摸。该操作还附加地包括当执行与姿态集合关联的姿态事件时，启动命令。

在另一种实施方式中，本发明涉及姿态操作。该操作包括监视触摸运动。该操作还包括在第一和第二状态之间区分触摸运动。该操作还包括：如果触摸运动与第一状态关联，则执行第一动作。该操作还附加地包括：如果运动与第二状态关联，则执行第二动作。

在另一种实施方式中，本发明涉及控制操作。该控制操作包括提供第一输入设备和不同于所述第一输入设备的第二输入设备。第一输入设备包括诸如用于提供输入事件的触摸感测设备的物体感测设备。该操作还包括监视第一输入设备的输入事件。该操作还包括同时监视第二输入设备的输入事件。该操作还附加地包括根据与第一输入设备关联的输入事件执行输入操作。此外，该方法还包括同时根据与第二输入设备关联的输入事件执行输入操作。

在另一种实施方式中，本发明涉及控制操作。该控制操作提供输入功能列表。输入功能具有命令和链接到命令的姿态事件。命令与输入功能相关。该操作还包括向弦分配输入功能。该操作还附加地包括当辨识出弦时，将输入功能链接到所述弦。

在另一种实施方式中，本发明涉及控制面板。该控制面板包括显示输入功能菜单。该控制面板还包括显示示出与所选输入功能关联的命令的姿态集合和分配给命令的姿态事件。控制操作还包括显示弦列表。为了建立姿态映射，用户从输入功能列表选择期望的输入功能并从弦列表选择期望的弦。

在另一种实施方式中，本发明涉及姿态设计处理。该设计处理包括提供弦列表并从最简单到最难给弦分级。该设计处理还包括从最频繁到最不频繁给操作频率分级。该设计处理还包括将最容易的弦与最频繁的操作相匹配，并将最难的弦与最不频繁的操作相匹配。该设计处理还可以附加地包括微调弦/操作分组。

在另一种实施方式中，本发明涉及姿态操作。该姿态操作包括检测第一手指。该姿态操作还包括确定手指的状态。手指的状态可以是例如移动或固定。该姿态操作还包括检测一个或多个附加的手指。例如，可能检测到第二个手指。该姿态操作附加地包括确定附加手指的状态。附加手指的状态可以是例如它们存在或者不存在。此外，该方法还包括基于第一个手指和附加手指关于彼此的状态的定时来实现不同的输入模式。不同的模式可以是例如指向模式、拖动模式等。

附图说明

通过以下的具体描述并联系附图，本发明将很容易理解，在附图中相同的附图标号指示相同的结构性元件，在附图中：

图1示出了根据本发明的一种实施例的示例性姿态控制操作。

图2示出了根据本发明的一种实施例的示例性控制操作。

图3示出了根据本发明的一种实施例的示例性控制操作。

图4示出了根据本发明的一种实施例的示例性控制操作。

图5示出了根据本发明的一种实施例的示例性控制操作。

图6示出了根据本发明的一种实施例的示例性控制操作。

图7示出了根据本发明的一种实施例的示例性姿态操作。

图8示出了根据本发明的一种实施例的示例性姿态操作。

图9示出了根据本发明的一种实施例的示例性姿态操作。

图10示出了根据本发明的一种实施例的示例性姿态操作。

图11示出了根据本发明的一种实施例的示例性姿态操作。

图12示出了根据本发明的一种实施例的示例性姿态操作。

图13示出了根据本发明的一种实施例的示例性姿态操作。

图14示出了根据本发明的一种实施例的示例性姿态操作。

图15示出了根据本发明的一种实施例的示例性姿态操作。

图16示出了根据本发明的一种实施例的示例性姿态操作。

图17示出了根据本发明的一种实施例的示例性姿态操作。

图18示出了根据本发明的一种实施例的示例性姿态操作。

图19示出了根据本发明的一种实施例的示例性姿态操作。

图20示出了根据本发明的一种实施例的示例性控制操作。

图21示出了根据本发明的一种实施例的示例性控制操作。

图22示出了根据本发明的一种实施例的示例性控制操作。

图23示出了根据本发明的一种实施例的示例性控制操作。

图24示出了根据本发明的一种实施例的示例性控制操作。

图25示出了根据本发明的一种实施例的示例性控制操作。

图26示出了根据本发明的一种实施例的示例性控制操作。

图27示出了根据本发明的一种实施例的示例性控制操作。

图28示出了根据本发明的一种实施例的示例性控制操作。

图29A-G示出了根据本发明的一种实施例的示例性控制面板的图。

图30示出了根据本发明的一种实施例的示例性控制操作。

图31示出了根据本发明的一种实施例的示例性姿态映射方法。

图32示出了根据本发明的一种实施例的示例性姿态映射方法。

图33示出了根据本发明的一种实施例的示例性姿态反馈方法。

图34示出了根据本发明的一种实施例的示例性姿态浏览窗口的图。

图35示出了根据本发明的一种实施例的通过触摸屏实现的示例性键盘方法。

图36示出了根据本发明的一种实施例的示例性姿态设计处理。

图37示出了根据本发明的一种实施例的用于评价弦的示例性矩阵。

图38示出了根据本发明的一种实施例的用于分级一些操作的操作频率的示例性矩阵。

图39示出了根据本发明的一种实施例的示例性控制操作。

图40示出了根据本发明的一种实施例的示例性控制操作。

图41示出了根据本发明的一种实施例的示例性控制操作。

图42示出了根据本发明的一种实施例的姿态映射的示例性图。

图43是根据本发明一种实施例的姿态映射的图。

图44是根据本发明一种实施例的姿态映射的图。

图45是根据本发明一种实施例的姿态集合的图。

图46是根据本发明一种实施例的姿态集合的图。

图47是根据本发明一种实施例的姿态集合的图。

图48是根据本发明一种实施例的姿态集合的图。

图49示出了根据本发明的一种实施例的示例性姿态操作。

图50示出了根据本发明的一种实施例的示例性姿态操作。

图51示出了根据本发明的一种实施例的示例性姿态操作。

图52示出了根据本发明的一种实施例的示例性姿态操作。

图53示出了根据本发明的一种实施例的示例性姿态操作。

图54示出了根据本发明的一种实施例的电子系统的示例性框图。

具体实施例

公开了姿态及利用感测设备实现姿态的方法。更具体地，公开了姿态及利用多点感测设备实现姿态的方法。多点感测设备相比于传统单点设备具有众多优点，它们可以同时或接近同时地区分多于一个物体(手指)。在大多数情况下，多点感测设备及使用这种设备的系统监视表面的触摸或接近触摸事件。当这种事件出现时，它可以确定接触的不同区域并通过它们的几何特征与几何布置来识别事件的本质。一旦识别出来，该触摸或接近触摸事件就被监视，以便确定它们是否对应于各种姿态事件。

姿态事件可以定义为映射到一个或多个特定计算操作的与感测表面的程式化交互。姿态事件可以通过各种手的更特别地是手指的，运动、轻敲、按压、停留等来进行。因为表面是基于多点技术，所以复杂的姿态可以利用任意个数的手指或者手的其它接触部分来执行。事实上，由于这个原因，可以开发出类似于符号语言的大型姿态语言。姿态语言(或映射)可以包括例如指令集，该指令集辨识接触布置(例如，弦)、辨识姿态事件的出现(例如，运动)并通知姿态事件的一个或多个软件代理和/或响应该姿态事件要采取什么动作。多点姿态的例子可以例如在美国专利申请No.10/903,964、No.11/038,590及No.11/015,434中找到，这些申请都通过引用并入于此。

大范围的不同姿态可以与多点感测设备一起使用。例如，姿态可以是单点或多点姿态；静态或动态姿态、连续或分段姿态等。单点姿态是利用单个接触点执行的那些姿态，例如该姿态是利用例如来自单个手指、手掌或触笔的单个触摸执行的。多点姿态是可以利用多点执行的那些姿态，例如该姿态是利用多个触摸执行的，例如来自多个手指、手指和手掌、手指和触笔、多个触笔和/或其任意组合的多个触摸。静态姿态可以是基本上不包括姿态事件(例如，弦)的那些姿态，而动态姿态可以是包括显著姿态事件(例如，运动、轻敲等)的那些姿态。连续姿态可以是在单次行程(stroke)中执行的那些姿态，而分段姿态可以是在不同步骤或行程的序列中执行的那些姿态。尽管在此给出了几个例子，但应当理解，这是作为例子，而不是作为限制。

多点感测设备可以体现在各种形式中，这些形式包括但不限于标准尺寸的触摸板、大的延伸的手掌板、触摸屏、触摸敏感外壳等。此外，多点感测设备可以定位到许多形状因数上，包括但不限于平板计算机、膝上型计算机、台式计算机及手持式计算设备，例如媒体播放器、PDA、蜂窝电话等。多点感测设备还可以在诸如触摸屏监视器、键盘、导航板、图形输入板、鼠标等的专用输入设备上找到。多点感测设备的例子可以在美国专利申请No.10/840,862、No.10/927,575中找到，这些申请都通过引入并入于此。

以下将参考图1-54讨论几种实施例。但是，本领域技术人员将很容易理解以下关于这些图给出的具体描述是出于解释的目的，本发明超出了这些有限的实施例。

图1示出了根据本发明的一种实施例的示例性姿态控制操作10。操作10可以在块12处开始，在块12处提供了多点感测设备。该多点感测设备能够同时检测接触或接近接触的多个点。该多点感测设备可以例如包括能够同时感测触摸表面上的多个物体的多重触摸感测表面。可选地或者附加地，该多点感测设备可以包括用于感测非常靠近表面但没有触摸表面的物体的能力(例如，接近感测)。该多点感测设备可以体现为触摸屏、触摸板、触摸感测掌托、触摸敏感外壳等。

在块12之后，操作可以前进到块14，在块14处作出关于是否由多点感测设备检测到触摸或接近触摸的确定。如果没有检测到触摸，则操作可以等待。如果检测到触摸，则操作可以前进到块16，在块16处确定与触摸关联的弦。弦可以是可以分配给某个输入功能性的接触或接近接触的特定布置。泛泛地来说，当物体放到靠近触摸感测表面或者放到其上时，就创建了接触片区且这些接触片区形成可以被识别的图案。图案可以利用任何类型的对象来构成，包括机械特征，例如触笔和图章，和/或一个或多个手的部分，例如手指、拇指、手掌、指关节等。

弦可以广泛地变化而且可以依赖许多因素，包括触摸表面的尺寸、触摸表面是触摸屏还是触摸板等。此外，弦可以基于未知接触的个数或者已知接触的特定布置。弦还可以基于接触是靠到一起、在中间位置还是分散开。弦还可以基于接触是彼此相邻还是彼此有偏移。弦还可以基于它们是否来自左手和/或右手。

确定弦可以包括分析触摸(由触摸或接近触摸触摸表面的物体所创建的图像)并辨识接触的特定布置。更具体地，确定可以包括通过每个接触的几何特征及接触的几何布置来分类或识别接触，然后参考预期弦(例如，姿态映射)的数据库。如果接触布置与预期的弦相匹配，则该接触布置可以假设为就是预期的弦。这些步骤还可以包括过滤。例如，有些接触实际上也许不是弦的一部分。例如，在触摸手掌板的情况下，由手掌形成的接触可以被忽略，因为它们充当手的手指的支撑基础(例如，非常难以保持手掌在触摸表面之上很长时间)。在具有触摸屏的平板PC的情况下，由至少一只手的拇指形成的接触可以忽略，因为它们主要是用于拿持平板PC。

单手弦的例子在以下表1中示出。应当理解，表1不是穷尽的列表，它是作为例子而不是作为限制示出的。例如，手掌可以看作接触并添加到表1所示的任何组合中，以创建更多的弦。还应当指出，更多弦组合可以通过组合表1的列表与来自另一只手的相同列表来创建。还应当指出，尽管有许多组合，但是因为各种原因(包括使用的容易性、人体工程学、直观性等)，有些弦可能是不可行的。

一旦确定了弦，操作就可以前进到块18，在块18处确定将动作关联到一个或多个姿态事件的姿态集合。姿态集合可以是将动作链接到姿态事件的映射。姿态集合可以依赖于所确定的弦，但还可以依赖于其它因素，包括弦的位置、打开的应用程序、应用程序的状态或模式、其它触摸特征等。本质上讲，弦选择输入通道，其中每个通道具有与其关联的不同姿态集合。在有些情况下，为了组织和使用的容易性，通道与特定的输入功能性关联，例如导航操作、文件操作、编辑操作、浏览操作、格式化操作、工具操作、网络浏览操作等。这些输入功能性中的每一个都可以具有绑定到姿态事件的关联的命令集。

动作可以是状态命令或操纵命令。状态命令是单个实现的命令。状态命令的例子包括新建、打开、关闭、删除、重命名、全选、剪切、复制、粘贴、撤销、再做、分组/取消组、斜体、粗体、下划线、前一个/下一个、播放/暂停、静音等。状态命令的其它例子包括启动特定的程序、启动程序的特定模式、启动网络站点、打开工具条、打开菜单、以箭头指示、退格、空格、回车、制表、大写、功能、缩放、放大/减小、翻页、音量等。操纵命令是连续操纵被选对象的命令。操纵命令的例子包括指向、跟踪、拖动、滚动、扫视、缩放、调整大小、拉伸、翻页、音量等。应当理解，这些例子不是限制，而且还可以使用其它命令。

如以上所指出的，姿态事件可以是可在触摸表面上或者其上方执行的任何程式化的物理动作。姿态事件的例子可以包括例如运动、轻敲、压力改变、停留等。在有些情况下，姿态事件可以由弦执行。在其它情况下，姿态事件可以由弦的子集执行。在其它情况下，姿态事件可以由除初始弦之外的或者独立于其的新接触执行。以下将更具体地描述姿态事件。

在块20中，可以监视触摸的姿态事件，而且在块22中可以作出关于是否辨识出姿态事件的确定。辨识姿态事件可以包括分析接触(与弦关联的接触和/或新接触)的触摸特征、识别特定的图案并参考姿态集合及其预期的姿态事件列表。如果图案与预期的姿态事件匹配，则该图案可以假定为就是预期的姿态事件。触摸特征可以例如包括一级考虑，例如运动、轻敲、压力的改变、停留，及二级考虑，例如速度(绝对的或相对的)、方向(绝对的或相对的)、定向(绝对的或相对的)、大小(绝对的或相对的)、持续时间(绝对的或相对的)、形状(绝对的或相对的)、长度(绝对的或相对的)等。

在一种实施例中，姿态事件可以设计或选择成可以与其它姿态事件区分开，以防止辨识姿态事件过程中的串扰或错误(例如，一般来说希望姿态事件能够容易地与其它姿态事件区分开)。

姿态事件也可以分类为运动、轻敲、按压、停留等。如果是运动，则姿态事件可以如下示例：在任何方向上滑动；向右、左、上和下的慢速线性挥击；向右、左、上和下的快速线性弹动；顺时针或逆时针的慢速旋转；顺时针或逆时针的快速旋转；两个或更多个接触的收缩或扩展(例如，接触之间的分散和闭合分离)。如果是轻敲，则姿态事件可以进一步如下示例：1/2轻敲、完全轻敲、多次轻敲、快速轻敲、慢速轻敲等。如果是按压，则姿态事件可以进一步示例为轻按压或重按压。如果是停留，则姿态事件可以进一步示例为长时间固定暂停或短时间固定暂停。应当理解，这个列表不是限制，且姿态事件可以其它方式和定向分类。例如，线性运动姿态不限于右、左、上和下，还可以包括右上、左上、右下、左下。

姿态事件可以是基本的或者高级的。基本姿态可以是具有一个动作的那些姿态，例如线性向右挥击。高级姿态可以是具有多个动作的那些姿态，例如线性向右挥击、然后轻敲或线性向右挥击；长时间暂停、线性向左挥击；或者利用增加或减小的压力旋转CCW。高级姿态可以包括任意个数的动作。出于使用容易性和处理复杂性的原因，可以使用基本姿态。

如果辨识出姿态事件，则操作可以前进到块24，在块24处执行与该姿态事件关联的动作。块24可以包括参考姿态集合并定位与所辨识出的姿态事件关联的动作。一旦定位，就可以启动该动作。如果动作是状态命令，则可以在每次执行姿态事件时启动该命令(例如，姿态事件象按钮一样操作)。在有些情况下，姿态事件可以设计成创建重复状态命令。例如，如果用户延长或继续姿态事件，则可以启动多状态命令。这对于在游戏模式中快速开枪或者在编辑模式中当撤销工作时或者在浏览模式中当翻动页面时可能是有帮助的。作为例子，如果通过快速向右线性挥击来启动单个撤销命令，则可以通过在一次连续性运动中(触摸过程中)快速线性挥击跟着慢速线性挥击来启动重复撤销命令。在这个例子中，根据慢速线性挥击，撤销命令可以重复启动(例如，在慢速线性挥击过程中，每100ms激发一次撤销命令)。如果动作是操纵命令，则在姿态事件过程中可以持续地生成该命令(例如，在命令和姿态事件之间有一对一的对应关系)。例如，如果命令是滚动，则只要执行姿态事件并根据姿态事件的属性(例如，速度、方向等)，滚动就可以执行。

在块24之后，操作可以前进到块26，在块26处作出关于是否执行切换事件的确定。切换事件可以指复位操作或启动弦变化的事件。切换事件可以以多种方式实现。例如，它可以通过除去所有接触达预定量时间来实现(例如，将手抬离触摸表面)。它还可以通过在触摸过程中改变基本弦来实现(例如，添加/除去接触)。它还可以通过添加/除去来自另一只手的接触来实现(例如，在一只手仍触摸的时候，放下另一只手的一个或多个手指)。它还可以通过暂停来实现(例如，如果接触保持固定达预设量时间)。它还可以通过来自标准键盘或鼠标的键输入或按钮点击来实现。它还可以通过姿态事件来实现。如果出现切换事件，则操作回到块12。如果没有出现切换事件，则操作回到块20。

表1单手弦的例子

未知接触-标准布置(没有手掌或忽略手掌)

任何一个手指

任何两个手指

任何三个手指

任何四个手指

拇指+任何一个手指

拇指+任何两个手指

拇指+任何三个手指

拇指+四个手指

未知接触-变化的布置(没有手掌或忽略手掌)

两个相邻的手指

两个不相邻的手指

两个相邻的手指+一个不相邻的手指

拇指+两个相邻的手指

拇指+两个不相邻的手指

拇指+两个相邻的手指+一个不相邻的手指

任何两个相邻并拢的手指

任何两个相邻张开的手指

任何三个相邻并拢的手指

任何三个相邻张开的手指

四个相邻并拢的手指

四个相邻张开的手指

拇指+两个相邻并拢的手指

拇指+两个相邻张开的手指

拇指+三个相邻并拢的手指

拇指+三个相邻张开的手指

拇指+四个相邻并拢的手指

拇指+四个相邻张开的手指

已知接触(没有手掌或忽略手掌)

食指

中指

无名指

小指

食指+中指

食指+无名指

食指+小指

中指+无名指

中指+小指

无名指+小指

拇指+食指

拇指+中指

拇指+无名指

拇指+小指

拇指+食指+中指

拇指+食指+无名指

拇指+食指+小指

拇指+中指+无名指

拇指+中指+小指

拇指+无名指+小指

食指+中指+无名指

食指+中指+小指

食指+无名指+小指

中指+无名指+小指

拇指+食指+中指+无名指

拇指+食指+中指+小指

拇指+食指+无名指+小指

拇指+中指+无名指+小指

食指+中指+无名指+小指

拇指+食指+中指+无名指+小指

其它(掌心朝下)

手指握成拳头或者弯向手掌

食指+剩余手指握成拳头或者弯向手掌

食指+中指+剩余手指握成拳头或者弯向手掌

食指+中指+无名指+小指握成拳头或者弯向手掌

拇指+剩余手指握成拳头或者弯向手掌

拇指+食指+剩余手指握成拳头或者弯向手掌

拇指+食指+中指+剩余手指握成拳头或者弯向手掌

拇指+食指+中指+无名指+小指握成拳头或者弯向手掌

拇指+食指+剩余手指握成拳头或者弯向手掌

拇指+食指+中指+剩余手指握成拳头或者弯向手掌

拇指+食指+中指+无名指+小指握成拳头或者弯向手掌

其它

手的右侧

手的左侧

手的背面

手的正面(全部)

其它(指关节朝下-击打)

手指握成拳头或者弯向手掌

食指伸出+剩余手指握成拳头或者弯向手掌

食指伸出+中指伸出+剩余手指握成拳头或者弯向手掌

食指伸出+中指伸出+无名指伸出+小指握成拳头或者弯向手掌

拇指+手指握成拳头或者弯向手掌

拇指+食指伸出+剩余手指握成拳头或者弯向手掌

拇指+食指伸出+中指伸出+剩余手指握成拳头或者弯向手掌

拇指+食指伸出+中指伸出+无名指伸出+小指握成拳头或者弯向手掌

图2示出了根据本发明的一种实施例的示例性控制操作50。该操作可以在块52开始，在块52处检测触摸或接近触摸。

在块52之后，操作可以前进到块54，在块54处确定触摸的姿态集合。姿态集合可以依赖许多因素，包括触摸的特征、触摸位置、打开的应用程序、应用程序的模式等。在大多数情况下，姿态集合至少部分地基于触摸时接触的布置。

在块54之后，操作可以前进到块56，在块56处针对与姿态集合关联的姿态事件监视触摸。姿态集合可以包括一个或多个用于激发或启动命令的姿态事件(例如，命令可以绑定或链接到特定的姿态事件)。

在块56之后，操作可以前进到块58，在块58处当执行姿态事件时，启动一个或多个命令。例如，用户可以滑动特定的手指布置，以便激发或启动滚动事件。

图3示出了根据本发明的一种实施例的示例性控制操作60。控制操作60可以例如对应于图2中的块54。控制操作60可以在块62开始，在块62处辨识初始接触布置。其后，在块64中，初始接触布置可以与所存储的接触布置集合进行比较。例如，系统可以参考包括初始接触布置列表及关联到其的姿态集合的姿态映射。如果有匹配，则操作可以前进到块66，在块66处加载分配给所辨识出的初始接触布置的姿态集合。

图4示出了根据本发明的一种实施例的示例性控制操作70。控制操作70可以在块72开始，在块72处检测触摸。其后，在块74中，可以确定触摸的位置。其后，在块76中，可以确定与该触摸关联的接触布置(例如，触摸图案)。其后，在块78中，可以确定活动的应用程序。其后，在块80中，可以确定应用程序的当前状态(例如，当前模式)。其后，在块82中，可以基于以上所提到的一个或多个确定的属性(块74至块80)设置或选择适当的姿态集合。例如，利用所确定的属性，系统可以参考所存储的将以上提到的每个属性链接到特定姿态集合的姿态映射。所存储的姿态映射可以缺省地创建或者可以由用户定制。例如，用户可以使用控制面板来改变与姿态映射关联的设置或者使用训练序列来编程姿态映射。

图5示出了根据本发明的一种实施例的示例性控制操作100。控制操作可以在块102开始，在块102处作出关于是否检测到触摸的确定。如果检测到触摸，则操作可以前进到块104，在块104处辨识接触布置。块104可以包括子块106和108。在块106中，作出关于接触片区是否可以精确识别的确定。例如，接触片区是否可以是食指或拇指或手掌。如果它们不能被精确地识别，则操作可以前进到块108，在块108处确定接触片区的个数。例如，是否有两个接触片区、三个接触片区等。在块104之后，操作可以前进到块110，在块110处所辨识出的接触布置与姿态映射中所存储的的接触布置进行比较。如果没有匹配，则操作可以回到块102。如果有匹配，则操作可以前进到块112，在块112处在参考姿态映射后，加载与初始接触布置关联的姿态集合。其后，在块116中，可以针对与姿态集合关联的姿态事件而监视触摸。如果执行了姿态事件，则操作可以前进到块118，在块118处执行与姿态事件关联的命令。

图6示出了根据本发明的一种实施例的示例性控制操作120。控制操作120可以在块122开始，在块122处检测触摸或接近触摸。其后，在块124中，可以确定用于触摸的弦。其后，在块126中，确定与弦关联的输入功能性。输入功能性可以描述操作或操作的组。操作的例子包括导航操作、文件操作、编辑操作、浏览操作、插入操作、格式化操作、工具操作、网络操作等。输入功能性可以进一步基于环境条件，包括弦在触摸表面上的位置、应用程序、模式等。其后，在块128中，与输入功能性关联的姿态集合可以被激活或加载。姿态集合可以是姿态事件的组，每个姿态事件分配给与输入功能性相关的不同动作。姿态事件可以由初始弦单独地执行或者作为组、组的子集或彼此相关地执行。可选地，它们可以由不与弦关联的物体执行(例如，在设置基础弦之后添加的接触片区)。姿态事件可以包括一级参数，例如运动、轻敲、停留、按压等。姿态事件还可以包括定义一级参数的二级参数，例如速度、方向、形状、定时/持续时间、长度等。其后，在块130中，当执行姿态事件时，与姿态事件关联的动作可以实现。

图7示出了根据本发明的一种实施例的示例性姿态操作140。操作140可以在块142开始，在块142处检测触摸。在块142后，操作可以前进到块144，在块144处辨识接触布置。其后，在块146中，可以确定与所辨识出的接触布置关联的弦。在块146之后，操作可以前进到块148，在块148处加载与弦关联的姿态集合。姿态集合包含可以在触摸过程中利用任何接触布置执行的姿态事件。其后，在块150中，可以针对由任何接触布置执行的姿态事件而监视触摸。如果姿态事件已经由任何接触布置执行，则操作可以前进到块152，在块152处启动与该姿态事件关联的控制/命令。如果姿态事件还没有执行，则操作可以前进到块154，在块154处作出关于是否仍然检测到触摸的确定。如果仍然检测到触摸，则操作可以回到块150。如果没有检测到触摸，则操作可以回到块142。即，触摸之后的抬起复位了弦，并由此复位了姿态集合。

以上在图7中所描述的初始弦选择模型有利地允许用户拿起或落下别的手指，而不会影响姿态集合。这更符合人体工程学，因为以两个手指的基本弦开始的用户可以落下剩余的三个手指，使得所有五个手指都支撑手。因此，姿态可以执行更长时间。本质上讲，忽略对基本弦的改变。此外，允许用户通过抬起除一个之外的所有手指、朝着目标行走并滑动其它的手指，而在有限的空间触摸表面中延伸指向/拖动、滚动等。

图8示出了根据本发明的一种实施例的示例性姿态操作160。操作160可以在块162开始，在块162处作出关于是否检测到2个相邻手指的确定。如果检测到了，则操作可以前进到块164，在块164处根据运动执行指向操作。如果没有检测到，则操作可以前进到块166，在块166处作出关于是否检测到3个相邻手指的确定。如果检测到，则操作可以前进到块168，在块168处根据运动执行拖动操作。如果没有检测到，则操作可以前进到块170，在块170处作出关于是否检测到拇指和两个相邻手指的确定。如果检测到，则操作可以前进到块172，在块172处执行辅助拖动操作。如果没有检测到，则操作可以回到块162。每次当所有手指都抬离触摸表面时(例如，不再检测到触摸)，这个处理可以复位。

图9示出了根据本发明的一种实施例的示例性姿态操作180。操作180可以在块182开始，在块182处确定基本弦。其后，操作可以分别或者同时执行三个不同的处理(并行块184-188)。在块184中，可以检测关于基本弦的运动。其后，在块190中，可以根据运动执行指向操作。在块186中，可以检测新的第一手指。即，可以检测不与基本弦关联的新的第一手指(除了基本弦之外)。其后，在块192中，当每次检测到新的第一手指时，可以启动第一命令。在有些情况下，用户可以通过连续地轻敲该新的第一手指来执行重复命令。在块188中，可以检测新的第二手指(除了基本弦之外)。即，可以检测不与基本弦关联的新的第二手指。其后，在块194中，当每次检测到新的第二手指时，可以启动第二命令。在有些情况下，用户可以通过连续地轻敲该新的第二手指或者简单地保持该手指垂下来执行重复命令。图9所描述的操作有时候被称为当前弦选择模型。

在图9的一个例子中，基本弦可以是3个手指(或者是食指-中指-无名指，或者是拇指-中指-无名指)。因此，三个手指可以用于指向操作。此外，新的第一手指可以是拇指，或者如果拇指已经是基本弦的一部分的话，则可以是食指。因此，拇指或食指可以启动第一命令。此外，新的第二手指可以是小指。因此，小指可以启动第二命令。

以上例子在游戏模式中可能是有用的。基本弦可以用于指向，第一新手指可以用于触发，而第二新手指可以用于武器改变。可选地，在标准模式中，基本弦可以用于指向，第一新手指可以用于主要的点击和拖动，而第二新手指可以用于辅助的点击和拖动。三个手指的支撑在游戏和标准模式中都提供了足够的支撑。

图10示出了根据本发明的一种实施例的示例性姿态操作200。操作200可以在块202开始，在块202处检测触摸。在块202后，操作可以前进到块204，在块204处辨识接触布置。其后，在块206中，可以确定与所辨识出的接触布置关联的弦。在块206之后，操作可以前进到块208，在块208处加载与弦关联的姿态集合。姿态集合可以包含可以在触摸过程中利用任何接触布置执行的姿态事件。其后，在块210中，可以针对由任何接触布置执行的姿态事件而监视触摸。如果姿态事件已经由任何接触布置执行，则操作可以前进到块212，在块212处启动与该姿态事件关联的控制/命令。如果姿态事件还没有执行，则操作可以前进到块214，在块214处作出关于基本弦或当前接触布置是否在触摸过程中暂停的确定。如果是，则该暂停可以假定为是弦切换事件，且操作可以回到块204。如果不是，则操作可以前进到块216，在块216处作出关于是否仍然检测到触摸的确定。如果仍然检测到触摸，则操作可以回到块210。如果没有检测到触摸，则操作可以回到块202。

在图10所描述的暂停选择模型中，切换只能在最初的手指暂停或相当慢地移动时发生。因此，用户可以从一个手指放松成五个手指的指向，只要手指的落下是在指向行程的中间就行。

图11示出了根据本发明的一种实施例的示例性姿态操作220。操作220可以在块222开始，在块222处作出关于是否检测到1个手指的确定。如果检测到，则操作可以前进到块224，在块224处根据运动执行指向操作。如果没有检测到，则操作可以前进到块226，在块226处作出关于是否检测到2个相邻手指的确定。如果检测到，则操作可以前进到块228，在块228处根据运动执行拖动操作。在有些情况下，拖动锁定/延伸可以通过点击来启动，而在其它情况下，它是通过落下拇指来启动的(两个相邻的手指+拇指)。如果没有检测到，则操作可以前进到块230，在块230处作出关于是否检测到两个不相邻手指的确定。如果检测到，则操作可以前进到块232，在块232处执行辅助拖动操作。在有些情况下，拖动锁定/延伸可以通过点击来启动，而在其它情况下，它是通过落下拇指来启动的(两个不相邻的手指+拇指)。如果没有检测到，则操作可以前进到块234，在块234处作出关于是否检测到3个或4个手指的确定。如果检测到，则根据运动启动滚动(块236)。如果没有检测到，则操作可以回到块222。每当所有手指都抬离触摸表面时(例如，不再检测到触摸)或者如果弦暂停了一会儿，则这个处理可以复位。

图12示出了根据本发明的一种实施例的示例性姿态操作240。操作240可以在块242开始，在块242处作出关于是否检测到5个手指的确定。如果检测到，则操作可以前进到块244，在块244处启动指向，直到所有手指都抬离触摸表面。在块246处，作出关于5个手指中的一个是否在指向过程中抬起并轻敲的确定。如果是，则可以执行点击(块248)。在块250中，作出关于5个手指中的2个是否在指向过程中抬起并轻敲的确定。如果是，则可以执行拖动(块252)。其后，在块253中，作出关于5个手指中的1个或2个是否在拖动过程中抬起并轻敲的确定。如果是，则可以执行放下(块254)。如果没有，则拖动继续。在块250和254之后，操作可以回到块244。每次当所有手指都抬离触摸表面时(例如，不再检测到触摸)或者如果弦暂停了一会儿，这个处理可以复位。

在图12的可选实施例中，抬起并轻敲五个手指基本弦中朝左的手指可以启动左按钮点击，而抬起并轻敲基本弦中朝右的手指可以启动右按钮点击。

图13示出了根据本发明的一种实施例的示例性姿态操作260。操作260可以在块262开始，在块262处检测触摸。其后，在块264中，可以辨识小指的侧面。小指的侧面产生与所有其它接触不同的长(高度偏心)水平接触片区(除了有可能展开的拇指之外)。因此，姿态系统可能能够始终将水平偏心但薄的接触归类为小指(或者可能是拇指)。其后，在块266中，可以检测利用小指侧面的挥击。其后，在块268中，可以执行与挥击小指关联的控制或命令。

侧面小指挥击对于象音量提高/减小、休眠、屏保等的简单控制姿态可能是有用的。侧面小指挥击具有单个手指触摸的简单性，同时又可以与通常1个指尖的指向/点击可辨识地区分开。而且它还是非常符合人体工程学的，因为在利用小指的侧面触摸时，拇指笔直地指向空中。这是所有手腕位置中最中性舒服的。

图14示出了根据本发明的一种实施例的示例性姿态操作280。操作280可以在块282开始，在块282处提供了将向上滑动映射到Expose而将向下滑动映射到Dashboard的姿态集合。

Dashboard是包括将信息立刻带给用户-天气预报、股票报价、黄页、航班、体育得分等的可定制窗口小部件(微型应用程序)的控制面板。在大多数情况下，当被激活时，Dashboard被看到，而当去激活时，使Dashboard不能被看到。通过点击按钮，用户能够从互联网接收最新的和及时的信息，然后当按钮被释放时，该信息立即消失。

Expose是窗口管理程序，窗口管理程序配置成帮助导航通过或减少窗口混乱(因为有许多打开的窗口和/或应用程序而难以找到文档或看到桌面的状态)。Expose可以具有或者从三种不同的操作模式进行选择，这可以通过作姿态来控制。第一种模式是所有窗口或者平铺、缩放和显示全部。当以这种模式操作时，所有打开的窗口都平铺并缩放，以便使所有打开的窗口都可以在显示屏内同时看到。即，立即执行指定的姿态将所有打开的窗口平铺-将它们缩小并整洁地排列它们，使得用户可以浏览每个窗口中的内容。缩放的量或缩放的比率可以绑定到姿态的某个特征，例如压力或速度。第二种模式是应用程序窗口或突出显示当前应用程序。除了它只对特定应用程序起作用之外，这种模式类似于第一种模式工作。例如，执行指定的姿态可以立即将特定应用程序的打开窗口平铺，而使所有其它打开的应用程序都渐变成灰色阴影。第三种模式是桌面或隐藏全部。在这种模式中，所有打开的窗口都移动到屏幕边缘，由此打开桌面。即，执行指定的姿态可以隐藏所有打开的窗口，使用户可以立即访问他们的桌面。

其后，在块284中，操作可以包括辨识基本弦(例如，两个或更多个手指)。其后，在块286中，可以作出关于基本弦是否检测到向上滑动的确定。如果是，则操作可以前进到块288，在块288处打开Expose全部。其后，在块290中，可以作出关于基本弦是否检测到向下滑动的确定。如果是，则操作可以前进到块292，在块292处关闭Expose全部。其后，操作可以回到块286。回过头来参考块286，如果基本弦没有检测到向上滑动，则操作可以前进到块294，在块294处作出关于对基本弦是否检测到向下滑动的确定。如果是，则操作可以前进到块296，在块296处打开Dashboard。其后，在块298中，作出关于是否检测到向上滑动的确定。如果是，则操作可以前进到块300，在块300处关闭Dashboard。其后，操作可以回到块286。回过头来参考块294，如果没有检测到向下滑动，则操作可以前进到块301，在块301处作出关于弦是否改变的确定。例如，抬离一个手指。如果弦改变了，则操作可以前进到块302，在块302处利用改变的弦执行指向。其后，在块304中，作出关于弦是否改变回基本弦的确定。如果是，则操作可以回到块286。姿态操作280有时候被称为沿相反方向的取消。

在附加实施例中，图14中所示的操作可以修改成包括左挥击和右挥击，其中每个都与Expose的不同功能性关联。

静态命令姿态是通过在触摸表面上简单放置特定的接触布置来执行的姿态。当在触摸时识别出特定的接触布置时，启动命令。没有姿态事件跟在初始放置之后。当检测到触摸时，简单地生成命令。静态命令姿态可以类似于特定手布置意味着不同事情的符号语言。在静态命令姿态的环境下，每种手布置(或不同的接触布置)启动不同的命令。

图15示出了根据本发明的一种实施例的示例性姿态操作310。操作310可以在块312开始，在块312处检测触摸表面上的触摸或接近触摸。在块312之后，操作可以前进到块314，在块314处识别与触摸关联的接触片区布置。接触片区的布置可以通过一只或两只手进行或者可选或附加地通过例如触笔或印章来进行。当接触片区由手创建时，它们可以由手的任何部分进行，包括手指、手掌等，而且还可以通过手的任何定向、通过手指关于彼此的任何位置以及通过手指的任何定向来进行。如应当理解的，不同的手定向和不同的手指位置/定向将创建不同的接触片区布置。不同手定向的例子包括张开的手心朝下、张开的手心朝上、张开的手侧面朝下(拇指朝上)、并拢的手-手掌朝下、并拢的手-手背、并拢的手-指关节、并拢的手-侧面朝下。不同手指位置的例子包括张开、中立、成组等。任何接触布置都可以构想(符号语言)。

在块314之后，操作可以前进到块316，在块316处当识别出特定的接触布置时，启动绑定到该特定接触布置的命令。命令可以广泛地变化。

图16示出了根据本发明的一种实施例的示例性姿态操作320。姿态操作320可以在块322开始，在块322处监视触摸的运动。触摸可以例如体现为特定的接触布置。如果有运动，则姿态操作可以前进到块324，在块324处区分运动是弹动还是挥击。弹动可以是快而短的运动。挥击可以是更长更慢的运动。如果运动是弹动，则当检测到弹动时，可以执行第一动作(块326)。如果运动是挥击，则当检测到挥击时，可以执行第二动作(块328)。

图17示出了根据本发明的一种实施例的示例性姿态操作330。姿态操作330可以在块332开始，在块332处检测触摸表面(例如，触摸板、触摸屏等)上的触摸。在块332之后，操作可以前进到块334，在块334处识别与触摸关联的两个接触。其后，在块336中，操作可以包括针对姿态事件而监视触摸。在块338中，当第一接触固定而第二接触关于第一接触旋转时，可以启动旋转命令。

许多用户在任一时刻保持多个窗口打开。这允许他们根据需要在窗口之间来回移动。当从一个窗口复制并粘贴到另一个窗口中时，这是有利的。在典型的处理中，用户将选择一个窗口，由此激活该窗口，然后在该窗口内执行动作。然后用户将选择另一个窗口，由此激活该新窗口并去激活旧窗口，然后在新窗口内执行动作。这是笨拙的，而且包括许多步骤。为了克服这个问题，本发明提供了图18中的方法，该方法给予用户在窗口之间来回移动而不需要激活和去激活的能力。当指向机构位于窗口之上时，窗口变成活动的。指向机构在触摸板的情况下可以是指示器或光标，或者在触摸屏的情况下是手指。

图18示出了根据本发明的一种实施例的示例性姿态操作340。姿态操作340包括提供多个窗口342。例如，窗口可以是桌面上打开的程序。其后，在块344中，操作可以包括检测第一个窗口之上的指向机构。例如，在触摸板的情况下，指向机构可以是光标。在触摸屏的情况下，指向机构可以是手指或手指的组。其后，在块346中，可以监视触摸，以确定与指向机构关联的弦是否存在。在触摸板的情况下，这可以在将光标放到窗口之上后实现。在触摸屏的情况下，这可以在手指放到窗口之上时实现。其后，在块348中，与弦和第一窗口关联的姿态集合可以启动(例如，姿态集合既依赖弦，又依赖窗口)。其后，在块350中，当与姿态集合关联的姿态事件在触摸表面上执行时，可以在第一窗口中执行动作。其后，在块352中，操作可以包括检测第二窗口之上的指向机构。这可以在与块344不同的时间实现或者可以与块344同时发生。指向机构可以是与用于第一窗口的相同指向机构(例如，指向机构从一个窗口移动到另一个)或者可选地指向机构可以是第二指向机构(例如，第二个光标或者第二个手指)。其后，在块354中，可以监视触摸表面，以确定与第二指向机构关联的弦是否存在。其后，在块356中，与弦和第二窗口关联的姿态集合可以启动。其后，在块358中，当与姿态集合关联的姿态事件在触摸表面上执行时，动作可以在第二窗口中执行。

在图18的一个例子中，利用触摸屏，如果用户执行复制和粘贴，则用户可以将他们一个手的手指放到第一窗口上并选择要复制的对象。其后，用户可以在第一窗口上执行复制姿态。用户还可以将第二个手的手指放到第二窗口上并选择用于粘贴的位置。其后，用户可以在第二窗口上执行粘贴姿态。

在图18的另一个例子中，利用触摸屏，如果用户执行复制和粘贴，则用户可以将他们一个手的手指放到第一窗口上并选择要复制的对象。其后，用户可以在第一窗口上执行复制姿态。然后，用户将他们的手移动到第二窗口。用户可以将他们的手指放到第二窗口上并选择用于粘贴的位置。其后，用户可以在第二窗口上执行粘贴姿态。

图19示出了根据本发明的一种实施例的示例性姿态操作360。该姿态操作可以在块364开始，在块364处辨识与第一只手关联的接触布置。在块364之后，操作可以前进到块366，在块366处加载基于与第一只手关联的接触布置的姿态集合。在块366之后，操作可以前进到块368，在块368处辨识与第二只手关联的第二接触布置。在块368之后，操作可以前进到块370，在块370处基于第二接触布置改变或修改第一接触布置。如应当理解的，根据需要，第二只手可以用于不同姿态集合之间的迅速调整。这也可以允许更大范围的可能姿态集合。作为例子，如果第一只手可以提供基于手指个数的5个姿态集合，且第二只手可以提供基于手指个数的5种修改，则可以创建100个姿态集合。

引证图19的例子，利用触摸板，用户可以将两个手指放到触摸板上，由此启动与两个手指关联的姿态集合。用户可以利用这两个手指执行姿态事件。用户可以决定他需要执行由两个手指姿态集合不能提供的动作。因此，用户可以放下来自另一只手的两个手指。这可以加载要由第一只手执行的全新的姿态集合。

图20示出了根据本发明的一种实施例的示例性控制操作380。该控制操作可以在块382开始，在块382处提供了鼠标和触摸表面。例如，鼠标可以连接到包括触摸板的膝上型计算机。在块382之后，操作可以前进到块384，在块384处监视鼠标的鼠标事件(例如，移动光标、按钮点击、滚动)。同时，在块386中，可以监视触摸表面的姿态事件。在块388中，可以根据鼠标事件执行鼠标操作。同时，在块390中，可以根据姿态事件执行姿态操作。这种方法可以允许用户利用一只手控制鼠标，而同时利用另一只手执行姿态。因此，用户可以更多产。

在图20的一个例子中，在电子数据表程序中，用户可以利用鼠标选择单元，然后利用另一只手在触摸表面上执行复制姿态。然后，用户可以利用滚动或扫视姿态滚动或扫视通过电子数据表。一旦找到期望的位置，用户就可以利用鼠标选择用于粘贴的一个或多个期望单元，然后执行粘贴姿态。

图21示出了根据本发明的一种实施例的示例性控制操作400。该控制操作可以在块402开始，在块402处提供了鼠标和触摸表面。在块402之后，操作可以前进到块404，在块404处监视鼠标的鼠标事件(例如，移动光标、按钮点击、滚动)。同时，在块406中，可以监视触摸表面的姿态事件。其后，在块408中，可以基于在触摸表面上执行的触摸或姿态事件改变鼠标模式。例如，触摸的手可以用于修改鼠标的功能性，其中该功能性是利用另一只手操作的。作为例子，触摸表面上手指的存在可以将鼠标从跟踪模式改变到滚动模式。

图22示出了根据本发明的一种实施例的示例性控制操作410。该控制操作可以在块412开始，在块412处检测触摸表面上的第一触摸。在块412之后，操作可以前进到块414，在块414处辨识第一接触布置。这可以例如利用第一只手实现。同时，在块416和418中，可以检测触摸表面上的第二触摸并可以辨识第二接触布置。这可以例如利用第二只手实现。在块420中，可以加载用于第一接触布置的姿态集合。同时，在块422中，可以加载用于第二接触布置的姿态集合。在块424中，可以监视第一触摸的第一姿态事件。同时，在块426中，可以监视第二触摸的第二姿态事件。在块428中，当执行第一姿态事件时，可以实现与第一姿态事件关联的动作。同时，在块430中，当执行第二姿态事件时，可以实现与第二姿态事件关联的动作。

图23示出了根据本发明的一种实施例的示例性控制操作440。操作440可以在块442开始，在块442处显示GUI对象。其后，在块444中，可以检测所显示GUI对象的不同点处的多个指示器。在触摸屏的情况下，第一指示器可以是来自第一只手的手指，而第二指示器可以是来自第二只手的手指。在触摸板的情况下，第一指示器可以是由第一只手控制的光标，而第二指示器可以是由第二只手控制的光标。一旦检测到指示器，在块445中，指示器就可以锁定到所显示的对象。这可以通过暂停实现。例如，用户可以将指示器放到GUI对象上的点，然后停留在那里，直到指示器被锁定。其后，在块446中，可以监视指示器关于其被锁定位置的位置。其后，在块448中，当一个或多个指示器的位置关于其被锁定位置移动时，可以修改所显示的对象。例如，可以修改GUI对象的属性，例如包括定向、大小和形状。

引证图23的例子，为了旋转对象，用户可以将他们的指示器放到GUI对象上，并且当锁定时，旋转一个或两个指示器。该GUI对象可以遵循该一个或两个指示器的旋转，由此改变其定向。为了改变其尺寸，用户可以将指示器放到GUI对象上，并且当锁定时，滑动两个指示器到一起或者彼此离开。当滑动到一起时，对象的尺寸可以减小。当滑动开时，对象的尺寸可以增大。为了改变其形状，用户可以将指示器放到GUI对象上，并且当锁定时，向上、向下、向右或向左滑动一个指示器。当滑动离开对象时，对象可以在滑动的方向变得更大。当朝着对象滑动时，对象可以在滑动的方向变得更小。

图24示出了根据本发明的一种实施例的示例性控制操作450。操作可以在块452开始，在块452处检测触摸表面上的第一触摸。这可以例如利用第一只手实现。在块452之后，操作可以前进到块454，在块454处辨识与第一触摸关联的第一接触布置。同时，在块456和458中，可以检测触摸表面上的第二触摸并可以辨识第二接触布置。这可以例如利用第二只手实现。在块460中，可以监视第一触摸的第一姿态事件。同时，在块462中，可以监视第二触摸的第二姿态事件。在块464中，当执行第一姿态事件时，可以实现与第一姿态事件关联的指向操作。同时，在块466中，当执行第二姿态事件时，可以实现与第二姿态事件关联的指向操作。

图25示出了根据本发明的一种实施例的示例性控制操作470。该控制操作可以在块472开始，在块472处显示一组可选择的项。这组可选择的项可以是例如调色板或工具条。在块472之后，操作可以前进到块474，在块474处检测这组可选择项之上的第一指向机构。在触摸屏的情况下，指向机构可以是手指或手指的组。在触摸板的情况下，指向机构可以是由手指或手指组控制的光标或工具。在块476中，第一指向机构下的项可以被激活(选择)。被激活的项可以基于指向机构的位置。可以提供可视的反馈，使用户可以确认他们的选择。作为例子，当第一指向机构位于项之上时，被激活的项可以被突出显示。在块478中，可以同时检测窗口上的第二指向机构(例如，两个指向机构同时操作)。窗口可以例如是绘画或绘图程序中的画布。在触摸屏的情况下，第二指向机构可以是手指或手指的组(来自与第一指向机构不同的手)。在触摸板的情况下，第二指向机构可以是由手指或手指组控制的光标或工具。在块480中，所选的项可以应用到第二指示器机构。例如，在工具条的情况下，第二指示器机制的工具功能性可以基于所选的项。此外，在触摸板的情况下，工具UI元素可以随功能性一起改变，使用户知道什么工具是活动的(例如，铅笔、画刷等)。在调色板的情况下，第二指示器机构的输出可以基于所选的项。例如，在画图的情况下，当用户选择调色板上的颜色时，第二指示器的输出改变成该颜色。因此，用户可以在画图过程中即时调整应用到画布的颜色。

图26示出了根据本发明的一种实施例的示例性控制操作500。该控制操作可以在块502开始，在块502处显示一组媒体项。媒体项可以是例如歌曲、视频剪辑、电影、照片、游戏等。媒体项可以例如由媒体管理程序来控制。由位于Cupertino的Apple公司制造的iPhoto和iTunes是媒体管理程序的例子。在块504中，可以检测项上的指示器机构，由此使该项突出显示。指示器机构可以例如由鼠标或手的弦(占主导的手)控制。在块506中，可以检测触摸表面上的触摸。触摸可以由与指示器机构所关联的手相对的另一只手执行。其后，在块508中，可以辨识与触摸关联的接触布置。其后，在块510中，绑定到所辨识出的接触布置的元数据可以插入到突出显示的项。每种接触布置都可以有不同的元数据。例如，单个手指可以有第一元数据，两个手指可以有第二元数据，三个手指可以有第三元数据，四个手指可以有第四元数据，五个手指可以有第五元数据，依此类推。用于每种接触布置的元数据可以与相同的功能性相关或者它们可以有完全不同的功能性。

引证图26的例子，以上处理可以用于评价或分级媒体项。例如，单个手指可以将1星等级绑定到歌曲，两个手指可以将2星等级绑定到歌曲，三个手指可以将3星等级绑定到歌曲，四个手指可以将4星等级绑定到歌曲，而五个手指可以将5星等级绑定到歌曲。

引证图26的另一个例子，以上处理可以用于识别媒体项。例如，单个手指可以将第一个人(例如，妻子Darcy)绑定到照片，第二个手指可以将第二个人(例如，女儿Halley)绑定到照片，第三个手指可以将第三个人(例如，堂兄弟Camden)绑定到照片，第四个手指可以将第四个人(例如，叔叔Chance)绑定到照片，而第五个手指可以将第五个人(例如，奶奶Shery)绑定到照片。轻敲可以用于放大列表。例如，在第一触摸下手指的个数可以添加到在第二触摸下手指的个数，以产生最终的接触布置。三个手指然后跟着两个手指可能仍然意味着第五个人。而五个手指加一个手指(总共6个手指)可以将第六个人(例如，太奶奶Terry)绑定到照片。此外，五个手指加两个手指可以将第七个人(例如，狗Prima)绑定到照片，五个手指加三个手指可以将第八个人(朋友Lisa)绑定到照片，五个手指加四个手指可以将第九个人绑定到照片，而五个手指加五个手指可以将第十个人绑定到照片。可选地，元数据可以不与人关联，而是与照片的某些其它特征关联(例如，假日、加州、风景、家庭等)。

一般来说，媒体管理程序可能需要放到元数据插入模式。这传统上可以通过屏幕上的控制实现，或者可选地通过与指向机构关联的弦实现。

图27示出了根据本发明的一种实施例的示例性控制操作520。该控制操作可以在块522开始，在块522处显示控制对象。控制对象可以是例如屏幕上的按钮、拨号盘、滑块、开关等。在块524中，可以检测控制对象上的触摸。其后，在块526中，可以辨识与触摸关联的接触布置。在块527中，可以作出关于该接触布置是否与控制控制对象关联的接触布置匹配的确定。如果不匹配，则操作可以前进到块528，在块528处忽略触摸。如果匹配，则操作可以前进到块530，在块539处监视触摸的与控制控制对象关联的姿态事件。如果执行了姿态事件，则与其关联的动作可以应用到控制对象，使得该控制对象可以生成其命令(块432)。

在图27的一种实施例中，启动控制控制对象的接触布置可以基于多个接触，而被忽略的接触布置可以基于单个接触。

图28示出了根据本发明的一种实施例的示例性控制操作540。控制操作540可以利用控制面板执行，例如图29中所示的控制面板。操作可以在块542开始，在块542处提供输入功能的列表。输入功能可以具有命令和链接到命令的姿态事件。该命令可以与输入功能相关。例如，如果输入功能是编辑，则命令可以是取消、撤销、粘贴、后退制表、复制、制表、剪切、再做和全选。姿态事件可以是可以由弦执行的动作。姿态事件可以包括旋转(顺时针和逆时针)、按组平移(上、下、右、左)、关于彼此平移(张开、并拢)、轻敲等。姿态事件可以以直观的方式链接到命令。例如，剪切命令可以通过类似于剪切动作的将手指并拢到一起来启动。此外，补充(complimentary)命令(剪切/粘贴)一般链接到补充姿态事件(张开/并拢)。在块544中，输入功能可以分配给特定的弦。弦可以是手指的布置。弦可以在列表中显示，使得用户突出显示特定的弦并随后选择特定的输入功能。弦可以分配给多个输入功能。

在块544中，通过从输入功能菜单选择输入功能并随后从弦的菜单列表选择弦(例如，突出显示输入功能，然后选择弦)，用户可以将输入功能分配给特定的弦。一旦选择了弦，输入功能就可以绑定到该弦，以便日后进行操作(块546)。在有些情况下，弦菜单可以包括分配给其的输入功能的指示。在这个特定的实施例中，命令可以已经分配给姿态事件。

图29A-G是根据本发明一种实施例的控制面板550的图。图29A示出了基本的控制面板，而图29B-G示出了一种控制面板实施例的几个例子。

如图29A所示，控制面板550可以包括下拉式窗口形式的姿态映射控制552。当用户选择下拉式窗口时，可以为用户呈现一个或多个姿态映射选项。可以为用户呈现缺省设置(通常由制造商设置)或者可选地用户可以选择定制设置，使得他们可以形成他们自己的姿态映射。可以有多于一个定制映射。例如，不同的用户可以创建不同的映射。当用户打开控制面板时，通过选择姿态映射控制，然后通过突出显示的条移动通过定制映射列表，他们可以选择期望的定制映射。一旦找到期望的映射，用户就可以简单地突出显示它，然后执行主要点击，以便建立期望的姿态映射。其后，用户可以改变他们的设置。

控制面板550还可以包括也是下拉式窗口形式的输入功能554的菜单。当用户选择下拉式窗口时，可以为用户呈现一个或多个输入功能的列表。输入功能可以包括例如空、指向/点击、滚动、滚动和辅助点击、主要点击和拖动、辅助点击和拖动、移动窗口、expose&dashboard、网络浏览操作、编辑操作、文件操作等。为了突出显示一个输入功能，可以为用户提供根据用户控制穿过列表的突出显示条。

控制面板550还可以包括显示与被突出显示的输入功能关联的命令的姿态集合部分556及分配给命令的姿态事件。姿态集合部分可以只是用于反馈，但也可以包括将命令分配给姿态事件(或者反之亦然)的功能性。尽管窗口可以广泛地改变，但在所说明的实施例中，窗口可以包含单独的方框，每个方框包含姿态事件及与其关联的命令。在这种实施例中，方框可以在3×3的矩阵中建立，因此可以有9个不同的姿态事件和用于每种输入功能的9个不同命令。在大多数情况下，相反执行的姿态事件可以放到彼此对面。例如，旋转CCW可以位于旋转CW的对面，展开可以位于收缩的对面，左挥击可以位于右挥击的对面，上挥击可以位于下挥击的对面。如果可能，补充(complimentary)命令扫描可以链接到相反的姿态事件，由此使它们更加直观。

控制面板550还可以包括弦的菜单558。弦可以一个在另一个上面地布置并通过滚动条移动通过窗口。弦可以包括显示如何作出该弦的示例的文本标识符及弦指示符。在所例示的实施例中，弦指示符可以是手的形式，用变黑的圆覆盖用于作出弦的手指。弦还可以包括用于分配给该弦的输入功能的文本标识符。

在一种实施例中，为了建立姿态映射，用户可以突出显示输入功能，然后移动到弦菜单。一旦处于弦菜单上，用户就可以通过穿过弦列表、突出显示期望的弦并通过例如点击执行选择事件来选择用于该输入功能的期望的弦。其后，输入功能就可以分配给弦。在有些情况下，一旦用户将输入功能分配给弦，该输入功能的标识符就可以与弦一起放到弦菜单中。此外，输入功能可以包括指示它已经被分配的标识符。例如，可以由分配的输入功能放置检查。在操作过程中，当用户在多点触摸表面上放置弦菜单中所示的手指布置时，该手指布置可以被辨识为弦，其后，与分配给该弦的输入功能关联的姿态集合可以设置为主要或活动的姿态集合。

图29B示出了一个例子，其中输入功能菜单可以打开，且用户可以将Expose/Dashboard输入功能分配给4个手指的弦。此外，姿态集合可以显示与Expose/Dashboard输入功能关联的命令及用于启动该命令的姿态事件。例如，向上挥击可以启动Expose所有、向右挥击可以启动Expose桌面、向左挥击可以启动Expose应用程序及向下挥击可以启动Dashboard。

图29C示出了一个例子，其中输入功能菜单可以打开，且用户可以将主要点击和拖动输入功能分配给3个手指的弦。此外，姿态集合可以显示与点击和拖动输入功能关联的命令及用于启动该命令的姿态事件。例如，在任何方向的方向移动可以用于拖动对象，而轻敲可以用于启动点击。

图29D示出了一个例子，其中输入功能菜单可以打开，且用户可以将文件操作输入功能分配给拇指+1个手指的弦。此外，姿态集合可以显示与文件操作输入功能关联的命令及用于启动该命令的姿态事件。例如，旋转挥击CCW可以用于启动打开、旋转挥击CW可以用于启动关闭、展开可以用于新建，而收缩可以用于保存。

图29E示出了一个例子，其中输入功能菜单可以打开，且用户可以将编辑操作输入功能分配给拇指+2个手指的弦。此外，姿态集合可以显示与编辑操作输入功能关联的命令及用于启动该命令的姿态事件。例如，向上挥击可以启动撤销、向右挥击可以启动制表、向左挥击可以启动后退制表应用程序，而向下挥击可以启动再做。此外，旋转挥击CCW可以启动取消、旋转挥击CW可以启动全选、展开可以启动粘贴，而收缩可以启动剪切。此外，轻敲可以启动复制。

图29F示出了一个例子，其中输入功能菜单可以打开，且用户可以将网络浏览器操作输入功能分配给拇指+3个手指的弦。此外，姿态集合可以显示与网络浏览器操作输入功能关联的命令及用于启动该命令的姿态事件。例如，向上挥击可以启动停止、向右挥击可以启动前进、向左挥击可以启动后退，而向下挥击可以启动刷新。此外，左上挥击可以启动主页、右上挥击可以启动聚焦(spot light)、左下挥击可以启动查找，而右下挥击可以启动书签。

图29G示出了一个例子，其中输入功能菜单可以打开，且用户可以将指向操作输入功能分配给拇指+4个手指的弦。此外，姿态集合可以显示与指向操作输入功能关联的命令及用于启动该命令的姿态事件。例如，在任何方向的方向移动可以用于指向。

图30示出了根据本发明的一种实施例的示例性控制操作580。控制操作580可以利用如图29所示的控制面板执行。操作可以在块582开始，在块582处可以提供输入功能列表。在块584中，可以提供与输入功能关联的命令列表。在块586中，可以提供弦列表。在块588中，可以提供与弦关联的姿态事件列表。在块590中，输入功能可以分配给弦(或者反之亦然)。在块592中，命令可以分配给姿态事件。在可选操作中，操作580可以包括提供所有可用的命令列表，而不是与特定输入功能关联的列表。用户可以将任何命令分配给输入功能。在一种可选操作中，操作还可以包括提供所有可用的姿态事件列表，而不是与特定弦关联的列表。用户可以将任何姿态事件分配给弦。

参考图29，通过从输入功能菜单选择输入功能，然后从弦菜单列表选择弦，用户可以将输入功能分配给特定的弦。(例如，突出显示输入功能，然后选择弦)。一旦选择了弦，输入功能就可以绑定到该弦，以便日后进行操作。在有些情况下，弦菜单可以包括输入功能已经分配给其的指示。此外，通过在姿态上移动命令，用户可以将命令分配给姿态事件。例如，用户可以选择并拖动特定命令，并将其放到期望的姿态事件上。其后，该命令就可以绑定到姿态事件，用于日后进行操作。

图31示出了根据本发明的一种实施例的示例性姿态映射方法600。映射600可以在块602开始，在块602处系统放到姿态映射模式中。一旦处于姿态映射模式中，就可以在块604中检测触摸。其后，在块606中，可以存储与该触摸关联的接触布置。例如，可以生成接触布置的图像。其后，在块608中，可以监视触摸的姿态事件。其后，在块610中，可以存储姿态事件。其后，在块612中，命令可以分配给接触布置/姿态事件。一旦不在姿态映射模式中，就可以通过放下接触布置使得其可以被辨识且随后执行姿态事件来启动命令。

图32示出了根据本发明的一种实施例的示例性姿态映射方法620。姿态映射方法620可以在块622开始，在块622处可以打开命令菜单。命令菜单可以是应用程序标题中找到的那些菜单中的任何一个(例如，文件、编辑、视图、插入、格式、工具等)。当打开命令菜单时，可以显示命令列表(块624)。在块624之后，突出显示条可以通过用户控制在命令列表中的命令上移动。其后，在块626中，在命令被突出显示的同时，检测触摸表面上的触摸。其后，在块628中，与触摸关联的接触布置可以成像并存储。其后，在块630中，可以监视触摸的姿态事件。其后，在块632中，当执行姿态事件时，可以成像并存储该姿态事件。其后，在块634中，初始接触布置与姿态事件可以分配给被突出显示的命令。一旦不在姿态映射模式中，就可以通过放下接触布置使得它可以被辨识且随后执行姿态事来启动命令。

图33示出了根据本发明的一种实施例的示例性姿态反馈方法640。方法640可以在块642开始，在块642处检测触摸。其后，在块644中，可以辨识接触布置。其后，在块646中，可以至少部分地基于该接触布置来加载姿态集合。其后，在块648中，可以在触摸过程中检测暂停(例如，有一段时间没有执行姿态事件)。其后，在块650中，可以显示姿态集合，使得用户可以浏览命令和绑定到其的姿态事件(见例如图34)。其后，在块652中，当姿态事件开始时或者在预设时间过后，姿态集合可以从显示中除去。

图34示出了根据本发明的一种实施例的示例性姿态浏览窗口660。姿态浏览窗口可以是弹出包含关于如何执行姿态事件及如果执行姿态事件则什么命令将启动的信息的姿态菜单。由此，用户可以在执行姿态事件之前快速地记住姿态集合。姿态窗口660可以是显示在第一触摸点(或暂停)附近并在任何其它显示信息之上的半透明或不透明窗口。尽管窗口可以广泛地变化，但在所例示的实施例中，窗口660可以包含单独的方框662，每个方框可以包含姿态事件664及与其关联的命令667。在这种实施例中，方框可以在3×3矩阵中建立，因此可以有9个不同的姿态事件及9个不同的命令。在大多数情况下，相反执行的姿态事件可以放到彼此对面。例如，旋转CCW可以位于旋转CW的对面、展开可以位于收缩的对面、左挥击可以位于右挥击的对面、上挥击可以位于下挥击的对面。如果可能，补充命令可以链接到相反的姿态事件，由此使它们更加直观。例如，在剪切和粘贴的情况下，剪切可以与收缩关联，而粘贴可以与展开关联。此外，另一个可以与轻敲关联(由圆圈所示)。

图35示出了根据本发明的一种实施例的通过触摸屏实现的示例性键盘方法680。方法680可以在块682开始，在块682处激活触摸屏键盘(例如，显示并准备好接收输入)。其后，在块684中，可以监视触摸表面的键输入(例如，手指轻敲在所显示的键上)。同时，在块686中，可以监视触摸表面的挥击姿态事件。如果挥击姿态事件是右挥击，则可以执行空格命令(块688和690)。如果挥击姿态事件是左挥击，则可以执行后退/删除命令(块692和694)。如果挥击姿态事件是下挥击，则可以执行回车/返回命令(块696和698)。如果挥击姿态事件是上挥击，则可以执行分页命令(块700和702)。但是，应当指出，该方法不限于这些命令，且其它命令也可以执行。

关于这么多要评价的弦组合、姿态事件、命令，分离强项和弱点并导出哪些弦和姿态很好地适合哪些命令的引导理论可能是有帮助的。通常相信通过匹配最佳手指组合与最常用的命令可以最大化长期的用户经历。普通的手指组合应当只用于不太常用的命令。但是，因为细小的问题，例如串扰，只遵循这个原理不足以创建好的用户经历。

图36示出了根据本发明的一种实施例的示例性姿态设计处理720。设计处理720包括块702，在块702处最容易的弦可以被评价或分级。弦可以例如基于速度、可靠性、使用的舒适性和容易性、简单性等来评价。这还可以基于触摸表面的尺寸，因为较小的表面不能容纳所有的手指组合。图37示出了用于评价弦的矩阵的一个例子。应当理解，这个矩阵是作为例子，而不是作为限制。

设计处理还包括块704，在块704处操作的频率可以被评价或分级。例如，特定用户或用户组多频繁地执行特定的操作集合。频率分级可以根据操作关于彼此的比例来变化(例如，网络浏览对编辑)。图38示出了用于分级用于一些操作的操作频率的矩阵的一个例子。应当理解，这个列表是作为例子，而不是作为限制，因为还有多得多的操作。

设计处理还可以包括块706，在块706处最容易的弦基本上与最常用的操作组到一起或匹配，而最难的弦基本上与最不常用的操作组到一起或匹配。

设计处理还可以包括微调组。微调可以基于许多因素，包括补充命令、直观性、串扰、可感测组织等。如应当理解的，该设计处理可能不象匹配最容易的弦与最常用的操作那么简单。在有些情况下，最容易的弦对最常用的操作可能没有意义。因此，弦和操作可以移动，同时仍尽量维持容易与最常用以及难与不太常用。

图39示出了根据本发明的一种实施例的示例性控制操作740。该控制操作可以在块742开始，在块742处提供基本的姿态映射。基本姿态映射可以包括姿态偏好设置，包括例如弦、命令姿态事件等。在块742之后，操作可以前进到块744，在块744处使第一程序活动。程序可以是例如字处理程序、媒体管理程序、电子数据表程序、媒体编辑程序、绘画程序等。在块746中，当第一程序活动时，基本姿态映射可以根据第一程序来调整。例如，程序可以指示基本姿态映射来改变针对这个特定程序的弦和姿态集合的意义。在块748中，可以使第二程序活动。在块750中，当第二程序活动时，基本姿态映射可以根据第二程序来调整。

在图39的一个例子中，媒体编辑程序可以如下调整姿态映射：一个手指用于指向；两个手指用于移动、缩放、旋转对象；三个手指用于主要拖动；四个手指用于滚动扫视；五个手指用于指向。而字处理程序可以如下调整姿态映射：两个手指用于指向文本光标、三个手指用于选择文本、四个手指用于翻页、开始行和结束行。

图40示出了根据本发明的一种实施例的示例性控制操作760。该控制操作可以与姿态集合关联，例如利用三个手指的弦实现的姿态集合。控制操作可以在块762开始，在块762处作出关于是否检测到右挥击的确定。如果是，则操作可以前进到块764，在块764处启动第一Expose功能。如果不是，则操作可以前进到块766，在块766处作出关于是否检测到左挥击的确定。如果是，则操作可以前进到块768，在块768处启动第二Expose功能。如果不是，则操作可以前进到块770，在块770处作出关于是否检测到上挥击的确定。如果是，则操作可以前进到块772，在块772处启动第三Expose功能。如果不是，则操作可以前进到块774，在块774处作出关于是否检测到下挥击的确定。如果是，则操作可以前进到块776，在块776处启动Dashboard功能。如果不是，则操作可以回到块762。

图41示出了根据本发明的一种实施例的示例性控制操作780。该控制操作可以在块782开始，在块782处检测基本弦。基本弦可以是例如三个手指的弦。在触摸行程过程中，检测暂停(块784)。其后，在块786中，由于基本弦的暂停，可以打开上下文菜单。其后，在块788中，作出关于是否检测到上或下滑动的确定。如果是，则操作可以前进到块790，在块790处根据滑动运动使突出显示条移动通过该上下文菜单。其后，在块792中，可以作出关于是否检测到轻敲的确定。如果是，则操作可以前进到块794，在块794处实现突出显示项的功能性。

Dashboard是窗口小部件的起始：令你执行通用任务并为你提供对信息的快速访问的微型应用程序。利用挥击，Dashboard可以利用窗口小部件即时地出现、完成带给用户信息的世界-实时天气、股票报价、航班信息及更多。Dashboard可以容易地消失，因此用户可以回到他们正在做的事情。Dashboard是由位于加州Cupertino的Apple公司制造的。

Expose允许用户利用单次挥击即时地访问任何打开的窗口-而且是决不会被模仿的极好形式。将所有打开的窗口显示为缩略图、浏览当前应用程序的窗口或者隐藏所有窗口，以便快速定位你桌面上的文件。Expose是由位于加州Cupertino的Apple公司制造的。

图42-44示出了根据本发明的多个实施例的各种姿态映射。每个图都包括四个标题：1)手、2)手指个数(弦)、3)姿态事件及4)与姿态事件关联的行为或动作。

图45-48示出了根据本发明的几个实施例的各种姿态集合。在所有这些图中，姿态集合包括由箭头示出的各种运动(挥击、旋转、展开/收缩)，及由圆圈所示的一次或多次轻敲。它们还可以包括绑定到它们位于其上的运动的命令。依赖用户需求，姿态集合可以应用到不同的弦。在一个例子中，图45的姿态集合可以应用到拇指+1个手指的弦、图46的姿态集合可以应用到拇指+2个手指的弦、图47的姿态集合可以应用到拇指+3个手指的弦，而图48的姿态集合可以应用到张开拇指和3个手指的弦。应当理解，姿态集合及弦是作为例子而不是作为限制给出的。例如，在姿态集合的情况下，可以使用不同的命令、可以使用不同的姿态事件、可以使用不同的分配等。

现在将描述关于图8-11的附加实施例。

图49示出了根据本发明的一种实施例的示例性姿态操作800。操作800可以在块802开始，在块802处只检测到第一手指。其后，在块804中，可以确定该第一手指的状态。状态可以例如对应于手指的特定定向、手指关于触摸表面的位置、手指是移动的还是固定的、手指运动的方向等。其后，在块806中，可以检测一个或多个附加手指。例如，除第一手指之外，可能检测到不同的第二个手指。在块808中，可以确定一个或多个附加手指的状态。其后，在块810中，可以基于拳头及附加手指关于彼此的状态的定时来实现不同的输入模式。不同的输入模式可以广泛地变化，并且可以选自在此所讨论的那些或者任何合适或已知的输入模式中的任何一种。输入模式的一个例子可以是指向模式或拖动模式。其它模式可以例如包括滚动、扫视等。

在一个例子中，第一手指的状态可以包括固定或移动，而第二手指的状态可以包括第二手指是否存在。在这个例子中，如果只检测到第一手指，则可以实现指向操作。此外，如果当第一手指固定时检测到第二手指，则指向操作可以切换到拖动操作，而如果当第一手指移动时检测到第二手指，则维持指向操作。在这么做的时候，用户可以在指向与拖动操作之间容易地来回切换。例如，用户可以在触摸表面上移动一个手指以便定位它，或者将光标放到文件夹上(例如，指向)、在文件夹上停止手指或光标、在触摸表面上放下第二个手指，由此指示期望拖动该文件夹，然后将他们的第一个手指移动到另一个位置，以便将文件夹拖动到新位置。用户可以保持在文件夹周围移动他们的手指，或者简单地拿起第一个手指，以便最终将文件夹放到屏幕中。

图50示出了根据本发明的一种实施例的示例性姿态操作820。操作820可以在块822开始，在块822处只检测到第一手指。其后，在块824中，可以确定第一手指的状态。状态可以例如对应于手指的特定定向、手指关于触摸表面的位置、手指是移动还是固定、手指运动的方向等。其后，在块826中，当第一手指处于第一状态时，可以利用第一手指实现第一输入模式。在块828中，可以监视修改手指事件。修改手指事件可以由除第一手指之外的手指提供。它可以是例如第二手指。事件可以是第二手指的存在或者它可以是某种类型的姿态事件，或者是特定的弦。其后，在块830中，当第一手指处于第二状态且检测到修改手指事件时，可以实现第二模式。修改事件可以是例如相邻于第一手指的第二手指的存在。在一个例子中，第一模式是指向模式，而第二模式是拖动模式。当然，根据需要，该实施例可以应用到其它模式。

图51示出了根据本发明的一种实施例的示例性姿态操作840。操作840可以在块842开始，在块842处最初检测到第一手指。其后，在块844中，当第一手指移动时，可以实现与第一手指关联的第一模式。其后，在块826中，可以在检测到第一手指后检测第二手指。在块828中，当第一手指固定且检测到第二手指的存在时，第一模式可以切换到第二模式。第二手指的存在可以是关于例如触摸表面特定位置的特定位置或者关于第一手指的特定位置。在一个例子中，第二手指应当在第一手指附近检测到。其后，在块830中，但第一手指移动时，可以利用至少第一手指实现第二模式。在一个例子中，第一模式可以是指向模式，而第二模式可以是拖动模式。当然，根据需要，该实施例可以应用到其它模式。

图52示出了根据本发明的一种实施例的示例性姿态操作860。操作860可以在块862开始，在块862处作出关于是否检测到单个手指的确定。依赖系统的需求，单个手指可以被识别出来或者没有。例如，在有些情况下，操作只能在识别出指定手指后才实现，而在其它情况下，该方法可以在检测到任何单个手指后实现。如果检测到单个手指，则操作可以前进到块864，在块864处作出关于手指是否移动的确定。如果手指移动，则在块866中，可以利用第一手指的移动执行指向操作。如果不再检测到第一手指，则指向操作可以结束。如果手指没有移动，则在块868中，可以作出关于当第一手指固定时是否检测到第二手指的确定。如果没有，则操作可以前进到块862。如果有，则操作可以前进到块870，在块870处作出关于在检测到第二手指后，第一手指是否移动的确定。第二手指可以或者可以不需要与第一手指一起移动。在大多数情况下，第二手指可以拿起，使得不再检测到它。如果第一手指不移动，则操作可以回到块868。如果第一手指移动，则操作可以前进到块872，在块872处根据第一手指的移动执行拖动操作。如果不再检测到第一手指，则拖动操作可以结束。

图53示出了根据本发明的一种实施例的示例性姿态操作880。操作880可以在块882开始，在块882处作出关于是否检测到第一手指的确定。依赖系统需求，第一手指可以识别出或者没有。例如，在有些情况下，操作只能在识别出指定手指后才实现，而在其它情况下，该操作可以在检测出任何单个手指后实现。如果检测到手指，则操作可以前进到块884，在块884处实现指向模式。其后，在块886中，可以作出关于手指是否移动的确定。如果手指移动，则在块888中，可以忽略后续的修改事件。例如，附加检测到的手指可以被忽略且只有第一手指的移动可能是相关的。其后，在块890中，可以根据移动的手指执行指向操作。如果不再检测到第一手指，则指向操作可以结束。如果第一手指固定，则操作可以前进到块892，在块892处查找修改事件。修改事件可以是例如手指的增加或者由新手指作出的姿态等。其后，在块894中，可以作出关于是否检测到特定修改事件的确定。如果没有，则操作可以回到块886。如果有，则操作可以前进到块896，在块896处系统从指向模式切换到拖动模式。如果第一手指移动，则操作可以前进到块898，在块898处根据第一手指的移动执行拖动操作。如果不再检测到第一手指，则拖动操作可以结束。

图54示出了根据本发明的一种实施例的示例性电子系统950。该电子系统可以利用前面的任何实施例配置。电子系统950可以对应于计算机系统，例如包括台式、膝上型、平板或手持式计算机的个人计算机系统。电子系统还可以对应于其它消费者电子设备，例如包括蜂窝电话、PDA、专用媒体播放器等的手持式设备。当然，该电子系统可以应用到其它电子设备。

图54中所示的示例系统950可以包括配置成执行指令并执行与系统950相关的操作的处理器956。例如，利用从例如存储器中检索出的指令，处理器956可以控制计算系统950部件之间输入与输出数据的接收与操纵。处理器956可以在单芯片、多芯片或多个电子部件上实现。例如，各种体系结构可以用于处理器956，包括专用或嵌入式处理器、专用处理器、控制器、ASIC等。

在大多数情况下，处理器956与操作系统可以一起操作，以执行计算机代码并产生和使用数据。操作系统通常是众所周知的，将不再更具体地描述。作为例子，操作系统可以对应于OS/2、DOS、Unix、Linux、Palm OS等。操作系统还可以是专用操作系统，例如可以用于有限目的设备类型的计算设备的操作系统。操作系统、其它计算机代码与数据可以驻留在操作性耦合到处理器956的存储器块958中。存储器块958可以提供地方来存储由系统950使用的计算机代码和数据。作为例子，存储器块958可以包括只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器等。信息还可以驻留到可拆卸的存储介质上并且在需要的时候加载或安装到系统950上。可拆卸的存储介质包括例如CD-ROM、PC-CARD、存储卡、软磁盘、磁带及网络部件。

系统950还可以包括操作性耦合到处理器956的显示设备968。显示设备968可以是液晶显示器(LCD)(例如，有源矩阵型、无源矩阵型等)。可选地，显示设备968可以是监视器，例如单色显示器、彩色图形适配器(CGA)显示器、增强型图形适配器(EGA)显示器、可变图形阵列(VGA)显示器、超级VGA显示器、阴极射线管(CRT)等。显示设备还可以对应于等离子显示器或者利用电子墨水实现的显示器。

显示设备968可以配置成显示图形用户界面(GUI)969，该界面在系统的用户和操作系统或运行在其上的应用程序之间提供容易使用的界面。一般来说，GUI 969利用图形图像来表示程序、文件和操作选项。图形图像可以包括窗口、字段、对话框、菜单、图标、按钮、光标、滚动条等。这种图像可以在预定布局中排列，或者可以动态地创建，以便提供用户要采取的特定动作。在操作过程中，用户可以选择并激活各种图形图像，以便启动与其关联的功能和任务。作为例子，用户可以选择打开、关闭、最小化或者最大化窗口的按钮，或者启动特定程序的图标。GUI 969还可以附加地或者可选地在显示设备968上为用户显示信息，例如非交互式的文本和图形。

系统950还可以包括操作性耦合到处理器956的一个或多个输入设备970。输入设备970可以配置成从外界将数据传输到系统950中。输入设备970可以与系统950集成或者它们可以是独立的部件(例如，外围设备)。在有些情况下，输入设备970可以通过有线连接(例如，电缆/端口)连接到系统950。在其它情况下，输入设备970可以通过无线连接连接到系统950。作为例子，数据链接可以对应于PS/2、USB、IR、RF、蓝牙等。

输入设备970可以例如用于执行跟踪并关于显示器968上的GUI969进行选择。输入设备970还可以用于在系统950中发布命令。

在一种实施例中，输入设备970可以包括配置成从用户的触摸接收输入并将这个信息发送到处理器956的触摸感测设备。作为例子，触摸感测设备可以对应于触摸板、触摸屏和/或触摸敏感外壳。

在许多情况下，触摸感测设备可以辨识触摸(或接近触摸)，及触摸敏感表面上触摸的位置和幅值。触摸感测装置可以向处理器956报告触摸，而处理器956可以根据其编程解释触摸。例如，处理器956可以根据特定的触摸启动任务。专用处理器可以用于局部地处理触摸并减少对计算机系统的主处理器的需求。触摸感测设备可以基于感测技术，包括但不限于电容性感测、电阻性感测、表面声波感测、压力感测、光学感测等。

此外，触摸感测装置还可以基于单点感测或多点感测。单点感测只能够区分单个触摸，而多点感测能够区分同时发生的多个触摸。可选地或者附加地，可以使用邻近感测设备。邻近感测设备能够感测空间中而不是触摸表面上的物体。

在一种实施例中，输入设备970可以包括多点输入设备。多点输入设备比传统的单点设备有优点在于，它们可以同时区分多于一个物体(手指)。作为例子，可以在此使用的一种多点设备在美国专利申请No.10/840,862和No.11/015,434中示出并更详细地进行了描述，这两个申请都通过引入并入于此。

根据本发明的一种实施例，系统950可以设计成辨识应用到一个或多个输入设备970(特别是触摸设备)的姿态985并基于姿态985控制系统950的各方面。如前面所指出的，姿态可以定义为映射到一个或多个特定计算操作的、与输入设备的程式化交互。姿态985可以通过各种手的，具体而言是手指的，运动来进行。可选地或者附加地，姿态可以利用触笔进行。在所有这些情况下，至少一个输入设备970，例如触摸设备，可以接收姿态985，而处理器956可以执行指令来执行与姿态985关联的操作。此外，存储器块958可以包括姿态操作程序988，该程序可以是操作系统的一部分或者是独立的应用程序。姿态操作程序988可以包括一组指令，这组指令辨识姿态985的出现并响应姿态985通知姿态985的一个或多个软件代理和/或要采取什么动作。

当用户执行一个或多个姿态时，输入设备970可以将姿态信息转播到处理器956。利用来自存储器958的指令，更特别地是姿态操作程序988，处理器956可以解释姿态985并基于姿态985来控制系统950的不同部件，例如存储器958、显示器968。姿态985可以识别为用于执行存储在存储器958中的应用程序中的动作、修改显示器968上所显示的GUI对象、修改存储在存储器958中的数据和/或用于执行I/O设备中的动作。作为例子，命令可以与缩放、扫视、滚动、翻页、旋转、改变大小等相关联。作为进一步的例子，命令还可以关联于启动特定程序、打开文件或文档、浏览菜单、进行选择、执行指令、登录到计算机系统中、允许授权个人访问计算机系统的受限区域、加载与计算机桌面的用户优选布置关联的用户概况等。

在一种实施例中，与输入设备接触的手指个数可以指示输入模式。例如，如单个手指的单个触摸可以指示期望执行跟踪，即指示器或光标移动，或者选择，而如一组手指的多个触摸可以指示期望执行其它姿态。用于实现姿态的手指个数可以广泛地变化。作为例子，两个手指可以指示第一输入模式、三个手指可以指示第三输入模式等。可选地，任何个数的手指，即多于一个，都可以用于相同的输入模式，这可以包括一个或多个姿态控制。手指的定向可以类似地用于指示期望的模式。可以检测手指的轮廓，以便基于用户是否使用了他的拇指或食指来允许不同的模式操作。

在一种特定的实施例中，单个手指可以启动跟踪(或选择)，而彼此紧密相邻的两个或多个手指可以启动滚动或扫视。两个手指可以在一个和两个手指之间提供容易的切换，即用户可以通过简单地拿起或放下另一个手指来非常容易地在模式之间切换。这与其它形式的模式切换相比优点在于更加直观。在跟踪过程中，光标移动可以通过用户在触摸感测设备的触摸敏感表面上移动单个手指来控制。触摸感测设备的传感器布置可以解释手指的运动并生成用于产生显示器上光标对应移动的信号。在滚动过程中，屏幕移动可以通过用户在触摸感测设备的触摸敏感表面上移动两个手指来控制。当组合的手指在垂直方向移动时，运动可以解释为垂直滚动事件，而当组合的手指在水平方向移动时，运动可以解释为水平滚动事件。对于扫视也是一样，尽管扫视可以在所有方向发生，而不仅仅是水平和垂直方向。

在此所述的实施例可以由硬件、软件或硬件和软件的组合来实现。软件还可以实现为计算机可读介质上的计算机可读代码。计算机可读介质是可以存储数据的任何数据存储设备，其中的数据在随后可以由计算机系统读取。计算机可读介质的例子包括只读存储器、随机访问存储器、CD-ROM、DVD、磁带、光学数据存储设备和载波。计算机可读介质还可以在网络耦合的计算机系统上分布，使得计算机可读代码以分布方式存储和执行。

尽管本发明已经就几种实施例进行了描述，但还有属于本发明范围的变更、改变和等价物。例如，尽管本发明主要是针对触摸设备，但应当指出，本发明还可以利用邻近感测设备实现。此外，方法可以实现成跨多个设备自动地同步姿态偏好。例如，当掌上设备连接到主计算机时。还应当指出，有许多可选方式来实现本发明的方法和装置。例如，尽管本发明主要是针对与多点感测设备关联的方法，但应当指出，有些方法可以针对单点感测设备。因此，以下所附权利要求应当解释为包括属于本发明真正主旨与范围的所有这种变更、改变和等价物。

Claims (72)

1、一种电子系统，包括：

多点感测设备，提供用于从一个或多个物体接收输入的多点感测区域；

姿态模块，配置成确定用于由多点感测设备的多点感测区域接收到的给定输入布置的姿态集合，以便监视包括在该姿态集合中的一个或多个姿态事件的给定输入布置，并且当利用该输入布置执行姿态事件时启动与该姿态事件关联的输入动作。

2、如权利要求1所述的电子系统，其中多点感测设备是触摸感测设备。

3、如权利要求1所述的电子系统，其中多点感测设备是邻近感测设备。

4、如权利要求1所述的电子系统，其中姿态模块是由硬件、软件或硬件与软件的组合实现的。

5、如权利要求1所述的电子系统，其中电子系统与包括台式、膝上型、平板或手持式计算机在内的计算机系统关联。

6、如权利要求1所述的电子系统，其中电子系统与包括蜂窝电话、PDA或专用媒体播放器的手持式消费者电子设备关联。

7、如权利要求1所述的电子系统，其中姿态集合还由一个或多个因素确定，所述因素包括感测区域内输入布置的位置、打开的应用程序、打开应用程序的状态、输入功能性或附加的输入特征。

8、如权利要求1所述的电子系统，其中输入动作是状态命令。

9、如权利要求1所述的电子系统，其中输入动作是操纵命令。

10、如权利要求1所述的电子系统，其中姿态事件是由输入布置执行的。

11、如权利要求1所述的电子系统，其中姿态事件是由输入布置的子集执行的。

12、如权利要求1所述的电子系统，其中确定姿态集合包括辨识特定的输入布置，而且其中监视给定的输入布置包括辨识与该姿态集合关联的姿态事件。

13、如权利要求12所述的电子系统，其中辨识姿态事件包括分析输入布置的每个输入的特性、识别与输入布置关联的特定图案，并参考姿态集合来考察所述特定图案是否与和姿态集合所关联的姿态事件匹配。

14、如权利要求1所述的电子系统，其中姿态事件与可以选自运动、轻敲、按压和停留的触摸关联。

15、如权利要求14所述的电子系统，其中运动选自滑动、挥击、弹动和旋转。

16、如权利要求14所述的电子系统，其中运动是两个或更多个输入之间的收缩或展开。

17、如权利要求14所述的电子系统，其中轻敲选自1/2轻敲、完全轻敲、多次轻敲、快轻敲和慢轻敲。

18、如权利要求14所述的电子系统，其中按压与重的和轻的按压关联。

19、如权利要求14所述的电子系统，其中停留与长的或短的固定暂停关联。

20、如权利要求14所述的电子系统，其中姿态集合由不同姿态事件和不同命令的矩阵组成。

21、如权利要求20所述的电子系统，其中姿态集合由3×3的矩阵组成，有9个不同的姿态事件和9个不同的命令。

22、如权利要求20所述的电子系统，其中9个不同的姿态事件包括旋转CCW、旋转CW、展开、收缩、左挥击、右挥击、上挥击、下挥击和轻敲。

23、一种姿态控制方法，包括：

同时检测感测区域内的多个点；

当在感测区域内检测到一个或多个点时，确定弦，其中弦是在感测区域内的特定点布置；

确定将命令关联到一个或多个姿态事件的姿态集合；

针对姿态事件而监视点；及

如果辨识出姿态事件，则执行与该姿态事件关联的命令。

24、如权利要求23所述的方法，其中点与触摸敏感表面上出现的触摸关联。

25、如权利要求23所述的方法，其中点与在表面特性上出现的接近触摸关联。

26、如权利要求23所述的方法，其中弦是利用一个或多个手的全部或部分进行的。

27、如权利要求23所述的方法，其中弦是基于多个未知的点。

28、如权利要求23所述的方法，其中弦是基于已知点的特定布置。

29、如权利要求23所述的方法，其中弦是基于点是并拢在一起、在中间位置还是展开。

30、如权利要求23所述的方法，其中弦是基于收缩是彼此相邻的还是有偏移。

31、如权利要求23所述的方法，其中弦是基于它们是来自左手还是右手。

32、如权利要求23所述的方法，其中确定弦包括分析通过物体触摸或接近触摸所述感测区域而创建的图像，并从图像辨识特定的点布置。

33、如权利要求23所述的方法，其中姿态集合是基于弦。

34、如权利要求33所述的方法，其中姿态集合还基于附加因素，包括弦的位置、打开的应用程序、所述应用程序的状态等和/或点的特性。

35、如权利要求23所述的方法，其中姿态集合与输入功能性关联。

36、如权利要求35所述的方法，其中输入功能性选自导航操作、文件操作、编辑操作、视图操作、格式化操作、工具操作或网络浏览操作。

37、如权利要求36所述的方法，其中命令选自状态命令和操纵命令。

38、如权利要求23所述的方法，其中辨识姿态事件包括分析点的特性、识别特定的图案并参考姿态集合及其姿态事件列表，如果图案与姿态集合的姿态事件匹配，则将该图案假定为姿态事件。

39、如权利要求38所述的方法，其中点的特性包括一级考虑和二级考虑，其中一级考虑包括运动、轻敲、按压或停留，而二级考虑包括速度、方向、定向、大小、持续时间、形状或长度。

40、如权利要求23所述的方法，其中姿态事件与运动、轻敲、按压和停留关联。

41、如权利要求40所述的方法，其中运动选自滑动、挥击、弹动和旋转。

42、如权利要求40所述的方法，其中运动是两个或更多个输入之间的收缩或展开。

43、如权利要求40所述的方法，其中轻敲选自1/2轻敲、完全轻敲、多次轻敲、快轻敲和慢轻敲。

44、如权利要求40所述的方法，其中按压与重的和轻的按压关联。

45、如权利要求40所述的方法，其中停留与长或短的固定暂停关联。

46、如权利要求23所述的方法，其中姿态集合由不同姿态事件和不同命令的矩阵组成。

47、如权利要求46所述的方法，其中姿态集合由3×3的矩阵组成，有9个不同的姿态事件和9个不同的命令。

48、如权利要求47所述的方法，其中9个不同的姿态事件包括旋转CCW、旋转CW、展开、收缩、左挥击、右挥击、上挥击、下挥击和轻敲。

49、如权利要求23所述的方法，还包括确定是否执行了切换事件，切换事件是指使操作休眠或者启动弦变化的事件。

50、如权利要求23所述的方法，其中切换事件是由以下操作中的一个实现的：a)从感测区域除去所有点达预定量的时间，b)改变弦，c)从感测区域加/减点，d)保持点固定达预定量的时间，e)检测特定的键输入或者按钮点击，或者f)检测姿态事件。

51、一种控制操作，包括：

检测触摸或接近触摸；

如果检测到触摸，则确定用于该触摸的姿态集合，该姿态集合包括用于激发或启动命令的一个或多个姿态事件；

针对与姿态集合关联的姿态事件而监视触摸；及

当执行与姿态集合关联的姿态事件时，启动命令。

52、如权利要求51所述的操作，其中姿态集合依赖于触摸的特性、触摸的位置、打开的应用程序和/或应用程序的模式。

53、如权利要求51所述的操作，其中触摸或接近触摸是通过诸如触摸板、触摸屏或触摸敏感外壳的触摸设备检测的。

54、一种姿态操作，包括：

监视触摸运动；

在第一和第二状态之间区分触摸运动；

如果触摸运动与第一状态关联，则执行第一动作；及

如果触摸运动与第二状态关联，则执行第二动作。

55、如权利要求54所述的姿态操作，其中触摸运动是滑动运动，而且其中第一状态是弹动，而第二状态是挥击。

56、一种控制操作，包括：

提供第一输入设备和第二输入设备，所述第一输入设备包括触摸敏感表面；

监视第一输入设备的输入事件；

同时监视第二输入设备的输入事件；

根据与第一输入设备关联的输入事件执行输入操作；

同时根据与第二输入设备关联的输入事件执行输入操作。

57、如权利要求56所述的控制操作，其中第一输入设备是鼠标。

58、一种控制操作，包括：

提供输入功能列表，输入功能具有命令和链接到命令的姿态事件，其中命令关联到输入功能；

将输入功能分配给弦；及

当辨识出弦时，将输入功能链接到弦。

59、如权利要求58所述的控制操作，其中输入功能选自导航操作、文件操作、编辑操作、视图操作、格式化操作、工具操作或网络浏览操作。

60、如权利要求58所述的控制操作，其中姿态事件是由弦执行的动作。

61、如权利要求58所述的控制操作，其中姿态事件选自旋转、按组平移、彼此相对平移和/或轻敲。

62、如权利要求58所述的控制操作，其中姿态事件以直观的方式链接到命令。

63、如权利要求58所述的控制操作，其中补充命令链接到补充姿态事件。

64、如权利要求58所述的控制操作，其中弦是手指的布置。

65、如权利要求58所述的控制操作，其中将输入功能分配给弦包括从输入功能菜单选择输入功能，然后从弦的菜单列表选择弦。

66、一种控制面板，包括：

显示输入功能的菜单；

显示示出与所选输入功能关联的命令的姿态集合及分配给命令的姿态事件；

显示弦的列表；

其中为了建立姿态映射，用户从输入功能列表选择期望的输入功能，并从弦列表选择期望的弦。

67、一种姿态设计处理，包括：

从最容易到最难执行来分级弦；

从最频繁到最不频繁来分级操作的频率；

基本上将最容易的弦与最频繁的操作相匹配，并将最难的弦与不太频繁的操作相匹配；及

微调弦/操作分组。

68、如权利要求67所述的处理，其中弦是基于选自速度、可靠性、舒适性、使用的容易性、简单性或感测区域的大小中的一个或多个属性来分级的。

69、如权利要求67所述的处理，其中微调是基于包括补充命令、直观性、串扰或组织的一个或多个因素。

70、一种姿态操作，包括：

检测第一手指；

确定该手指的状态；

检测一个或多个附加手指；

确定附加手指的状态；及

基于第一和附加手指关于彼此的状态的定时，实现不同的输入模式。

71、如权利要求70所述的姿态操作，其中如果当附加手指处于两个状态中的第一状态时第一手指也处于两个状态中的第一状态，则实现第一输入模式，否则实现第二输入模式。

72、如权利要求70所述的姿态操作，其中第一手指的状态包括移动或固定，且其中附加手指的状态包括是否存在，而且其中如果第一手指移动，则实现指向输入模式，而如果当附加手指存在时第一手指是固定的，则实现拖动模式。

Images