屏幕模拟某些触觉指向手势

目前，有几个项目正在研究指向动作和NL输入的集成问题，例如：在NLMENU（Thompson 1986）中，用户可以通过鼠标控制的橡皮筋技术选择街道地图的部分。Hayes（1986）将指示成分集成到语言工艺系统中，允许用户点击屏幕上的项目，例如工厂车间蓝图上的机器。ACORD研究各种二维物体的指向行为，例如行星系地图（Hanne、Hoepelmann和F~ihnrich 1986）和大学注册表格（Wetzel、Hanne和Hoepelmann 1987）。 5.3触觉中的指向动作 XTRA的一个目标是集成（键入的）语言描述和指向手势（目前通过鼠标点击实现）以进行参考标识（Kobsa等人。1986年）。用户应该能够有效地引用屏幕上的对象，即使他/她使用了未指定的描述和/或不精确的指向手势（Allgayer，Reddig 1986）。因此，指定引用的过程加快了，并且对专业术语的了解更少。 XTRA的指示组件（称为TACTILUS）完全在Symbolics Lisp机器（Allgayer 1086）上实现。它提供四种不同精度的指点手势。它们对应于三种准点指向模式（用铅笔、食指或手）和包围演示区的可能性。因此，指向变成了一个两步的过程：首先，必须选择想要的精确程度，然后指向“点”。 这些指向动作是自然的，因为它们的模糊性：在鼠标被激活的位置和由此引用的对象之间没有预定义的关系。因此，系统必须考虑到用于参考识别的额外知识来源，例如口头描述和对话记忆。从用户的角度来看，这种自然性的本质标志是缺乏视觉反馈。与自然指向类似，所标识的引用不会突出显示。 5.4混合输入处理问题 一个基本的问题是给相应的动词成分分配一个鼠标点击。这个任务并不简单，因为不能保证用户的“点”在指示表达式的范围内。可能是由于用户不注意、不熟悉系统等原因，导致单击太晚。例如： 这里，指针操作发生在“最后一个条目”旁边。但这是回指，不需要放大。另一方面，还有指示语“this sum”，没有相关的强制性指向动作。 因此，系统必须识别“/”属于“this sum”。这个问题因为“这里”、“那里”和“这个”、“那个”这两个词不仅是最常见的指示语，而且还有回指和文本指示语阅读而更加严重。 如果一句话需要不止一个指向动作，那么匹配鼠标点击和短语就变得更加困难。这种情况称为“多点”。示例包括： Hayes（1986）假设指向动作的执行顺序与其对应的短语相同。但在这一假设得到实证证实之前，它只能作为一个启发式规则。 只要可以通过指针引用，不完整表达式的使用就会增加。在这些情况下，需要额外的知识源来进行参照识别，如描述符分析和案例框架分析（Kobsa等人。1986年）。例如，“I want add Sis/”语句中的“this”肯定指的是当前域中的一个数字，因为“add”被归类为要用数字执行的操作。 5.5产生混合输出的问题 如果系统的指向动作也被认为是自然指向的模拟，那么用户将面临与上一小节（Reithinger 1987）中已经确定的相同的问题。但是，虽然在输入过程中可以模拟多重指向，但是在输出过程中似乎也没有足够的模式来模拟多重指向：在正常的交流中，听者不需要观察说话人来理解他/她，除非指示表达（或触觉指向时的触摸声）的出现要求他/她视觉注意力。此外，在键入的对话框中，不需要永久地观察输出语句。在多重指向的情况下，不能排除用户可能没有注意到其中一个指向操作的可能性。 6。更自然模拟的前景 到目前为止，屏幕上只能模拟某些触觉指向手势。Negroponte（1981）提出了一些未来的计划，例如考虑非触觉动作，如眼睛跟踪和身体运动。 触觉po的模拟6。更自然模拟的前景 到目前为止，屏幕上只能模拟某些触觉指向手势。Negroponte（1981）提出了一些未来的计划，例如考虑非触觉动作，如眼睛跟踪和身体运动。 mouseclicks对触觉指向手势的模拟在其“自然性”方面存在一些严重的局限性。需要进行实证研究，以确定鼠标点击在多大程度上可以被视为自然指向。这些调查目前在XTRA项目中进行。 在自然指向的情况下，选择或多或少精确的指向手势是自动的，而不是有意识的。但在触觉中，用户有tc，明确选择所需的准确度。经验调查必须检查用户是否认为这是一个缺点。 此外，通过鼠标点击的指向不同于自然的触觉指向，因为手指和演示之间没有物理接触。一个更好的解决方案是使用触摸屏，在触摸屏上可以进行“真实世界的手势”（见Minsky 1984）。触摸屏允许高度自然的指向手势（见Picketing 1986），但也有一些缺点，例如分辨率受限。 和前面提到的一样严重的问题是指手势及其对应短语的时间分离。如果系统接受语音输入，这个问题是可以解决的。但光靠这一点是不够的：不能保证口语短语和相关的鼠标点击同时发生。此外，目前的语音输入系统词汇量太小，无法处理流畅的语音。 因此，最充分的模拟将是在触摸屏上结合语音输入输出和手势。然而，所需设备的技术水平还不够。 致谢 本文所描述的研究是由德国科学基金会（DFG）在其关于人工智能和基于知识的系统的特别合作项目（SFB314）中资助的。XTRA项目的同事们对本文的早期版本发表了有益的评论，我对此表示感谢。 工具书类 Allgayer，J.（1986）：在NatfirlichPrachliche-KI系统中的一个图形组件zur集成yon Zeigehandlungen。第16条诉讼程序。吉亚赫雷斯塔贡。柏林等：斯普林格。 Allgayer，J.和C.Reddig（1986）：处理包含单词和手势的描述。系统架构。收件人：C.-R.RoUinger，Hrsg.：GWAI/OGAI 1986。柏林等：斯普林格。 博尔特，R.A.（1980）：“放在那里”：在图形界面上的声音和手势。计算机图形学14262-270。 Brown，D.C.等人。（1979）：一个自然语言输入的实验图形系统。计算机和图形4，13-22。 Bfihler，K.（1982）：语言的指示领域和指示词。K.Bfihler（1934）的简译：Sprachtheorie，第2部分，第7章和第8章。作者：R.J.JarveUa和W.Klein，编辑：演讲、地点和行动。奇切斯特等：威利。Carbonell，J.R.（1970）：混合主动人机对话。马萨诸塞州剑桥：博尔特、贝兰克和纽曼。 克拉克，H.H.，R.Schreuder和S.Buttrick（1983）：共同点和对指示指称的理解。言语学习与言语行为杂志22245-258。 Ekman，P.和W.V.Friesen（1969）：非言语行为的曲目：类别、起源和编码。符号学1，49-98。F~ihnrich，K.P.等人。（1984）：图形的作用。技术报告E3/GR，FhG，IAO，斯图加特。 Hanne，K.H.，J.P.Hoepelmann和K.P.Ffihnrirh（1986）：结合图形/自然语言接口到基于知识的系统。人工智能和先进计算机技术会议记录，威斯巴登，西德。 Hayes，P.J.（1986）：为基于知识的系统集成自然语言和图形交互的步骤。第七届欧洲人工智能研究会论文集，英国布莱顿。 柯克，L.和M.伯顿（1981）：非语言形式的物理和语义分类：跨文化实验。作者：A.肯登，编辑：非语言交流、互动和手势。 克莱恩，W（1978）：这是什么？在洛卡伦指示语的后边。贝里赫特语58，18-40。 Kobsa，A.等人。（1986）：结合指示手势和自然语言进行指称识别。第十一届计算语言学国际会议论文集，波恩，西德。 Levelt，W.J.M.，G.Richardson和W.La Heij（1985）：指示语表达中的指向和发声。记忆与语言杂志24133-164。 里昂，J.（1977）：语义学，第1卷和第2卷。剑桥：剑桥大学出版社。Minsky，M.（1984）：使用力和位置敏感屏幕使用真实世界的手势操作模拟对象。计算机图形学18195-203。 尼格罗蓬特