人机交互技术实验报告

人机交互技术实验报告（4篇）

1.人机交互技术实验报告 篇一

人机交互模式创新

电视智能化发展日益加快,面对上百个电视节目频道、丰富的信息服务以及电视购物等创新应用,如果仍采用传统的电视遥控器去管理,将大大影响消费者的用户体验。人机交互作为影响用户使用体验的重要入口,业界对之的关注度也是日益剧增,在各大展会上,厂商们纷纷推出新的人机交互模式,同样在本次CCBN展会上,也可以发现众多厂商的不懈努力。

记者从设备厂商处了解到,在原有遥控器的基础上增加全键盘输入、触摸板的模式基本已成潮流。同时,在Siri大受欢迎后,部分有实力的厂商已经开始研发语音技术,并移植到电视领域,以通过语音来控制电视。记者现场体验了下语音控制,对语音设备说出“北京到上海航班”,在通过智能语音分析处理后,电视打开了去哪儿网界面,并呈现出当日“北京到上海”航班时刻表。

另一边,体感设备的应用,也是本次展会的一大亮点。体感设备一直在健身、娱乐等领域有着独特优势,而此次在展会上,通过体感设备来控制电视的UI操作已初具雏形。记者从永新视博处了解到,其通过在电视机顶盒上外接一个特殊摄像头来捕捉人的肢体信息,而不需手持其他控制器或传感器。相关工作人员向记者表示,该技术类似微软的kinect技术,通过特定动作(例如推)来锁定操作对象,避免了其他摄像范围内人群的干扰,并可以实现手势操作和基本的肢体控制。例如通过“抓取”动作来玩“愤怒的小鸟”等游戏,通过挥手进行频道切换等。虽然在体验过程中,仍会出现误操作等情况,但其对人机交互模式的创新值得关注。

多屏互动仍是热点

2.国内智能人机交互技术的领航者 篇二

在百度搜索“张连毅”，能找到的文章不多，而大多都是几年前的报道。然而就是这个学环保而搞IT、不畏权威为中小企业发展呼吁的老总，其个人彰显出的超凡魅力依然深深打动着记者，关于他和他所从事的事业成了跳跃在眼前的完美字符。固守前沿，力挺创新的《中关村》杂志也不能错过这些精彩片段。

张连毅初印象

在创办捷通华声之前，张连毅已有丰富的创业经验。1989年从清华大学毕业后，就在商海大展身手，随着公司不断的成长，学环保的他认识到自身管理经验的欠缺，于是放下一切，飞往美国。从1992年到1998年，这一去就是将近6年。

成大事者，不惟超世之才，但求把握取舍之间；每一步都走地很谨慎，如履薄冰；一旦认定，绝不后悔，定会坚持到底，这就是一位企业家的执着。

在美国，他汲取了国外先进的管理知识和西方人的做事方法以及思维方式，为以后企业创办和腾飞做足了铺垫。记者等待着他畅谈这些知识对捷通华声的帮助，但是在谈到从美国回来后最大的变化，却不是教科书式的管理知识，而是“从不受宠若惊”的良好心态。即使在1999年，江泽民主席到中关村视察，张连毅作为留学创业代表受到接见，他仍然低调。他认为对待企业的形象一直保持着清醒的认识，企业需要的不是做秀，而是踏踏实实地以技术和产品为核心。

1998年，张连毅看到祖国形势一片大好，顾不得尚未结束的MBA课程，回国创立了北京捷通软件技术有限公司，之后将语音合成、语音识别、手写识别等智能人机交互（HCI）技术的研究与应用整合于全资控股的北京捷通华声语音技术有限公司旗下，准备在如火如荼的IT行业中打造自己的一片天地。

企业的成功创立是张连毅事业的一个转折点。虽然自称对编程“一窍不通”，但是他坚持中国特色，并把国外先进的管理理念引入捷通的实践中，让“培养有价值的人，开发有价值的产品，创建有价值的企业”深入企业人心，捷通华声就是张连毅的得意之作。

张总身材偏瘦，外形更像南方人的他，实则是土生土长的北京人，说着一口标准的普通话，语速不紧不慢但却掷地有声，句句都渗透出对企业的自信。

从保健专业走出来的记者很想提醒他为了健康少抽点烟，但是看到他习惯于忙碌而不知疲倦的神情，话到嘴边又咽了下去，或许每个人都会与自己的生活习惯和谐相处。

采访在一个会议室里切入话题，国内智能人机交互（HCI）技术的领航者为我们描绘他和团队共同的杰作——捷通华声。

捷通华声，扬中华之声

张连毅给捷通华声的定位很明确：立足打造我国智能人机交互技术第一品牌，全面发展电信增值服务，实现捷通华声，扬中华之声的理想。经过这些年的发展，捷通华声HCI、无线增值服务两个主体业务群在激烈的市场竞争中，形成了独具特色的企业竞争实力。虽然捷通华声已经在无线增值服务领域取得新的发展，但其在国内智能人机交互领域的成绩尤为显赫，目前，捷通华声语音技术国内市场占有率达到了50%，手写识别技术国内市场占有率达到了30%。具有自主知识产权的语音合成、语音识别、手写识别等三项关键技术构成捷通华声HCI业务的核心。

“捷通华声这些年发展的过程就是一部创新史”，对于创新的认识，张连毅明确表示，企业只有不断创新才能立于不败之地。

捷通华声HCI技术的发展就是在勇于和敢于创新中一步一步走到今天。创业之初，捷通华声克服基础薄弱，资金不足的压力与困难，实现技术研究创新突破，在2001年推出代表国内最高水平的中文语音合成技术，全面开启了中国语音合成技术在计算机通信、电信增值服务等应用领域的实用化进程，让整个语音界刮目相看。

在竞争对手仍然沉浸在“向政府伸手不断要钱”，在吹起的语音产业泡沫中不断膨胀之时。捷通华声果断挺进市场，乘奥运之风，2003年，捷通华声击败国内所有竞争对手，一举中标北京市十大科技奥运项目之课题“面向奥运的多语种语音合成产品研制”，并接连发起旨在普及语音合成技术的“飓风行动”、“阳光行动”，使语音合成技术全面应用于CTI、桌面、嵌入式等各个领域，不仅使捷通华声成为至今唯一的赢利的语音技术企业，也从此奠定了捷通华声在中国语音产业界的稳固产业地位。

2004年，捷通华声继语音合成技术之后，相继推出具有国内最高水平的语音识别、手写识别技术，并以三项技术为核心，开发完成涵盖桌面级、嵌入式、CTI、无线与互联网等各个领域的系列产品，成为国内唯一一家同时提供语音合成、语音识别、手写识别等多项HCI技术的企业。由于其在智能人机交互技术领域取得的突出产业地位，被中关村管委会评为 “中关村优秀留学人员企业”。

为全面推进语音等人机交互技术的产业化进程，捷通华声2002年开始涉足以手机数字娱乐为主要内容的无线增值服务产业，成为中国移动、中国联通两大移动通讯运营商的合作伙伴，2004年，捷通华声以高居BREW业务榜首，获得中国联通、高通公司颁发的年度“最佳贡献奖”。2005年，捷通华声作为国内首批企业，获得国家信息产业部颁发的“全国电信业务经营许可证”。2008年，捷通华声两款全新手机网络游戏即将上线，已经引起业内的广泛关注，凭借坚实的HCI技术基础，捷通华声在高速发展的中国无线增值服务领域中异军突起。

这一系列的成绩，是对捷通华声这些年风雨历程的肯定。作为一家坚持承担社会责任的企业，也是由于语音合成、语音识别技术的应用特点，捷通华声一直关心残疾人事业，去年，捷通华声推出“盲人手机导航”项目，经过国际评委的严格考评，获得高通公司“无线关爱”计划BREW应用基金支持。该项目不仅使捷通华声成为全球五家获奖企业之一，也成为捷通华声HCI技术与无线增值服务技术完美结合的代表之作。

历经创业之艰难，捷通华声在HCI领域全面获得硕果，终于带动企业进入发展壮大的快行道。张连毅信心满怀的告诉记者，在未来的发展中，捷通华声将一如既往坚持发展智能人机交互技术，并努力在技术应用及商业模式寻求新的突破，坚持技术上“不乱忽悠”，市场中“不乱吹泡沫”的务实创新精神，真正实现以“技术为核心，服务为己任，技术服务生活”的企业发展理念，成为在我国智能人机交互产业中独具绝对竞争实力的高新技术企业。

中小企业更需扶持

显然，张连毅对捷通华声这几年的发展比较满意，捷通华声也正日益展示出未来发展的蓬勃生机。回首HCI发展的历程，即使他幽幽的抱怨政府有些部门在语音等基础技术研究领域中对民营企业的不公平，但依然很感激国家提供的创业环境和很多北京市、海淀区领导给予的支持，用他自己的话来说在智能人机交互技术这个领域中，捷通华声主要竞争对手几乎全部带“国字号”，而这些带“国字号”的竞争对手每年都从中央政府获得大量资金支持，甚至靠从政府“拿钱冲业绩”；但现在看来这反而给予了捷通华声发展的压力与动力，捷通华声有今天的发展，也要感谢国家高新企业政策的扶持与帮助，尤其庆幸这些年能够在北京中关村科技园和海淀园的发展。”——这便是一位企业家良好心态的体现。

尽管企业发展壮大了，对于激烈的市场竞争他从不放松警惕。同在中关村软件园的汉王科技公司是捷通华声在手写识别技术领域最大的竞争对手，张连毅每天上班必须要拐个弯经过那幢大楼，时刻提醒自己“这是我最强劲的竞争对手！”。而在语音合成技术领域，竞争对手在地方政府支持下上了市，在他看来本来对语音技术发展是件好事，但是也许是“害怕”捷通华声在语音产业界的真正实力与发展，竞争对手竟然化钱收买一个捷通华声经常发布CTI语音技术信息的行业网站，希望封堵捷通华声的语音技术信息发布。对此，他只是一笑说：你作为记者，不觉得这样的做法很“愚蠢”吗？

捷通华声这些年就是在这种不畏逆境、顽强拼搏、执著创新精神的支持下，才有了今天的成就。然而，张连毅也从不吝啬对有真正实力对手的夸赞，他称赞汉王刘迎建老师经过了两次成功的转变，从军人到学者的转变和从学者到企业家的转变都做得相当到位，话语中充满了钦佩。

日月之行，若出其中；星汉灿烂，若出其里。这种广阔的胸襟、敢于承认对手的勇气、取长补短的学习态度都是捷通华声能长远发展的保障，同时也让记者深深的佩服。

张连毅另外一个特点，那就是爱“琢磨”。有时候看似很简单的一个词，但是在实际应用中，却有很多种不同的理解。他就喜欢琢磨这些看似“简单”的词语。海淀园20周年，“创新”这个词的提及率越来越高，从政府到企业，都要创新。但是“到底什么是‘创新’？‘创新’的定义是什么？”

初听这些问题，有故意找别扭的嫌疑。但是，有时候恰恰是这些再简单不过的概念，影响着企业的发展，影响着国家的政策制定。这十多年的创业经历，让他养成了勤于思考的习惯。

从1978年中国提出改革开放以来，到今年恰有30周年，依然属于刚起步阶段。创新是每个企业生存之道，是必经之道，否则就会被淘汰。在这条路上，企业没有大小之分，只有前行者和实践者。

在“海淀园20周年创新论坛”上，张连毅以其对支持中小企业发展的呼吁，引起在座同仁议论纷纷。而他却在这热烈的氛围中，抽身而退，给会场留下一个悬念。

在会场上看他慷慨陈词，初跟企业打交道的记者还以为他可能是一个小企业中的一份子。但是，当记者来到捷通华声与他面对交流时，这个为我国中小企业摇旗的呼吁者，以一连串很“张连毅式”的疑问，表明了捷通华声的观点与立场。

“看看我们的企业，你觉得小吗？什么是‘中小企业’？如何划分‘中小企业’？一千人的制鞋厂，人数不少，是不是就是大型或者中型企业。单纯的从业人数能否评估企业的规模吗？”

他的表情很平静，甚至带点恬淡的微笑。表面是一连串的问题，其实内心早已有答案，这是一个智者的狡黠。

在网上搜索大中小企业的划分，目前划分企业生产规模采用两个标准：1，凡产品比较单一的行业，以产品生产能力作为划分大、中、小型的标准；生产多种产品的企业，以其主要产品的生产能力来划分。2，凡产品种类繁多，难以按生产能力划分的，则以固定资产原值作为划分标准。

中国的大中小企业也因此往往以人数或者单纯的销售额为衡量，这样的划分也许太过潦草，这样的划分也很容易使得一些技术创新型企业在政府相关扶持政策中处于不利的地位。“学术界应该把‘企业规模的划分’作为一个认真研究的课题，以帮助国家制定正确的政策导向，让更多的创新型高科技中小企业真正受惠，以利国家经济的长远发展。”

张连毅理解的企业规模划分，一是工作类型，是否通过多人的简单劳动就能完成；二是通过企业产品技术及其所在产业中的地位与作用进行划分。他所理解的大，像中国移动、中国联通，当然还有联想这样的企业，这些企业在其所从事的行业中具有一定的垄断性。而高新技术方面，从企业从业人数上看多为中小企业，但所创经济价值要远超传统企业。“所以，如何界定企业的规模，需要理论界、产业界、企业家协会等等进行深入讨论，不能简单地以人数或销售额定‘大’称‘小’，包括政府相关政策也应该对这一概念定义进行思考。”

张连毅之所以在很多场合呼吁重视中小企业，只因他坚信在市场经济中，中小企业的发展才是国家稳定、经济发展的根本。这也许就是一个掌舵者的风范，不仅仅关心自身利益，思考问题更要从全局出发。

捷通华声，打造我国智能人机交互技术的航标

在谈到我国智能人机交互技术的现状和未来的发展方向，张连毅更是思考中侃侃而谈。

随着智能人机交互技术的发展，人们享受着新技术所带来的便捷生活。但是对待智能人机交互这些新技术，依然存在着很大的理解上的误区，其中最重要的一点是对技术使用的期望值过大。比如，人们往往以为语音识别技术无所不能，故而在实际应用中，机器幾次听不懂，用户就表现出极不耐烦。

“当人类自身在运用语音交流时都会因口音等出现不同程度的误解，为什么要求计算机听懂所有人的所有说话？”这其中就有一个认识和理解的问题，除了做到技术上更上一层楼，降低错误率之外，广大用户也应了解技术的特点与发展历程，更多的理解将会扩大智能人机交互技术市场的需求，形成市场与技术的相互促进发展。

通过对市场的分析，张连毅也认识到“之前，公司对外的宣传力度不够，今后捷通华声将加大企业品牌的构建，让更多人知道捷通华声和了解更多的智能人机交互技术的知识与应用”。这可能也是接受记者采访的原因之一。

张连毅认为，在人与计算机的交流中，有一点值得我们关注，在先进的技术也无法取代人与人之间的交流。语言的魅力在于使用语言时，人与人之间思想感情的交流。未来的发展中，机器也几乎不可能做到与人之间心灵的沟通，它只能做到毫无感情的“说”与“听”，人与机器的交流只能作为人与人之间更加便捷交流的补充。

语音合成、手写识别等等智能人机交互技术取得了实用化的巨大进步，虽然还不能称其可代替真正的交流，但在信息技术高速发展的今天，没有智能人机交互技术的应用也是不可想象的。所以，尽管捷通华声已经在无线增值服务领域取得新的突破，捷通华声的企业基础定位依然是立足研究与发展智能人机交互技术，希冀创造更完美的技术与应用，打造我国智能人机交互技术发展的航标。

张连毅的“舰队”能够到达那个航标吗？我们有理由期待。

链接：

3.人机交互技术实验报告 篇三

在工程信息化建设和管理中,我们需要及时掌握工程所在处的地理信息、工程内部设备位置、工程中摄像头监控等信息。如果采用C/S技术,则需要客户机上安装客户端应用程序才能够完成各种功能,这给我们带来很大的不便。B/S结构最大的优点就是可以在任何地方进行操作而不用安装任何专门的软件。B/S架构的软件只需要管理服务器就行了,所有的客户端只需安装浏览器,根本不需要做任何的维护。只要有一台能够上网的电脑或者能连接到网络的PDA设备甚至手机就能使用,客户端零维护。系统的扩展非常容易,只要能上网,再由系统管理员分配一个用户名和密码,就可以使用了。

Web GIS技术是基于Web的地理信息系统,在实现实时监控和实时道路信息方面有着良好的用户体验和可视化效果。用过Goolgle地图的人就会发现Web GIS的便捷性和有效性。使用B/S策略开发基于Web的GIS系统,使管理者和决策者随时随地掌握工程现场的各种道路信息、设备信息、监控信息等,方便其及时做出决策。

2 系统功能设计

Web GIS的开发技术很多,我们用Map Info公司开发的基于Map Xtreme技术来设计Web GIS软件以完成所需的功能。Map Xretme平台提供了一个高度可视化的、直观的组件,便于将地图功能集成到任何Web应用中,可以和.NET平台完美结合,可以支持在一个集中管理的服务器上运行地图应用,降低了硬件和管理成本,同时极大地提高了应用性能、可靠性和安全性。

1)地图发布

将矢量地图通过Map Xtreme技术转化成GIF或者其他栅格图像,使用户可以通过www浏览器访问地图。Map Xtreme支持java,可以完成多平台的地图缩放、平移操作。由于传递到客户端(浏览器端)的只是一幅经过高度压缩的栅格图像,而真正的矢量图像仍保留在服务器端,减少了网络传输负担,并且降低了原始数据被盗用的可能。

2)信息可视化

通过地图表达声音、图像、文字等信息,直观而且信息量丰富。

3)Map Xtreme的地图化功能

(1)专题图:利用晕渲、等级符号、独立值、点密度、饼图、直方图进行区域值的显示;

(2)对象处理:合并、缓冲、相交、删除对象(点、线、面)、返回结果数据;

(3)对象编辑:生成、修改、删除;

(4)绘制图层:允许开发人员绘制定制的地图对象,如尺标、天线传送方向箭头;

(5)查找:通过州名、ZIP码、城市名、街道名或客户名进行查找;

(6)广泛的数据源:使用通用的数据界面,包括ODBC、DAO、Clip Board和OLE Data界面访问数据。

通过Map Xtreme,用户可以在Web上发布基于电子地图的应用系统。所有的最终用户只需要安装浏览器即可访问服务器端的数据,用户可以很方便的对地图进行放大、缩小、漫游、查询、统计等操作。此外,Map Xtreme还提供了许多强大的地图化功能,满足用户的不同层次的需要,包括:专题图、缓冲区分析、对象(地图)编辑、绘制图层、查找、直接读取Lotus Notes、图层控制、空间选择、访问各种数据源等。

3 系统实现

单纯的服务器策略和客户端策略都有明显的局限性。当服务器策略涉及频繁的数据传输时,它们的效率受到网络宽带和网络负荷的严重影响。而在客户端策略中,当处理请求和处理能力不一致时,受计算能力的影响,某些任务可能运行缓慢,甚至根本无法完成。服务器端策略和客户端策略的有效组合则可以为问题的解决提供一个很好的方案。当涉及大量的数据操作和复杂分析任务时,可以让计算能力很强的服务器来处理。当涉及用户交互较多的任务时,可以用客户机进行处理。在这种情况下,服务器和客户机可以共享它们的性能和数据处理能力,从而合理的分配数据处理程序,使系统的整体性能最优。

1)地图制作

将图片光栅化后作为地图的底图。栅格图像转化为矢量图,将栅格图像进行配准,确定地图上各点的经纬度。然后根据图像配准布局地图,在栅格背景图的基础上通过Map Info的画图工具做出各个图层,如道路,水路,植被等。

2)事件图层的管理控制

将事件信息写入地图的表中,在主程序中通过编写代码实现事件信息的查询、触发等。

3)优化Web GIS运行速度的方法

(1)对每个图层设置Zoom范围;

(2)启用COM+的Session池;

(3)启用Cache;

(4)用文件方式存储地图数据,将地图.tab文件存储在.mws工作空间当中。

4 关键技术

1)地图加载及放大、缩小、拖动等功能的实现

用Map Info.Web.UI.Web Controls,把地图控件拉入Web窗体后,点击右键打开控件的属性窗口,从这里加载.mws文件。用MapInfo.Web Controls,把地图控件拉入Web窗体后,Map Xtreme会自动在Web.config文件中写入加载.mws文件的配置语句:

将.mws文件以及相关的.tab、.dat等Map Info地图文件都放在当前开发的站点目录下,手动修改value值,把欲加载的工作空间路径及文件名写进去,再把放大、缩小、移动等工具控件拉入Web窗体,编译生成.dll文件,一个最简单的网络地理信息系统就可以运行了。

这一条语句可以加载多个工作空间,只要在不同的工作空间之间用分号分隔开就行了。各个工作空间中地图的别名不要重名,否则会发生错误。

Map Xtreme 2008中,要为所使用的工具添加其它交互用法,首先要编写状态管理程序。状态管理程序继承State Manager类,这个类属于Map Info.Web Controls命名空间。在Map Xtreme 2008中,各种功能的实现都是通过开发自定义组件来实现的,组件开发流程如图2所示。

状态管理程序(App State Manager)代码实现如下:

2)基于Map Xtreme的鹰眼技术

鹰眼是除了主视图外的一个小视图窗口,用来显示全图,并用1个矩形表示大图的地图边界。点击鹰眼窗口时,地图自动定位到相应位置,当地图视图(包括缩放比例和中心)发生变化时,鹰眼上的导航矩形框相应变化,以指示用户当前所处的位置。

鹰眼的实现思路:在同一页面表单上放置2个Map Control控件,分别为地图主窗口(main Map Control)和鹰眼窗口(overview MapControl),地图主窗口用于显示实际的地图,鹰眼窗口则需要将地图按合适的比例尺显示,然后在鹰眼窗口上创建1个图层,在该图层上添加1个矩形对象Feature Geometry,该矩形的大小随着主图边界而变化。由于两个窗口的大小不同,需要经过1次比例转换,因此首先定义1个set View()方法,该方法用于实现地图数据自适应任意大小地图窗口。当地图主窗口中的图形被缩放或者平移之后,在鹰眼窗口已有图层中加入1个临时层,在临时层上动态生成1个蓝色矩形,显示地图主窗口中显示的图形在整体地图中所处的位置。

系统中鹰眼功能的具体实现步骤如下:

(1)判断用户是否对主地图窗口进行了缩放或平移操作,若没有变换则鹰眼窗口内容不变,若有变换则获取主地图窗口显示的地图范围。然后创建1个矩形对象并设置其颜色和宽度属性,创建窗口样式并设置样式属性;

(2)判断鹰眼窗口的图层中是否已经存在临时图层,若存在则先清空临时图层中的所有对象;若不存在则创建1个临时图层并将临时图层加入到鹰眼窗口图层中;

(3)将矩形对象插入临时图层。到此系统即完成了鹰眼窗口的地图视图变换。

(4)通过让Overview(概览图)和主地图使用相同的地图,我们可以将服务器上的计算负载降低到最低限度;仅在内存中保存一个地图可以降低应用程序的内存占用率,只有在地图发生更改时才需要渲染两次,一次用于渲染主地图,一次用于渲染概览图。

3)鼠标中键缩放功能的实现

Map Xtreme 2008中,在Windows应用程序中自带鼠标中键缩放的功能,而在Web应用程序中却没有,如果能够实现会显得更加人性化。根据Map Xtreme平台的组件开发技术原理,编写代码如下:

(1)在页面的之前添加如下Java Script代码:

4)地图视频监视事件的实现

将设备信息写入到地图文件中,自定义信息查询组件,当鼠标单击信息工具时获取图元的各种信息并显示。信息查询组件的开发技术原理与鼠标中键缩放功能的组件开发技术原理大体一致,这里不再赘述。

5 总结

本文介绍了利用Map Xtreme技术和.NET平台开发信息化Web GIS系统的流程,实现了地图鹰眼、鼠标中键缩放、实时监控、设备信息监控等功能,详细阐述了实现过程中的关键技术,所开发的系统为管理和决策者提供了实时信息,方便其快速准确地做出决策。

参考文献

[1]王桥,张宏,李旭文,等.水资源地理信息系统[M].北京:科学出版社,2004.

[2]孟令奎,史文中,张鹏林,等.网络地理信息系统原理与技术[M].北京:科学出版社,2005.

[3]张建新,赵黎民.基于3S技术的县级土地利用数据库建设[J].国土资源科技管理,2008,25(4):67-70.

[4]StephenWalther.ASP.NET 2.0揭秘[M].北京:人民邮电出版社,2007.

[5]Karli.C#入门经典[M].3版.北京:清华大学出版社,2006.

[6]哈特.ASP.NET 2.0经典教程[M].北京:人民邮电出版社,2007.

4.人机交互技术实验报告 篇四

关键词：触摸屏,显示屏,交互技术,Move &, Touch

随着科学技术的进步,在许多公共和非公共场所,随处可见显示屏的应用,显示屏的尺寸变得越来越大,而分辨率也越来越高,显示效果越来越好,社会的发展使得显示屏深入到了人们生活的方方面面。与此同时,针对显示屏的交互技术也被众多的国内外学者所关注,各种不同的交互技术相继出现,如何使显示屏和用户之间的交互更加稳定、方便、直观和自然是当前显示屏交互技术的重点研究方向。

对于当前存在的许多显示屏交互技术,或多或少都存着一些不足之处,有些交互方式不够自然,有些交互方式不够精确稳定,还有些严重缺少便携性等。虽然有着各式各样的缺点,但是在各自适合的场景,都可以发挥技术本身的优势来实现人机交互。新的人机交互技术的出现可以补充当前显示屏交互技术的不足,丰富显示屏交互技术的特性,在越来越多的场合提供更为便利的交互方式,以满足社会不断发展的需要。

国内在显示屏远程交互方面的研究比较少,与国外的差距也比较大。清华大学计算机系媒体所提出了一种基于激光笔的远程人机交互技术[4]。该系统只需要添加一个摄像机和视频采集卡就可以实现远程的人机交互。

国外的HCI学者在这方面的研究比较多,其中,Sweep and Point&Shoot[5]是一种基于手机相机的显示屏交互技术,该技术利用手机拍照功能完成显示屏上指针的控制以及对象的选择和操作。

C-blink[6]通过将手机的彩色液晶显示屏作为一种可见光源可以产生光信号,然后利用安装在显示屏上方的摄像头不断地检测和接收光信号,通过处理光信号产生相应的控制信息,从而实现对显示屏的操作和控制。SnapAndGrab[7]提出了一种新颖的大型公共数字显示屏交互技术。该系统允许用户通过带有蓝牙和照相功能的手机来访问和共享公共多媒体信息系统的丰富的多媒体信息,例如上传和下载图片。该系统的易用性在于不需要在手机上安装任何软件即可访问显示屏。

1 Move&Touch技术的功能设计

1.1 指针定位

在指针定位是指远距离控制显示屏光标的移动。用户通过在手机触摸屏上移动手指,来相应地控制显示屏光标的移动,显示屏光标的移动方向与用户手指的移动方向相同,同时光标的移动距离与手指的移动距离成比例。

1.2 对象选取

通过对象选取功能,我们可以对显示屏端的图标,菜单等进行直接操作,这是通过模拟鼠标左键单击和双击操作以及右键单击操作来实现的,用户使用触摸屏与显示屏交互时,必须能实现传统的鼠标所能实现的基本操作。

1.3 滑动滚屏

在与显示屏进行交互的过程中,有时需要对显示屏当前窗口内容进行滚屏操作,Move&Touch技术允许用户在特定区域滑动手指来实现类似鼠标滚轮的操作,从而达到翻页的效果。通过记录手指滑动时的轨迹坐标,来判断当前是否需要进行滚屏操作,以及滚动的行数或列数。滑动滚屏功能类似于笔记本触摸板的滚动翻页操作,通过统计实验结果,电容屏上实现的滑动滚屏功能在效果上优于笔记本触摸板。

2 Move&Touch技术原型的实现

2.1 坐标映射算法

通当手指在触摸屏上进行滑动时,显示屏上的指针移动速率需要适应不同的场景。例如在像素面积较小的区域进行最小化,关闭的操作,或者在播放器中调节音量时,指针的移动要做到精确、平稳,而当我们需要将光标从显示屏的一端移动到另一段时,受到触摸屏面积小的限制,要想以较少的滑动次数达到长距离移动的效果就必须设置相应的加速系数。因此,手指移动轨迹和显示屏光标移动轨迹的映射关系需要设计相应的坐标转换算法来实现。

图1为手机和显示屏的坐标系统。当手指在触摸屏上滑动时,将会产生连续的指针拖动事件,手指接触点的坐标值也在不断变化,相邻两次事件间的坐标变化值记为ΔX、ΔY。显示屏原坐标值为Xprev、Yprev,新坐标值为Xnew、Ynew,则新坐标值Xnew、Ynew由以下公式计算:

ST为转换系数,ST的大小主要与手机屏幕分辨率和显示屏的分辨率,以及需要的精确度和移动效率有关。

当手指滑动时,产生连续的MT_MOUSEMOVE事件,手指接触点的坐标值也在不断变化,相邻两次事件间的坐标变化值记为ΔX、ΔY。显示屏指针原坐标值为Xprev、Yprev,新坐标值为Xnew、Ynew,则新坐标值Xnew、Ynew由公式(1)和(2)计算:

SV为加速系数,SV的大小决定了手指滑动速度对显示屏指针移动速度的影响。SV的大小是由相邻两次事件间的坐标变化值ΔX、ΔY决定的,ΔX、ΔY的绝对值越大,表示手指滑动速度越快。因此,SV的大小可由公式(3)和(4)计算:

SV'为常量,其大小依赖于特定设备上ΔX、ΔY的大小。最终,新坐标值Xnew、Ynew由公式(5)和(6)计算:

2.2 Move&Touch的标准输入事件流

Move&Touch标准输入事件流作为一种中间性的数据结构存在,使得Move&Touch在不同的操作系统之间具有好的可移植性,所有基于Move&Touch技术的系统平台只要能够处理标准的事件结构就能够很好的响应用户的操作。我们定义的Move&Touch标准输入事件流的数据结构包含五个数据项:事件类型EventType、横坐标x、竖坐标y、加速系数SV以及转换系数ST。下面是每个数据项对应的鼠标动作:

事件类型EventType的数据类型为整形,包括五种值:MT_LBUTTONDOWN(按下左按键事件)、MT_RBUTTONDOWN(按下右按键事件)、MT_MOUSEMOVE(鼠标移动事件)、MT_LBUTTONDBLCLK(鼠标左键双击)、MT_MOUSEWHEEL(滑动滚轮)。

3 功能性测试

指针定位和对象选取的性能对系统的可用性有重要影响,具体测试方法如下:

测试任务为分别使用Move&Touch技术、笔记本触摸板、蓝牙鼠标进行对象选取操作。实验对象要求完成一个基于ISO 9241-9标准的多方向点击测试,此标准用于测试操作可视显示终端的无键盘输入设备的性能。如图2所示,多方向点击测试程序在窗口中显示一系列小圆圈,这些小圆圈均匀排列成圆形,圆圈之间的距离相等。圆圈大小、数量、圆圈之间的距离、点击顺序都可以由程序控制,以改变任务的复杂度。若小圆圈被点击中,则变成灰色。

在本系统的测试中,圆圈数量为19个,圆圈直径为60像素,圆圈中心之间的距离为600像素,实验对象要求按图中所示顺序依次点击小圆圈,直到所有小圆圈都变成红色即完成任务,指针初始位置在圆形中心。

4 结论与展望

本文研究了Move&Touch这种新颖自然的触摸屏交互技术,为用户提供了一种新得人机交互设备,系统具有较好的可用性,但尚需就以下问题进行进一步的研究:

1)安全性。当前显示屏交互技术存在的一个重要问题就是安全性。如果用户可以随意控制公共显示屏,那么某些用户可能会恶意修改显示屏的信息和数据,因此,应建立一个完善的安全机制来约束用户的使用权限。

2)多点触摸功能。多点触摸功能的应用可以让用户直接对显示屏端的对象进行放大、缩小、旋转等操作,将极大地提高用户的操作体验。

3)多用户同时交互。目前该技术只支持单用户交互,基于蓝牙支持多个设备同时通信的特点和共享显示屏的多用户交互技术,将来的系统可以扩展为多用户交互系统。

参考文献

[1]Alan D,Janet F,Gregory D A,et al.人机交互[M].蔡立栋,方思行,周继鹏,译.3版.北京:电子工业出版社,2006.

[2]Mark W.The computer for the 21st century[J].Scientific American,1991,265(3):94-104.

[3]Brad M,Jim H,Isabel C,et al.Strategic directions in human-computer interaction[J].ACM Computing Surveys,1996,28(4):794-809.

[4]刘芳,林学訚,史元春.基于激光笔的远程人机交互技术[J].中国图象图形学报,2003,8(11):1856-1360.

[5]Rafael B,Michael R,Jennifer GS.Sweep and point&shoot:phonecam-based interactions for large public displays[C].CHI 2005,2005:1200-1203.

[6]Kento M,Suguru H,Yoshinobu T.C-blink:a hue-difference-based light signal marker for large screen interaction via any mobile termi-nal[J].UIST'04,2004,6(2):147-156.