交互新方式——多点触摸技术初探

孙一帆

摘要:多点触摸(Multi-touch)是当前数字产品领域最灸手可热的交互技术。该文介绍了多点触摸的基本概念、市场状况,阐述了多点触摸技术的发展历史,以及各种多点触摸的实现技术。

关键词:多点触摸;人机界面;交互;红外;电阻;电容;表面声波;光学影像;影像辨识

中图分类号:TP18文献标识码:A文章编号:1009-3044(2009)34-9801-02

A New Way of Interactive - The Primary Search of Multi-Touch

SUN Yi-fan1,2

(1.School of Art, Soochow University,Suzhou 215021,China; 2.Suzhou Art&Design; Technology Institute,Suzhou 215104,China)

Abstract: Multi-touch is the most popular technology in the interactive domain. This article describes the basic concepts of multi-touch, market conditions, describes the history of multi-touch technology, and a variety of method to apply multi-touch.

Key words: multi-touch; UI; interactive; infrared; resistive; capacitive; SAW; optical imaging; shape recognition

多点触摸(Multi-touch)无疑是当前数字产品领域最灸手可热的交互技术。同我们常见的触摸显示屏(手写笔、银行ATM 柜员机等)不同,这些设备通常只能支持单点输入。而多点触摸允许设备用户同时通过多个接触点(手指)来控制图形界面。

1 多点触摸概述

自从进化为人类,人就开始使用双手来完成各种操作。随着不断进化,人的十指越来越灵活,可以完成非常灵巧细致的动作。像弹钢琴、用键盘打字就是很好的例子。钢琴的88个琴键和键盘的数十个键位,都需要十指协调同时操作,这实际上就已隐含了“多点触摸”的概念。因此,“多点触摸”是人类最自然、最得心应手和最有效率的操作方式之一。UI(人机界面)引入多点触摸概念可以说是必然的趋势。

对于大部分人来说,真正的多点触摸UI体验,是随着2007年苹果公司iPhone的面世而亲身感受的。iPhone让我们惊讶地发现:早已习惯了点按放大镜图标去缩放图片,现在用两个手指随意拉伸缩放图片的方式竟是这么自然、顺畅。原来除了鼠标、手写笔和导航键,我们还能这样去操控界面。多点触摸技术可以说成了iPhone攻城略地的核心竞争优势。并由此引发了手机多点触摸的热潮——Google的Android、微软的Windows Mobile、Palm、诺基亚的Maemo等各厂商的下一代手机操作系统,纷纷将多点触摸技术作为重点特性引入进来。对于桌面系统,微软07年推出基于Vista的全触摸概念电脑“Surface”已投入市场;Windows7很好地内置支持多点触摸式操作;正在研发中的Windows 8可能会采用彻底的触摸式输入方式——用户所有的操作均由触摸操作完成;苹果在下一代Mac OS操作系统中也将加强多点触摸功能。可以说我们的人机界面交互方式已经进入了一个“多点触摸”时代。

2 多点触摸技术发展历史

其实多点触摸并非苹果的iPhone的首创。我们来回顾一下在iPhone之前多点触摸技术的历史足迹。

1) 早在1983年,就有科学家首次尝试将键盘跟触控板联在一起同时操作,或是用两只手控制同一块触控面板。这些突发奇想的实验开启多点触摸的研究之路。

2) 1992年,Sun Microsystems制作了一段科幻片,假想12年后的2004年将出现的新科技,其中就有类似多点触摸的技术。这对于技术的发展也具有高度的启发性。

3) 1992年后的一段时间,仍旧是技术发展积累阶段,包括触控面板、大型平面显示器等,各种新技术都仍在酝酿成熟的过程中。

4) 1999年,Alias Wavefront首先推出一个叫做Portfolio Wall的产品原型。Portfolio Wall采用了大尺寸的触控屏幕,配合滑动与点选两种手势操作,就可以及时浏览大量的图像与影片。概念跟操作都很简单,但是这已经算是当时最接近商品化的研究案之一。

5) 2001年,多点触摸技术有了巨大进展。三菱电子实验室为了解决多人同时操作计算机时的互动问题,着手进行一项称为DiamondTouch的研究计划。这项研究奠定了不少多点触摸硬件方面的技术基础,包括多点触控、多人同时操作,以及潮湿高温等极端环境下的操作可行性,都在这个研究当中实践了。

6) 2002年,一向嗅觉敏锐的好莱坞也注意到了这个科技新动向,在《少数派报告(Minority Report)》这部电影中,“多点触摸”成为了重要的科幻桥段。为多点触摸技术造势不少。

7) 2005年,当大家都专注在触控面板的技术研发时,微软的技术人员另辟蹊径,以投影画面以及影像辨识技术,发展出一种实现多点触摸技术的新机制。即不需使用任何触控面板,只要在一个普通桌面上架起投影机以及摄像头,通过捕捉定位手指在桌面上的阴影,来实现实时多点触摸。基于这个原理,界面大小可以任意调整,再也不会受限于触控面板的尺寸与分辨率。除此之外,他们也尝试了很多新的互动方式,像是将相机放在一个如水晶球般的透明盆子里,照片就会自动倒出来,使用者只要将手指伸进去盆子里拖动,就可以随心所欲地移动复制这些照片。这些还处在实验室中的有趣而新颖的概念,正是两年后微软推出的“Surface”的雏形。

8) 2006年,是多点触摸发展重要的一年。在年度的TED论坛中,来自NYU的教授Jeff Han演示了他们在多点触摸技术应用上的创新进展。Jeff Han在现场用他的十指演示了多点触摸的多种应用,整个操作过程流畅自然,非常有吸引力,引起了现场的轰动。这次里程碑式的实际演示,标志着多点触摸技术可以进入成熟的商用阶段。并且研发重心已经从硬件技术,转向了软件应用。

9) 2007年5月,微软正式发布了“Surface”概念电脑。两年前实验室里的创新想法变成现实。这是一台没有鼠标键盘,只是通过人的手势,触摸和其他外在物体进行交互的桌型电脑。它改变了人和信息之间的交互方式,模糊了物理和虚拟世界之间的边线。比如你在餐馆就餐时,当你将你的饮料放在Surface上时,它的所有信息就会在上面呈现出来,比如相应的甜点的菜单,需要的话只要手指一点。微软相信Surface将改变人们购物,就餐,娱乐和生活的习惯。

10)2007年6月,苹果公司的iPhone上市。苹果用他们极强的前瞻性和执行力,把创新的概念和技术从实验室拿来,以成熟的产品、合理的价格,可靠的质量,放到消费者面前。在上市后相当长的一段时间里,iPhone一直是市面上唯一可以买得到的多点触摸技术量产消费品。

3 多点触摸实现技术比较

“多点触摸”按字面意思可以理解为“多点”和“触摸”两层含义。“多点”顾名思义就是可识别一个以上的定位输入;“触摸”是指这一个以上的定位点是通过直接接触的方式输入的,而非通过鼠标、键盘等间接输入。这一层面一般指硬件实现技术,主要有以下几种:

3.1 红外线式(Infrared)

利用红外线矩阵组成纵横序列扫描线,当有物体遮断光路时,便可判断位置。这种技术是最早使用的技术,缺点是容易受外界光线影响,存在遮罩问题;另外由于受红外线LED体积限制,解析度无法做高;这种技术逐步被光学影像式所取代。

3.2 电阻式(Resistive)

两层不同导电值的表面层叠在一起但保持间隙,当表面受压力而使两者表面接触,因而影响阻抗值变化。这种技术实现门槛低因而曾被大量使用。但这种技术存在反应速度不高,而且随着时间增长材料会逐渐损耗而造成误差。因此如今基本已被其它技术取代。

3.3 电容式(Capacitive)

电容式触摸屏在触摸屏四边均镀上狭长的电极,在导电体内形成一个低电压交流电场。在触摸屏幕时,由于人体电场,手指与导体层间会形成一个耦合电容,四边电极发出的电流会流向触点,而电流强弱与手指到电极的距离成正比,位于触摸屏幕后的控制器便会计算电流的比例及强弱,准确算出触摸点的位置。目前小尺寸触摸屏大量使用这种技术,受技术限制目前还无法在大尺寸应用上取得突破。

3.4 表面声波式(SAW)

表面声波,超声波的一种,在介质(例如玻璃或金属等刚性材料)表面浅层传播的机械能量波。通过楔形三角基座(根据表面波的波长严格设计),可以做到定向、小角度的表面声波能量发射。发射换能器发出表面声波,当手指或其它能够吸收或阻挡声波能量的物体触摸屏幕时,接收器便能计算出接触位置。它的优点是透光率高、耐用性好(相对于电阻、电容等有表面镀膜)、反应灵敏、外界干扰小、没有漂移,目前在公共场所使用较多。缺点是成本高,需要经常维护,因为屏表面的污迹,都会影响表面音波的传导,从而影响触摸屏的正常使用。

3.5 光学影像式(Optical Imaging)

透过两组以上CIR(CMOS/CCD)由侧边观测物体的影子后计算出位置。这技术随着CMOS/CCD的技术成熟和成本下降而越来越被广泛使用,现在微型CIR已经可以做到每秒钟输出一百张以上的画面,因此目前来说是反应速度最快的一种技术,当然随着CIR分辨率越来越高,处理速度越来越快,感光能力越来越好,且可以判断影子大小,所以可以做出越来越多变化性之应用,其缺点则是较容易受到外部光线影响。光学影像识别技术将会在未来中大尺寸及多点触摸的发展中扮演重要角色。

3.6 电磁式(Electromagnetic)

利用线圈产生磁场改变经由接收天线产生之电流变化计算位置。这是早期数字板或是绘图板使用的技术,后来Tablet PC也大多采用此技术。其缺点是一定要使用一个带电的笔(Wacom则有独家感应技术可从天线端感应生电,不需要电池),早期电磁式抗干扰能力不强,很多手写板放在金属桌面的桌子上便无法使用,现在则不会有这个问题。

3.7 影像辨识式(Shape Recognition)

原理是通过摄像头(CMOS/CCD)从正面或是背面捕捉接触面的影像变化,由操作平台从影像中识别出定位点。微软的Surface便是使用类似技术。为了避免受可见光干扰,一般都采用红外线光源。这项技术有好几种实现方式,例如Jeff Han发明的受抑全内反射多点触摸技术(FTIR);微软Surface采用的散射光照明多点触摸技术(DI);激光平面多点触摸技术(LLP);散射光平面照明多点触摸技术(DSI)等等。这类技术的优点是可以判别出接触物体的形体,进而由操作平台做出灵活的应用,最重要的是由于这项技术实现成本比较低,效果理想,所以非常适合DIY。因此目前此项技术的研究和实践比较热门。

4 结束语

随着多点触摸风潮的兴起,越来越多的厂商和科研人员将投入其中进行研发,技术将越来越成熟,而实现成本将不断降低。多点触摸必然在很多场合代替传统输入方式,而变得越来越普及。

参考文献:

[1] Edward Grivna.Designing Compelling User Interfaces with Multi-Touch All-Point Touchscreen Technology[J].Cypress Semiconductor,2000.

[2] Edward Grivna.Touch Screen Essentials[J].Cypress Semiconductor,2002.

[3] Yi Hang Wang.Practical considerations for capacitive touchscreen system design[J].Cypress Semiconductor,2000.

[4] 王莹.全球首台触摸式波轮洗衣机诞生的背后[J].电子产品世界,2007.