富士通开发出可用手指直观触摸操作UI技术
北京时间2013年04月19日消息,宝威科技网讯,富士通研究所近日宣布,开发出了可用手指直观操作的用户接口(UI)技术。该技术利用市售的摄像头和投影仪来实现。用摄像头检测手指,在手指扫过书籍等中自己喜欢的部分时,可将这部分内容读取为电子数据,还能在投影仪上显示手指触摸部分的信息。
目前已实用化的手势输入以空间操作为前提,但背景物体与手部相似时,会将手与背景混在一起检测,难以检测出手指的触摸操作。最近出现了利用红外线测距装置的事例,但这种装置不仅分辨率达不到细微检测手指操作的程度,而且还存在体积大、成本高的课题。
为了解决这些问题,富士通研究所开发出了使用通用摄像头和投影仪、以高精度和高速度检测出手指位置及触摸动作的技术。在(1)坐标识别及转换技术、(2)手指识别的稳定化技术、(3)指尖的高精度及高速识别技术这三方面颇具特点。
(1)中,开发出了使用两个摄像头形成立体摄像头、自动测量桌子上的凹凸形状,自动对摄像头坐标系、投影仪坐标系及现实世界的坐标系做调整的技术。利用这一技术,可将手指的动作和及对物体的触碰,与投影仪的投射图像准确重合起来。
(2)中,开发出了通过提取手指颜色和轮廓的特征来识别手指形状的技术。另外,还采用了根据周围的环境光控制摄像头图像的颜色及亮度,并对手指颜色的个人差异实施修正的技术,由此实现了受设置环境及个人差异影响较小的稳定的手指部分提取。
(3)中,即使是通过市售网络摄像头获得的低分辨率图像,也能通过指尖图像插值处理,确保指尖触摸检测所需精度。“虽然指尖部分图像的分辨率只有320×180像素,但完全能检测出来”(富士通研究所的解说员)。另外,为了也能追踪手指的动作,实施了滤波处理,从而实现了每秒300mm的指尖追踪速度。
富士通研究所此次制造了台式的试制品,并做了演示。试制品除了两个市售摄像头和投影仪之外,还配备有摄影用的相机模块。演示内容包括,用手指扫过书籍中自己喜欢的部分读取数据;识别旅游宣传册上的文字,显示该地的图片及视频,在地图上显示该地的位置。
另外,还可将手写的便条贴在桌子上,通过摄像机将该便条拍成图像数据来读取,在揭掉便条后也能作为电子便条显示。这些电子便条可用手指来移动或分组,设想用于会议等场合。