首页 > 科技 > 智能家电 > 智能交互图谱 | 手势交互全攻略

智能交互图谱 | 手势交互全攻略

Kurtenbach和Hulteen这样定义手势:手势是包含信息的身体运动。

挥手告别是一种手势,但按下键盘上的键不是手势,因为手指在敲击键过程中的运动既没有被观测到,也没有特定意义,关键是按了哪个键。

从文本用户界面到 图形用户界面(GUI),“可视化”的领域日趋丰满与成熟,人们开始探索更自然的交互方式—— 自然用户界面(NUI)


图形用户界面限制了用户需要使用键盘、鼠标等输入设备……而 非接触式用户界面(TUI)是通过身体动作和手势命令计算,无需触摸键盘、鼠标或屏幕的过程,可以更自然的传递信息或与环境互动。

微软 HoloLens

2015年1月,微软发布MR头显-Microsoft HoloLens,引起了大家对手势交互的密切关注。


眼镜会追踪用户移动和视线,生成适当的虚拟对象,通过光线投射到用户眼中。因为设备知道用户方位,用户可以通过手势与虚拟3D对象交互。HoloLens的两种核心手势——AirTap空中点击和Home手势。



01手势分类

伴随说话时手与胳膊的自发运动,打招呼与再见时的挥手动作,表示胜利✌️、赞扬的标志性动作,或是语言系统中有明确意义的手势……在生活中,手势在不同场景中有不同的意义。

手势交互中,也会有不同类型的手势。

  • 指示类 | 用于指示物体或方向的手势;
  • 信号类 | 传达一些意义的手势或动作;
  • 情景演绎类 | 无对象执行的特定任务演示;
  • 标志类 | 用于传达特定对象或实体店信息的手势;
  • 操控类 | 手势可以在较短的反馈循环中引导运动。


02手势识别

在技术层面,手势识别通过数学算法理解人的手势。大多使用传感器、相机、雷达等设备采集用户手势信息。

Cyber Touch II

可穿戴设备的手势识别是通过传感器直接获取手的空间姿势。


数据手套可以高精度检测手指弯曲、甚至可以向用户提供触觉反馈,这是对触觉的模拟。数据手套是用了沿着手背延伸的光缆,产生光脉冲,当手指弯曲时,光会通过小裂缝漏出,并记录下损耗,从而给出手部姿势的近似值。

微软Kinect

深度感知相机的手势识别:使用诸如结构化光或飞行时间相机之类的专用相机,可以生成在短范围内通过相机看到的景深的深度图,并使用此数据来近似表示所看到的景物的3d表示。


由于它们的近距离能力,这些可以有效地检测手势。

谷歌Soli


Project Soli雷达芯片,采用 微型雷达来捕捉细微的手势动作,雷达主要利用无线电波的反射来进行成像。


计算机从天线发射无线电波,雷达反射波,通过对比发射波和反射波,就得到了物体的位置和速度,也就可以精细地捕捉物体的运动

03非接触式交互

在非接触式交互中,通常分为直觉型、指令型、隐喻型的交互手势对应不同场景的应用。

1.直觉型(Intuition)

用户的手势动作对应界面中的动作,并与被操控物体的移动直接对应,手势特征即作用特征。其主要应用于虚拟现实、互动装置或游戏中。

微软 HoloLens

2.指令型(Manipulation)

用户将其既有的手势习惯延伸至对UI界面元素的控制,手势特征引发界面的变化。其主要应用于有交互界面的使用场景,包括与手机、智能电视、可穿戴设备、车内中控等界面的互动。

谷歌Soli

3.隐喻型(Metaphor)

用户与设备通过手势建立协议,手势的语意与所控制的功能相对应,手势特征并不直接对应作用。其主要应用于对智能产品和智能家居系统的控制。



04问题与挑战

  • 由于不存在通用手势语言,不同用户做出不同手势,手势识别难度大;
  • 创建过多的手势,学习手势的成本高过原本传达的信息,复杂的交互也会消磨用户兴趣;
  • 如何防止手势识别会干扰用户的自然行为?


基于以上及更深的研究,我们汇总了所有手势交互相关的内容,请看这里


一张图带你掌握手势交互的核心内容!

知识点包括:

手势的基础分类

手势识别的设备及相关原理

手势交互图库

手势交互技术的发展历程

私信我,回复「手势」即可获得高清无码大图

参考资料:

  • 《Gesture Recognition Technology》
  • 《Brave NUI World: Rise of touch-less gesture control》
  • 《Interaction Methods for Smart Glasses》
  • 《Gesture interaction in virtual reality》
  • 《User Preference for Smart Glass Interaction》
  • 《Beyond touch: designing effective gestural interactions》
  • Wiki百科
  • HoloLens官网


编辑:日签君

校对:文阿婆

本期作者:阿离

本文由 @艾体验AIUX 原创发布。未经许可,请勿转载。

更多内容请移步微信公众号:艾体验AIUX

本文来自投稿,不代表本人立场,如若转载,请注明出处:http://www.souzhinan.com/kj/211012.html