2020年4月26日，清华人机交互实验室与阿里巴巴联合研发的无障碍交互技术SmartTouch获得橙点公益年度十佳 。SmartTouch项目于2018年立项，经过了两个主要版本的迭代，初步形成了具有界面语义理解能力的交互代理方案，可大幅改善智能手机上的无障碍交互性能，并将首先支持阿里巴巴旗下的应用场景。本次获奖是对团队工作的积极肯定，也唤起了更多人对于无障碍交互技术的关注。
无障碍交互的挑战
触摸屏技术的成熟引领着智能手机步入了新时代。实体按键淡出历史舞台，取而代之的是越来越大的光滑屏幕。图形用户界面灵活多变，给明眼人带来了更丰富的信息量、更多彩的视觉体验，但却给盲人使用手机带来了挑战。
读屏软件的出现，为盲人使用触屏智能手机打开了一扇门。读屏软件采用的是一套独立的交互方式：盲人用手指触摸屏幕时，读屏软件能够把触摸到的内容转化为语音读出来，进行确认要再进行双击。左右滑动则被赋予了“顺序浏览”的功能，用来依次遍历界面上的控件。然而，现在这种方案所提供的，是用户认可的自然交互体验吗？为此，清华大学人机交互实验室开展了面向盲人用户的长期调研，三类关键性问题随之浮出水面：
1. 操作效率低——“会怀念用按键手机的时候”
图形用户界面灵活多变，在不同的应用上面，都要去记不同功能的控件的位置。经过长时间的熟悉，也许能够一下找准；不熟悉的，总要摸索摸索才能找到，或者只能左右滑动“顺序浏览”遍历去找，费时费力。“在家里没事时我可以慢慢研究，但时间紧急时，真的会觉得很着急。你知道它大概就在附近，但就是摸不到。”志愿者梦琪的语气中有一丝无奈，她是先天性失明，2013年时开始使用触屏手机。谈起从按键手机到触屏手机的过渡，她说，“刚接触触屏手机时很新鲜，但也会怀念用按键手机的时候。如果能把我现在常用的功能变成按键，那真的是太方便了。”
2. 迷失于界面内容之中——“读屏软件只是有什么读什么而已”
一目十行，明眼人扫一眼就能了解到的页面结构和动态布局，有时却会让盲人迷失其中。“读屏软件只是有什么读什么而已，却不能帮助我们更好地使用手机。在无法完成任务的时候，也无法理解界面上发生了什么。”在梦琪看来，读屏软件还远远不够，“很多软件飞速地更新换代，界面设计可能会变化，我们又要重新花时间去学习。更不用说有些控件还没有提供相应的描述，读出来都是未加标签。”有些盲人会找到身边的明眼人朋友，让他们帮忙讲一讲某个页面上的功能应该如何操作，“但别人不可能随时帮你，还是要自己慢慢研究。”
3. 难以在移动和公众场景时使用——“为什么我们要向这些限制妥协？”
盲人使用手机时主要采用的姿势为一只手握持手机，将扬声器贴近耳朵，用另一只手的手指摸索屏幕，听取语音反馈。大多数盲人表示根本没想过单手交互：要么尽量避免手里拿东西，要么就耐心点，等到双手都空出来时再使用手机。“当我拿着盲杖行走在外，一只手被占用，即使是接电话这样简单的操作，着急时也会手忙脚乱。”梦琪提到，“更不用说其他复杂一些的操作了。”她又拿出了自己的耳机，线纠缠在一起，理清要花好一阵，“读屏软件会用扬声器播放，我不是很愿意在公众场合让别人听到。但是耳机也有不方便的地方，还会隔绝我们对于周围环境的感知。为什么我们要向这些限制妥协？”
追寻更自然的无障碍交互体验，下一步又该迈向哪里？
清华大学人机交互实验室设计并重点研发的SmartTouch，旨在为视力障碍人群重新定义智能手机的交互体验。SmartTouch的核心是智能交互代理技术，能够基于对图形用户界面的语义理解，为用户提供触觉和语音的多模态交互辅助。经过两年多的不懈努力，实验室的师生们构建了应用界面语义理解计算框架，并首先实现了对淘宝和支付宝的适配。那么，SmartTouch具体是如何发挥作用的呢？
1.适应界面的触觉按键——更快、更准确地定位功能
在手机屏幕的两侧，各有一列三个凸起的半透明按键，乍一看并不引人注意。这些低调的小按键却支持着一些高频的功能，如返回首页、语音搜索等等。“就算对页面不是很熟悉时也完全没有关系，右上角的按键就能一键唤醒语音搜索，不用再去搜索框那里去摸索了。”梦琪一一列举道：“还有一键加入购物车，确认订单等等，都很方便，节约了时间成本。”
2.更自然的语音交互——帮助用户更好理解界面
基于对界面语义的理解，用户可以使用更加自然的语音指令。通过上下左右的滑动手势进行层级浏览，加上整合过后的更恰当的语音反馈，能够让用户更好地理解界面的层级结构。“在商品详情页上，我可以直接问它，某项参数是什么，它就直接告诉我关心的内容。”说到这里，梦琪带了些笑意，“通过层级浏览和语音反馈，我可以更清晰地了解界面上有几块内容，以前加入订单选择商品属性时总要反复操作很久，现在就可以直接跳到我关心的部分进行操作。”
3.支持耳朵交互技术——单手使用、保护隐私
耳朵交互支持用手机屏幕识别耳朵接触屏幕时的动作，如点击、滑动等，只需要一只手。以打电话的姿势使用手机，语音反馈可以从手机上方的听筒播放，也解决了隐私问题。“在外面也可以很轻松地单手使用手机进行移动支付”，梦琪打开支付宝，将耳朵在屏幕上贴合了一下，“像这样就可以直接唤出付款码出示给商家，付完款后，再在耳朵上轻点两下，就可以从听筒听到我花了多少钱，也保护了我的隐私。”
“有了SmartTouch，无论是购物还是支付，都变得更加方便了！我也希望以后能有更多的视障朋友，可以跟我一样体验到这项技术。”体验过后分享感受时，梦琪的神情非常真挚，“希望这个项目能做得越来越好！”
SmartTouch作为清华-阿里巴巴自然交互体验联合实验室重点推进的项目之一，曾在阿里双十一科技展会上受邀展出，受到了国内外多方的关注。SmartTouch以后会支持更多手机应用，帮助视障用户随时随地更加方便、高效地使用手机。
