无障碍设计研究：面向听障人群的振动触觉音乐体验 - 科技导报

虽然听觉通道受损，聋人群体也有欣赏音乐的需求、能力和权利。当前，现代化听觉辅助技术仍然无法很好地满足听障人群对于听觉艺术的感知和欣赏需求，不利于这一群体的社会交往和自我发展。聚焦听障人群的音乐活动需求和偏好，提出通过触觉来感受声波的振动是聋人参与音乐活动的常见形式。综述了触觉刺激对听觉信息的表征优势，振动触觉的音乐表达能力、局限性和设计方法，并梳理了可穿戴和静态振动触觉音乐设备的研究发展。

根据世界卫生组织（WHO）最新发布的《世界听力报告》，全球超过4.3亿人患有致残性听力损失，其中4300万是儿童。到2050年，预估全世界25%的人口将有不同程度的听力问题。中国残疾人联合会2010年数据显示，中国听障人群数量高达2054万，超出视障人群将近800万，占中国人口总数的1.53％，每年有2万~3万新增听障儿童。听障人士能够依靠视觉来认识、辨别他们的环境，使用助听器或植入式人工耳蜗来增强剩余听力，因此他们在行动中可以保持较高的自主性，可以独立承担对口头交流要求较少的部分工作。然而，在参与一些与听觉高度关联的社会交往活动时，他们普遍存在诸多困难和顾虑，这使得他们的人际关系和自我发展受到阻碍。

除了作为生存、学习和交流的基础，听觉对人类的一大重要用途即是对于音乐的感知和欣赏。音乐体验是一种非功利性的审美体验，也是一种跨文化、非语义性的沟通语言。听音乐对于大部分人来说是生活中不可或缺的一部分，也是塑造个性和审美取向、增进人际沟通、建立情感连接的一项重要社会活动。残障人士通常被视为非残障社会中的一个从属群体，在共同的社会活动中沟通形式的不足会强化这种从属关系，进一步边缘化残障群体，不利于社会的包容性发展。此外，辅助技术设备的工程设计一般从技术中立观出发，容易忽视残障人士的主观心理体验和审美需求，导致辅助设备和残障人士之间适配有效性降低，体验感较差。正视听障人士参与音乐活动的需求和能力、保障他们赏析听觉艺术的权利、优化他们的音乐感受，有助于促进他们与其他群体的沟通、融入更广泛的审美活动中，以提升他们的生活质量、丰富他们的生命体验，同时也对音乐感知和表达方式进行包容性创新拓展。

听障人士的音乐活动

01聋人音乐家

世界范围内，听障人士一直是音乐活动的活跃参与者。以贝多芬为代表，18~19世纪有诸多因为战争、疾病等原因失聪的古典乐作曲家创作出经典名作。Evelyn Glennie是现代著名的听障独立打击乐家，依靠手部和身体对于打击振动的感知来进行表演。Mandy Harvey是一位参与美国音乐综艺节目的听障弹唱歌手，除了感知乐器的振动之外，她通过视觉提示来调整演唱的音准。听障人士对于节奏强劲的电子音乐有相对较好的感知，听障音乐活动家Troi Lee于2003年创立了伦敦聋人狂欢节（Deaf Rave），并与研究团队开发振动触觉背心来增强听障音乐爱好者的电子乐体验。Sean Forbes是众多听障手语说唱歌手的代表之一，展现了听障人士敏感、独特的节奏感，以及肢体语言的表达能力。可以发现，以振动触觉为主的音乐感知和以动态手势为主的歌词表达是聋人音乐家主要的创作和演出手段，他们也面临与其他音乐家保持时间和节奏同步上的挑战。听障人士的音乐表演是近年来音乐理论与分析、音乐与残障研究、表演研究等领域的热点，学者们强调了聋人和健听人之间音乐实践的多样性，认为更具包容性的音乐应以听障人士的认识论为中心。

02特殊音乐教育

特殊音乐教育在国内外均有着深厚的社会基础和广泛的社会需求，是实现教育均衡和社会公平的重要内容。在中国，“律动”是聋校的必修艺术课程，以韵律性肢体活动发展听障学生内在节奏感、韵律感，培养他们对美的感受和体验，形成艺术审美能力，促进全面发展。在律动课上感知节奏的方式包括：灯光、图像、手拍口读等视觉节奏；根据手势口读节奏；通过肢体动觉来表示音乐的变化 （奥尔夫声势练习）；以及通过跺脚、拍身体、击打乐器来给予触觉节奏提示。通过充分利用听障学生的视觉、振动触觉以及剩余听力，在学习感知韵律的同时发展他们的平衡能力和肢体协调能力。

03日常音乐偏好

为了更好地了解听障人群的日常音乐习惯和需求，本团队曾面向北京某高等特殊教育学院的听障本科生进行问卷调研，回收有效问卷73份，其中一级聋受访者占71%。调研发现（图1），56%的听障受访者日常保持听音乐的习惯，最受欢迎的音乐类型是节奏感较强的歌曲。59%的受访者希望能够独自使用辅助设备享受音乐。该研究将日常听音乐的受访者细分为高频听力损失者、低频听力损失者以及几乎全聋者，并针对音乐偏好和需求开展深度访谈。受访者认为音乐能够传递情感和力量，其中歌词对引起共鸣起重要作用。受访者的剩余听力水平使得他们对音乐中的不同元素具有不同的敏感度：高频听力损失者偏好节奏强烈的音乐，更注重音乐的律动感；低频听力损失者偏好旋律明显的歌曲，更注重演唱者的音色。常见的听歌方式包括外放音频、使用蓝牙助听器直接播放，或将助听器摘除后使用入耳式耳机；部分几乎全聋的受访者会将手放在扬声器处感受振动。私人化、个性化、对受损听觉起到补偿和增益效果的音乐设备，能够提升保持音乐习惯的听障者的整体音乐体验，也能够促进较少听音乐的听障者接受音乐。

图1 听障本科生的音乐习惯调研

此外，助听器（hearing aid，HA）和植入式人工耳蜗（cochlear implant，CI）通常是为了辨别语言而设计，对于音乐信号的处理会产生偏差或者失真，无法提供令人满意的音乐体验。诸多研究发现，HA和CI使用者对音乐节奏的感知与健听人大致相同，但是CI用户在旋律和音色的辨别上表现较差。用户在植入CI之后，音乐享受评分下降了70%。HA在一定程度上表现优于CI，但是用户的音乐欣赏率也较低。

通过振动触觉表征音乐

01触觉刺激对听觉信息的表征优势

触觉是人类身体上面积最大的感受器官，具备感知输入和操作意图输出的双重性质，是人类认识外部环境和情感沟通的关键渠道。随着多模态自然人机交互、虚实融合空间等领域的发展，近年来学术界对于触觉的关注逐步增多，尝试通过振动等触觉维度来呈现信息，编码符号、图形和音乐。声波的本质是一种振动，在对振动的感知上，听觉与触觉有许多共同或相似的物理特性，例如频率、强度、时长以及功率在频率和时间上的分布（节奏）。Lakatos等认为触觉刺激可以通过调节听觉皮层周围神经反应的节奏来增强对听觉输入的反应。Young等提出听觉和触觉系统的神经通路通过一个共同的或相关的网络连接，在执行客观检测任务时结合在一起，触觉反馈可以助力听觉处理，尤其是在低频部分可以达到较好的整合互益效果。

02听障人士的振动触觉音乐感知

Levänen等研究发现，听障人士在振动触觉刺激方面表现出一些认知加工优势。声音和乐器自然产生或被放大的振动，可以通过不同的触觉刺激脉冲间隔来表现节奏，这是最容易被听障人群感知的音乐信息，也是承载音乐情感的重要元素。与健听人相比，听障人士可能更善于辨别振动触觉音乐中更细微的情绪特征，触觉化的音乐可能为他们提供一种可以与健听人听音乐时相当、甚至更丰富的体验。研究证明触觉在用于增强听障人群音乐表现上也具备较大潜力，比如通过触觉刺激向听障者提供音高信息以改善他们的歌唱能力，这种方法也可能对言语康复训练有积极作用。

通常来说，音乐可视化是一种典型的跨模态表征音乐的方式，然而对听障人士来说，辨识视觉信息需要持续的注意力。通过视觉通道传递的音乐信息，在听障用户眼睛休息或者看向别处的时候，就会被中断。此外，视觉符号受文化和教育背景的影响，可能会使听障用户产生差异化的理解。触觉通道的信息处理过程更少受到在视觉和听觉通道中表现出的认知能力约束，触觉不需要一直面对目标物，不受其他感官的干扰，有更高的时序敏感性，认知负担小。其次，触觉涉及整身感知和反馈，多模态的触觉刺激能够为用户提供沉浸式体验。从差异性的角度，触觉信息自然直接，在不同文化、不同教育背景的人群中具有客观性、普遍性的感知规律。

03振动触觉的音乐表达能力和局限性

除节奏外，振动触觉对于音乐的其他物理特征以及情感维度的表达能力已有多项研究成果。Birnbaum等尝试定义了振动音高、振动响度和振动亮度3个振动触觉音乐参数，以探索一种将振动触觉反馈集成到数字乐器中的设计策略，并建立了一个由从音频反馈中提取的感知声音特征驱动的软件振动合成器。在与公益组织“音乐振动（Musical Vibration）”的合作项目中，Hopkins等发现将音乐以振动的形式呈现在指尖、前掌和脚跟上，有可能促进听障音乐家的创作，以及他们和其他音乐家的互动，并通过一系列实验确定了用于音乐振动触觉呈现的合适音符范围为C1到G5。此外，还有部分学者关注振动触觉刺激对于音乐情感的表达能力。Mazzoni等使用自我评估人体模型 （SAM）对8种振动模式进行评级，用于评估与人对物体或事件的情感反应相关的价态、唤醒和支配，研究结果表明低频脉冲可诱发平静感，高频脉冲可诱发兴奋感。Sharp等在最新研究中验证，振动触觉刺激的频率、振幅和能量等特征与情感反应之间存在着普遍的相关性，且听障被试在“幸福感 （happiness）”这一情感条件中表现出更好的触觉识别能力。

触觉虽然与听觉有相似性，但是也有较大的局限性。听觉在大约20Hz~20kHz的频率范围内工作，而皮肤的触觉感知的频率范围仅在0.3~1kHz之间，因此触觉对于振动信号感知的分辨率远低于听觉。虽然通过振动触觉可以很容易地表征节奏，但是通过皮肤振动来精准区分不同频率的音高是较为困难的。触觉和听觉对振动的敏感一致性主要集中在低频段，而当振动频率超过了皮肤感知阈值，高频段信息就可能会丢失。并且，关于通过触觉刺激来呈现音乐中承载的语义和情感信息的具体实践手段，以及触听审美的互通性的研究仍较少。同时，考虑到听障群体的多样性（先天或后天，听力损失程度，辅助设备使用情况等），相对于探索适用于所有聋人的通用音乐表征范式，研发有针对性的、场景化的音乐体验设备能够更好地满足用户的个性化需求。

04基于振动触觉的感官代偿设计

采用非听觉刺激来表征听觉信息，在艺术审美形式中通常称作通感，在认知心理学范畴内称作跨模态对应，在无障碍体验设计中可被称为感官代偿设计。感官代偿又称感官的代偿可塑性（compensatory plasticity），是指在人的某些感官受到损害的时候，其他感官的功能会相应增强的现象，将这一特性应用在设计中，可以提高产品的无障碍可用性，也可以增强障碍用户的感官代偿能力。为了使感官模态成功转译，首先需要从原始模态中识别关键信息特征，然后进行信息处理或映射，最后在替代模态中充分呈现信息。

常见的用于呈现振动触觉的驱动器包括音圈马达（voice coil actuator，VCA）、线性马达（linear resonant actuator，LRA）、偏心转子马达（eccentric rotating mass，ERM）、压电制动器（piezoelectric）和扬声器（speakers）。在振动触觉音乐中，驱动器的选择需要结合低成本和轻量化设计、增强的低频性能以及尺寸和振动刺激之间的良好平衡。还可以考虑针对不同听障人士的听力损失程度，相应地配置振动刺激的参数。通过进一步探索听障人士振动触觉的感知特征、与听觉的审美通感机制、情感和情绪体验等多个方面的因素，可以研发一系列振动触觉界面来传递音乐信息。

振动触觉音乐体验设备

01可穿戴振动触觉设备

可穿戴振动触觉设备是最为常见的振动触觉音乐体验媒介，可以较好地满足听障用户的随身便携需求（表1）。该类设备通过放大音乐振动信号、利用环境和身体共振以及使用振动触觉编码音乐等方式，加强触觉通道的感知来改善听障人群的音乐体验。可穿戴的形式囊括了包裹全身的连体衣、利用背部大面积感受区域的背心或背包、包裹小臂的臂套，以及小型的手环脚环和仿生贴片等。

表1 可穿戴振动触觉音乐设备

在以人体驱干为主要接触部位的实验中，麻省理工学院（MIT）媒体实验室在2002年开发了“皮肤节奏”（cutaneous grooves）连体衣，最早从人机交互的视角提出振动触觉刺激不仅可以作为音乐的承载信号，也可以成为一个美学的人工载体，并总结一套振动作曲语法来初步尝试定义音高、音强、音长和音色的触觉化表达规则。Karam等开发了一种部署在用户背部的拟人耳蜗模型（Model Human Cochlea，MHC）。MHC是一种用于创建跨模态音频触摸显示器的感官代偿技术，它使用音频扬声器作为振动设备沿身体放置，以促进与音乐相关的情感元素的表达，并通过多个用户实验发现将音频信号分离到多个振动触动通道比使用完整的音频信号作为振动触动刺激更有效地表达情感内容。在商业化产品中，也有厂商或设计团队已开发出SubPac M2、M∶NI（）、VEST等不同形式的振动传感背心（图2）。除了背心、背包等与人体较大面积接触的设备以外，Haynes等开发的FeelMusic将气泵与振动马达结合在一个臂套之中，共同用于表达音乐中的情感。

图2 部分装置图片

在小型设备中，Petry等开发了基于无线传感和显示的便携式音乐感官替代器（MuSS），可以部署在用户身上、乐器上或环境中，帮助听障人士探索音乐声音、定制视觉和振动反馈，最终达到学习和演奏乐器的目标。杜熙如等研发了适用于听障学生能随音乐节拍进行舞蹈训练的振动触觉可穿戴设备，将节拍信号变为振动信息去激励皮肤触觉，帮助更好地理解音乐节奏和强弱的变化。

02静态振动触觉音乐装置

更为大型、趋于静态感受音乐的振动触觉装置通常以坐垫、坐具的形式呈现（表2）。最早的尝试可以追溯到1992年的Somatron。Nanayakkara等通过将2个扬声器装载在Haptic Chair扶手上，让听障人士用手掌心感受音乐振动。Karam等将MHC应用于互动触觉椅Emoti-Chair，希望为听障用户提供更放松的音乐情感感知方式。触觉椅子的主要局限是难以便携和定制，用户无法轻松更改座椅或执行器的位置。在设计触觉座椅时，还要考虑振动刺激的骨传导和空气传导作用可能通过座椅的结构得到增强，从而影响音乐的表达效果和用户的舒适度。

表2 静态振动触觉音乐装置

此外，还有一些静态设备是身体局部触觉刺激与坐具的结合（图3）。Auris System使用算法提取音频的旋律特征并将其转换为乐器数字接口 （MIDI），之后转换为振动触觉信号最后发送到Auris椅子和手环上，尝试采用这种组合方式传递频率超过1kHz的音乐信息。Music Vibration则是通过座椅下方和前方的振动器向聋人音乐家的脚心和掌心提供实时的触觉反馈，来协助其在工作台上进行音乐创作。

图3 部分触觉椅子图片

振动触觉音乐体验设计展望

振动触觉音乐体验的设计可以分为3个部分：第一部分为音乐特征的分析和提取，包括音乐中的听觉信息和情态信息，将抽象的音乐分解成可被理解、计算和映射的数据；第二部分是面向音乐表达的跨通道映射，包括振动触觉刺激的编码，拟合情态体验，触发跨感官的同构联想等；第三部分是触觉音乐的感知评估，包括了听障用户的主观评价，结合生理信号采集和音乐回溯测试，来评估触觉音乐对于音乐信息传达的准确性、效率和可用性（图4）。每个部分都面临不一样的研究挑战，也需要组建跨学科团队，采取相应的研究方法进行阶段性的逐步探索。

图4 振动触觉音乐体验设计的问题空间

在音乐特征提取层面，设计师需要和音频工程师、音乐科技领域的专家开展合作，更好地明确应通过振动触觉刺激提供哪些声音特征，以及探索那些能够增强声音感知的特征，例如振幅包络和基频。在触觉映射方面，应利用听障人士触觉系统的大动态范围以及在单个部位对强度差异的高度敏感性。人类的自然触觉是多维度的，也可以考虑在振动触觉之上叠加更丰富的多模态触觉信号，如温度、压力等，探讨其综合用于表现音乐信息的可能性。同时，根据触觉的双向通信特性，也可以考虑是否可以让听障用户依照听力障碍的个人特异性以及个性化的音乐需求来主动调节触觉音乐体验，或者自动监测用户的感知阈值来调整刺激强度。此外，还需探索触听觉体验上更加精确的对应关系，包括振动触觉音准研究、声音在身体上的空间感等。将振动刺激可引发的多维感觉（如锐度、粗糙度、柔软度等）与音乐特征（如音高、响度、音色等）之间进行更合理的关联。这个层面涉及感官代偿设计，具身感知和触觉审美等多个前沿跨学科领域，尚未得到充分的探索。最后，音乐审美是一种情感体验，面向听障人士的音乐体验除了提高音乐声音特征信息传达的效率之外，也需要考虑传递更真实的情感体验，涉及触觉音乐的情感标注、音乐感知的情态维度、情感触觉等。

结论

听觉障碍存在于各个年龄层面、各个社会群体之中，然而听觉艺术的审美体验并没有从他们的生活中消失。与音乐这一重要社会活动相关的听障人士生理和心理体验、社会交往、自我发展和审美需求需要被更好地关注，通过以振动触觉为主的感官代偿方式来表征音乐，可以增强他们的音乐感受、提升他们以音乐进行情感沟通的能力、拓展音乐表达的可能性、促进社会的包容性。使用触觉通道来承载音乐信息已具备较为成熟的理论基础，在体验设计实践中仍有很大的研究潜力和价值，也面临着诸多挑战。目前国内外的相关研究仍在探索阶段，需要有更多跨学科的团队参与进来，开展多维度的探索和应用。

作者简介：王韫，北京航空航天大学机械工程及自动化学院，清华大学美术学院，清华大学未来实验室，讲师，研究方向为感知觉体验设计、跨学科设计思维教育；李子晋（通信作者），中央音乐学院音乐人工智能与音乐信息科技系，教授，研究方向为音乐声学、计算音乐学、新乐器设计、音乐创新理论。

原文发表于《科技导报》2023年第8期，欢迎订阅查看。