在日常交流的时刻，人们往往会经常使用一些「非言语」的信号，比如语调、情感表白、进度、口音、节拍等来强化对话互动的效果。
像开心、愤怒、丧失、疲倦时说同一句话，只管内容都一样，但听起来的觉得必需是十分不同的，而AI的发声则比拟死板。
目前AI语音生成系统大局部还是依据书面文原本学习发声，也就是说，模型只能知道说话的内容，却不知道人类以何种语速、情感来说，关于文本之外富裕体现力的语音信号基本捕捉不到。
所以AI只管能当掌管人播资讯，但在一些不凡的运行场景里，比如小品、相声、脱口秀这些言语艺术畛域，人工智能还没法取代人类来说话。
Meta AI去年推出了一个打破性的人造言语处置模型GSLM，打破了传统模型对文本的依赖。
GSLM可以经过间接处置原始的音频信号来发现结构化的内容，无需经常使用任何人工标签或文本，就像人学言语的环节一样。GSLM能够让NLP模型捕捉到行动言语的体现力，也可以作为下游运行的一种预训练方式，或许作为一种生成工具，从给定的输入音频揭示中生成后续音频。
最近，Meta基于GSLM连发三篇论文，朝着更有体现力的NLP模型向前走了一大步。
开源textlesslib
发布了一个开源的Textless Python库，机器学习开发人员可以更快地在GSLM组件（编码器，言语模型，解码器）上启动试验。
Textless NLP是一个生动的钻研畛域，旨在使NLP关系的技术和工具可以间接用于书面语。经过经常使用自监视学习的团圆语音表征，Textless NLP技术能够在那些没有书面方式的言语上或在基于文本的方法不可取得的书面语消息中开收回更多幽默的NLP运行。
Meta开源的textlesslib是一个旨在促成无文本NLP钻研的库。该库的指标是放慢钻研周期，并降落初学者的学习曲线。库中提供高度可性能的、现成的可用工具，将语音编码为团圆值序列，并提供工具将这种流解码回音频畛域。
语音情感转换
关于一些表白性的发声，比如笑声、哈欠和哭声，钻研人员开发的模型曾经能够捕捉到这些信号了。这些表白方式关于以人的方式了解互动的背景至关关键，模型能够区分出那些有或许传播关于他们的交流用意或他们试图传播的情感的纤细差异，比如是讥刺、焦躁还是无聊等等。
语音情感转换（Speech Emotion Conversion）是指在保管词汇内容和说话人身份的状况下修正语音语料的可感知情感的义务。在这篇论文中，钻研人员把情感转换的疑问作为一项书面语翻译义务，将语音合成成团圆的、不相干的，由内容单元、音调（f0）、说话人和心情组成的学习表征。
模型先经过将内容单元翻译成指标情感来修正语音内容，而后依据这些单元来预测声响特色，最后经过将预测的表征送入一个神经声码器来生成语音波形。
这种范式使得模型不止能发现信号的频谱和参数变化，还可以对非言语发声启动建模，如拔出笑声、消弭哈欠等。论文在客观上和客观上证实了所提出的方法在感知情感和音频品质方面优于基线。试验局部严厉评价了这样一个复杂系统的一切组成局部，并以宽泛的模型剖析和消融钻研作为论断，以更好地强调拟议方法的架构选用、长处和劣势。
比如在一个蕴含五种心情表白方式（中立、愤怒、文娱、疲倦或厌恶）的心情转换义务中，模型须要依据输入音频转换到指标心情，可以看到整个流程就相当于是一个端到端的序列翻译疑问，所以拔出、删除、交流一些非言语的音频信号来转换情感就会更容易。
经过试验评价可以看到，提出的模型与以往最佳情感语音转换模型相比，取得了极大的品质优化。理想上，结果与原始音频的品质十分凑近（图表中以浅绿色为原始音频）。
无情感的AI对话
Meta AI建设了一个可以让两团体工智能agent之间自发的、实时的闲谈模型，每个agent的行为起因，如偶然的堆叠或进度都很实在，这对建设像虚构助手这样的运行场景来说很关键，可以让AI更好地理解纤细的社交线索和信号，比如能够捕捉到与人聊天时的纤细的踊跃或消极反应。
文中提出的dGSLM模型是第一个能够生成人造书面语对话音频样本的Textless模型。模型的开发上应用了最近在无监视书面语单元发现方面的上班，加上一个带有交叉留意力的双塔Transformer架构，在2000小时的双通道原始对话音频（Fisher数据集）上训练，没有任何文字或标签数据。dGSLM能够在两个通道中同时发生语音、笑声和其余副言语信号，让说话的转机十分人造。
推翻传统NLP
在不久的未来，基于Textless NLP技术构建的下游运即将会呈井喷之势，由于模型训练既不须要资源密集型的文本标签，也不须要智能语音识别系统（ASR），模型可以间接经过音频信号启动问答。Meta AI的钻研人员以为语音中的亲和力可以协助更好地解析一个句子，这反上来又促成了对用意的了解，能够提高疑问回答的性能。
其中一个运行场景是语音到语音的翻译，也可以叫做AI翻译配音（dubbing）。传统的流利通常是基于文原本实现的，须要先将音频转换为文本，行动翻译，再将文本转换为音频信号。
比如大火的「鱿鱼游戏」多言语版本就用到了这一技术。
但流程太复杂会使得整个系统变得难以训练，也会丢掉一些行动言语的体现力，不只是由于语和谐非言语表白在文本中丧失，还由于言语模型在文本中的训练缺少了这些信号处置模块。
而自监视的语音示意方法能够从原始音频中学习团圆的单元，可以消弭对文本的依赖，钻研人员以为Textless NLP可以胜过传统的复合系统（ASR+NLP），也有或许整合非言语发声和声调消息，在音素之上行达丰盛的语义和语用消息，而这些消息通常在文本中不可取得。
随着环球变得愈加数字化，元宇宙中也蕴含越来越多由人工智能驱动的运行程序，这些NPC可以发明新的体验。而这种全新体验不止局限于文本的交流，未来将会走向更流利的互动方式，如语音和手势等。
一切这些经常使用表征和自我监视学习的提高都有或许协助钻研人员解脱传统的基于文本的模型，建设更人造、更有吸引力的未来人工智能系统。
除了缺乏体现力之外，传统的NLP运行，依托少量的文本资源，但谢环球上只要少数几种言语有如此大规模的标注数据。
从久远来看，置信Textless NLP系统的提高也将有助于使人工智能对更多人具备容纳性，特意是关于那些讲没有规范化书写系统的言语和方言的人，如方言阿拉伯语或瑞士德语。