博泰车联网携擎AI平台确认申报2021年金辑奖汽车新供应链百强评选活动。

申请技术丨擎AI平台

应用领域丨软件

新供应链百强，金辑奖,新供应链百强

创新点及优势：

技术描述：

擎AI平台是一个全场景智能语音平台。

平台实现离在线语音融合，既能完全发挥在线语音的强大能力，又可结合离线能力实现不同网络状态下不间断的语音交互；

平台支持连续对话：一次唤醒、持续交互，结合上下文继承策略、拒识策略、退出策略，满足用户持续自然的语音交互，同时确保不会干扰用户与其他人的交流。在连续对话过程中，用户可随时打断语音播报，语音识别与语义处理并行，大大提高交互效率；

平台支持可见即可说，大部分界面（不管是系统界面还是app应用界面）上可以操作的地方都支持语音操作，还支持一定的泛化；

平台支持自定义指令，用户可以将常用的指令组合定义成一个个性化的指令，后续用户只需要通过一个简单的指令就能执行相应的指令组合，大大简化用户与平台的交互，可组合的指令涉及车控、系统控制、导航、娱乐等常用指令；

平台支持多意图车控理解，用户可以一次性下达多个车控指令，车控指令的个数与组合理论上没有限制；

平台具有丰富的语音技能，覆盖车控、系统控制、娱乐、出行、生活服务等各方面；

平台支持多音区，车辆中不同方位的用户可同时独立地与平台进行语音交互，互不干扰。

平台接入并融合多家ASR、NLU/NLP、TTS的优势，在不同场景下可采用不同供应商提供的能力，为用户提供最佳的语音交互体验，并可根据项目灵活配置。

擎AI平台外在表现是一个AI助手，每个用户都可以定义符合自己要求的个性化AI助手。

AI助手可以设置形象（外貌、表情、动作等），选择不同的tts发音人，甚至可以为其选择方言；再结合个性化NLG，为每个AI助手配置一套回复话术，让每个AI助手都有自己独特的风格和内涵。

平台还支持声音复刻和形象复刻，用户可以将AI助手的外貌和tts发音人设置成复刻出来的形象和声音，让其成为最独特的AI助手。

平台将语音与AI助手紧密地融合在一起，让用户感受到更情感化的语音交互，每次语义处理都会附带上相应场景下的AI助手控制指令（动作、表情、情绪），在展示语义处理结果的同时控制AI助手表现指定的表情、做指定的动作，使用指定的情绪进行TTS播报。

AI助手还会主动与用户交互。平台基于场景来触发主动交互，通过一个智能场景引擎，根据车辆状态、系统状态、用户日程、用户情绪、用户状态及环境信息等数据，在特定场景条件满足时触发，将场景配置的指令推送到车机端，主动与用户交互。

平台根据场景的优先级、紧急程度、用户是否进行语音交互、驾驶员是否集中驾驶等，制定了多种冲突处理策略，用于解决AI助手主动交互与用户主动交互之间的冲突，避免对用户造成干扰。

独特优势：

擎AI平台接入多家业内领先的AI基础能力，并做到基础能力的可替换与热插拔，分场景使用语音识别模块，搭建中控平台融合多家语义;

擎AI平台针对车载使用场景，定制开发了端到端的语音功能。包括语音产品定义、对话模块设计，技能服务开发，全双工连续对话，全场景可见即可说。平台定制化能力丰富，满足项目差异了的需求，并成功在多个项目中进行了交付。支持酒店、美食、景点等生态的语音多轮闭环，口语化表达，语音全流程交互；

产品具有情感化, 能识别用户情绪，做出相应的回复和有情感的播报。支持多模交互，将视觉AI和语音AI在应用层做融合，有效解决误唤醒问题。

支持热修复能力，擎AI平台针对识别、语义、合成分别实现了热修复功能，能够针对部分识别错误、合成发音不准，以及语义提取异常的情况进行在线处理；

应对不同类型用户的个性化需求，擎AI平台开发了个性化NLG平台，可以针对不同用户类型进行TTS话术配置，做到独有的交互体验；

针对平台整体稳定性，我们开发了全流程检测平台，实现主动和被动的稳定性检测；主动方式通过对连接、识别、语义理解、全链路追踪等维度的不间断拨测，来评估平台可用性和稳定性，能够在第一时间发现异常并进行处理；被动方式通过分析实时日志提取各类异常信息，反馈给开发迭代完善，提升平台鲁棒性；

应用场景：

（1）车辆具备精细化的感知能力，擎AI能力开始从语音发展为融合语音、手势、图像、声纹等多模态感知融合语义的能力。如视线看向车窗说“透气”，车窗开透气模式。

（2）擎AI打通更多的服务场景和生态，结合座舱数据、用户个性化信息，生态服务主动“流”向用户，服务找人的方式探索增值服务变现。如儿童呵护场景可以按需付费，购买后提供儿童哄睡、儿童安全检测服务。

（3）同时基于感知能力，擎AI 开始作为人机交互的核心，具备人格化的属性，交互更拟人化。擎AI 的形象是3D卡通人或3D卡通形象，融合了口型、肢体语言、面部表达交互。

（4）擎AI更趋近人人交互，会结合当前场景、用户情感状态，Avatar具备自己的情感表达。例如你骂她或批评她，Avatar会表情难过，声音低落的回复你。

未来前景：

随着座舱的更多感知通道、更强算力、更高性能，结合语音、视觉、用户行为、情感状态擎AI将逐渐实现人与人的自然交互方式；同时车身数据、环境数据、生态数据、用户偏好数据，实现个性化的智能场景找人。

基于SOA架构，座舱软硬件一体化的升级，擎AI 将可以调用自动驾驶含辅助驾驶域、车身域、动力地盘域的能力，各个域的能力可以拆分、组合应用，使得人车交互更智能、更完整。可以设想AI识别到司机有点疲倦了，路况较好，行程轻松，可以主动询问是否开启自动驾驶进入小憩状态。

“金辑奖”由盖世汽车发起创立，旨在鼓励针对中国汽车产业由大做强，促进中国汽车产业转型升级、打造更具竞争力的整零协同创新关系，助力实现汽车强国目标并做出积极贡献的企业和个人。欢迎点击报名参选！