瑞芯微智能驾驶芯片的多模态交互技术可应用于智能座舱控制、自动驾驶辅助、个性化服务推送等场景，具体如下：

• 智能座舱多屏交互：支持中控屏、仪表盘、电子后视镜、后排头枕屏等多屏独立显示与内容交互，实现信息分屏推送，如将导航信息显示在中控屏，娱乐内容显示在副驾屏或后排头枕屏，为驾乘人员提供丰富的信息和娱乐体验。
• 语音与视觉融合控制：通过内置高性能 NPU，实现语音、视觉、触控深度融合。驾乘人员可通过语音指令控制车窗、空调等设备，同时结合视觉识别，如通过摄像头识别手势动作，实现非接触式交互，方便操作的同时提升驾驶安全性。
• 自动驾驶辅助：借助摄像头、雷达等传感器，结合多模态交互技术，对车辆周围环境进行精准感知与识别，实时识别道路、交通标志、车辆、行人等物体，并对其位置、速度、运动轨迹等进行准确预测，为自动驾驶决策提供可靠依据，辅助自动驾驶系统做出合理决策与路径规划。
• 驾驶员状态监测：通过摄像头进行人脸关键点分析，实时检测驾驶员的疲劳驾驶（闭眼、哈欠）、分心行为等，一旦发现异常，立即联动声光报警，提醒驾驶员注意安全，保障行车安全。
• 个性化服务推送：基于场景感知引擎，通过环境语义理解，结合驾乘人员的驾驶习惯、偏好等数据，为每位用户量身定制个性化的座舱设置和服务，如自动调整座椅位置、播放喜爱的音乐等。
• 泊车辅助：可实现 4V12U 的泊车功能，通过摄像头和传感器感知车辆周围环境，结合多模态交互技术，将泊车画面清晰显示在中控屏上，并提供语音提示，帮助驾驶员更轻松地完成泊车操作。
• 沉浸式娱乐体验：配合 3D Unreal 引擎实现 32 万面车模及 8 万面 VPA 实时渲染，将 HMI 系统升级为虚实融合的沉浸式交互空间。头枕接入高像素摄像头并集成相关拍照算法，还支持多品类游戏机 DP in，让乘客在车内享受高品质的娱乐体验。