智能语音交互小车(小远同学)

Copyright © Quectel Wireless Solutions Co., Ltd. 2026. All rights reserved.


本方案与 智能视觉小车 共用同一套小车底盘(智能视觉小车套件),在主控上增配了麦克风阵列、AMOLED 显示屏等外设,构成了以语音为核心的第二套智能小车方案。

小车名叫"小远同学",支持:

  • 语音交互:说出唤醒词"小远同学"后,可通过自然语言对话、下达行动指令;

  • App 控制:完成配网绑定后,可在手机 App 的小车控制界面操作设备;

  • 情感表情:显示屏实时显示开心、惊讶、委屈、难过等表情;

  • 智能应用:天气查询、位置查询、音乐播放、讲故事、闹钟设置;

  • 智能运动:语音控制的行动、自主避障、人体跟随;

  • 视觉识别:基于摄像头实时画面进行场景/物体/包装识别与多轮问答。

与智能视觉小车方案的区别:智能视觉小车使用第三方 App(WonderPi)进行遥控、取色等玩法(详见《智能视觉小车》);本方案使用移远 App(移联万物)完成配网绑定,之后以语音交互为主,也可通过 App 进行小车控制与状态管理。

小车整机实物效果如下图:

../../../_images/image_LZzkbNOk1oZgLoxGYZycjRPgnPg.webp

案例描述

智能语音交互小车(小远同学)与 智能视觉小车 面向教育科研、机器人创新和嵌入式智能应用验证场景,共用同一套小车底盘(智能视觉小车套件)、Quectel Pi H1 智能主控板与 ROS 2 软件栈,构成“一套硬件、两套方案”:视觉方案通过第三方 App(WonderPi)实现遥控、目标追踪、取色巡线、二维码识别与智能避障;语音方案在底盘上增配麦克风阵列与 AMOLED 显示屏,以“小远同学”语音唤醒和自然语言交互为主,支持情感表情、语音对话与闹钟、语音行动控制、人体跟随与视觉识别(看图对话),并可通过移远 App(移联万物)完成配网与小车控制。

应用产品特性

  • 一体化小车解决方案:共用底盘集成云台摄像头、超声波、巡线传感器与多自由度底盘,语音方案另集成麦克风阵列与 AMOLED 显示屏。

  • 软硬件双栈开发:提供 ROS 2 工作空间、语音唤醒/识别与大模型对话等模块源码及部署脚本,便于二次开发。

  • 多玩法示例:覆盖遥控、目标追踪、取色巡线、二维码识别、智能避障、情感表情、语音行动控制、人体跟随、视觉识别等。

  • 快速复制部署:配套一键部署脚本与 systemd 系统服务,支持开机自启。

支持列表

类别

支持内容

硬件平台

Quectel Pi H1 智能主控板 + 扩展板、云台摄像头、超声波、巡线传感器、TT 马达、18650 电池盒;语音方案另含 Sipeed MicArray 麦克风阵列、5 寸 HDMI AMOLED 显示屏

系统/软件

Debian 13、ROS 2 Humble;视觉方案使用 WonderPi App,语音方案使用移远 App(移联万物),均支持 Android/iOS

接口能力

I2C9、UART12、GPIO、PWM 舵机接口、四路巡线传感器接口;语音方案另含音频输入输出接口与 HDMI 显示接口

控制方式

视觉方案:手机 App 直连/局域网、ADB/SSH、Docker 容器;语音方案:语音唤醒与自然语言指令、手机 App(蓝牙配网 + 局域网控制)、ADB/SSH

主要玩法

视觉方案:遥控、目标追踪、取色巡线、二维码识别、智能避障;语音方案:情感表情、语音对话与闹钟、语音行动控制、人体跟随、视觉识别

开发配件清单


配件名称


数量


规格参数

Quectel Pi H1智能主控板


1块

 

智能视觉小车套件


1套

底盘 / 麦轮 / 电机 / 舵机 / 超声波 / 巡线 / 摄像头 / 电池

Sipeed MicArray 麦克风阵列


1个

6+1 MEMS 麦,12 LED 声源定位(阵列+驱动板套餐)

5寸 HDMI AMOLED 显示屏


1个

960×544,电容触摸屏

配件关系:小车套件提供运动 + 视觉能力,麦克风阵列补充听觉与声源定位,Quectel Pi H1智能主控板统一调度,三者组合构成完整的智能小车硬件平台。

使用前准备

软件部署

智能视觉小车与智能语音交互小车(小远同学)共用同一套小车底盘与 Quectel Pi H1 智能主控板,运行同一套开源软件(仓库中同时包含视觉玩法与语音交互模块),本节部署方法对两套方案通用。主控板需先烧录带 ROS2 运行环境的系统镜像,再部署小车软件,视觉识别与语音交互等功能才能正常工作。小车软件已在 GitHub 开源,可下载源码自行编译部署,也可直接使用仓库提供的部署脚本一键完成。

烧录系统镜像

镜像安装包下载:ROS2烧录镜像包(烧录方法见 固件烧录)

镜像需包含 ROS2 Humble 运行环境,否则后续 ROS2 工作空间无法编译。烧录请按镜像包内附带的烧录说明操作,完成后上电确认系统能够正常启动。

获取开源代码

小车软件源码仓库地址:https://github.com/Quectel-Pi/Expr_Sense_Bot。仓库包含语音唤醒、语音识别、大模型对话、表情显示、目标追踪与 ROS2 底盘控制等模块的源码,以及部署脚本目录 ai_tools/。

git clone https://github.com/Quectel-Pi/Expr_Sense_Bot.git

部署准备

  • 主机(PC)已安装 adb 工具,并用 USB 数据线连接主控板调试口,执行 adb devices 能识别到设备;

  • 主机同时连接多台 adb 设备时,需用环境变量指定目标序列号(如 ADB_SERIAL=<序列号>);

  • 主控板已烧录上述系统镜像并正常启动,设备端 ROS2、colcon、Python3、pip3 可用;

  • 已准备好部署包 ai_car_output/(仓库自带,或按文末“从源码编译部署包”自行生成)。

一键部署(推荐)

ai_tools/ 目录提供 Windows 与 Linux 两套等价的一键部署脚本,自动完成推送、环境修复、ROS2 编译、蓝牙开启与系统服务部署。

cd Expr_Sense_Bot/ai_tools
chmod +x push_output.sh
./push_output.sh
cd Expr_Sense_Bot\ai_tools
push_output.bat

脚本依次完成:

  1. 推送 ai_car_output/ 各目录到设备 /mnt/car_test/;

  2. 修复 ROS2 构建环境,补齐 foonathan_memory 占位库与 smbus2、transforms3d 等 Python 依赖;

  3. 使能 40pin 扩展板接口(首次部署会烧录 DTB);

  4. 在设备端编译 ROS2 工作空间(colcon build);

  5. 开启板载蓝牙,建立 hci0;

  6. 部署并启用 start_car 开机自启服务;

  7. 逐项校验设备状态,输出 PASS / FAIL 结果。

首次部署时 40pin 配置需写入 boot 分区,脚本会在结尾自动重启设备(约 1~2 分钟),重启后 40pin、蓝牙、Wi-Fi 与 start_car 服务自动生效,无需人工干预。

部署验证与启动

部署完成后,可通过以下命令确认关键项状态:

adb shell "systemctl is-enabled start_car.service"   # 期望输出 enabled
adb shell "systemctl status start_car.service"        # 查看服务运行状态
adb shell "hciconfig -a"                              # 期望出现 hci0
adb shell "test -e /dev/i2c-9 && echo 40pin-ok"       # H1 40pin i2c9 已使能

start_car 服务已配置为开机自启,设备重启后会自动拉起整车功能。需要手动启动时执行:

adb shell "bash /mnt/car_test/quecpi_smartcar/service_config/run/start_car.sh"

从源码编译部署包(开发者)

需要改动源码时,在安装 Quectel 交叉编译 SDK(environment-setup-armv8-2a-qcom-linux)的主机上编译,生成完整的 ai_car_output/ 部署包:

cd Expr_Sense_Bot
source ../environment-setup-armv8-2a-qcom-linux
./build.sh build_sdk   # 编译并生成 ai_car_output/ 完整部署树

仅编译可执行文件时使用 ./build.sh build_all,产物为 build/ai_car_demo。仅需部署运行、不修改源码时,可直接使用已有的 ai_car_output/ 部署包,跳过本步。

小车组装与开机

本方案的小车本体与智能视觉小车方案一致,机械组装、电池充电与开机步骤可参考 智能视觉小车,此处不再赘述。在此基础上需要完成麦克风阵列、显示屏等扩展外设与主控的连接,请参照对应外设说明。

开机完成后,按以下步骤让小车进入可配网状态:

  1. 确保小车已正常开机(扩展板电源开关拨至"ON");

  2. 长按扩展板上 K1 按键约 5 秒,设备进入配网模式;

  3. 手机开启 蓝牙 功能;

  4. 准备好 2.4GHz Wi-Fi 网络名称及密码(配网过程中会用到)。

App 安装

扫描下方二维码下载并安装移远 App(移联万物):安卓版本扫码下载,iOS 版本请在 App Store 搜索“移联万物”。

../../../_images/image_XBkgbWhPDoTDAKxL9lTc27AcnCe.webp

App 配网、设备添加与小车控制

App 通过蓝牙近场发现小车,再为小车配置 2.4GHz Wi-Fi 网络,完成设备绑定。

步骤一:发起添加设备

打开 App 进入主页(“我的家”),点击页面中央的大卡片 “添加设备”,或点击页面右上角的 “+” 加号图标:

../../../_images/image_DpjZbYP8BoJynkxmAJdcZhhrn0d.webp

步骤二:近场搜索并选中小车

进入添加设备页面后,App 会自动开启蓝牙搜索附近的待配网小车。页面顶部提示"已扫描到1个设备"时,点击右侧的 “去添加” 按钮:

../../../_images/image_FXeFbm9X2oCMUqxI7bQc6fsFn5g.webp

步骤三:配置 2.4GHz Wi-Fi 网络

列表会显示扫描到的小车(如名称为:机器人_5588),点击设备右侧的蓝色 “+” 号,在弹出的界面中选择 2.4GHz Wi-Fi 网络 并输入正确的密码,点击 “下一步”:

../../../_images/image_QDMhbZb8moP04BxIaXUcwGKTnOc.webp

步骤四:完成绑定与设备管理

系统自动完成设备连接与绑定,界面顶部提示"已成功添加1个",设备旁显示 “添加成功” 及绿色对勾图标。点击页面底部的 “完成” 按钮退出配网流程,即可开始使用小车:

../../../_images/image_JpxQbTTkBop66OxbkOMcH1lCnYd.webp

App 小车控制界面

完成配网绑定后,除了使用语音指令,也可以通过手机 App 的小车控制界面操作设备。下图为实际 App 控制界面:

../../../_images/image_F9e9bxyHFo9GmYx1D8VcV0sdnId.webp

基本操作流程

  1. 确认设备状态:确保小车已开机、配网成功,并在 App 中显示在线;

  2. 进入控制页面:在 App 中找到已绑定的小车,打开对应的设备控制页面;

  3. 操作小车:使用界面中的控制按钮操作设备,同时观察小车的实际响应。操作过程可参考下方实拍视频。

App 控制通过手机界面操作,语音控制通过唤醒词和口头指令操作,可根据使用场景选择。按钮图标与布局以当前 App 版本为准。

安全提示:首次操作请将小车放在平坦、开阔的地面上,并保持小车在视线范围内;避免靠近桌边、楼梯或其他可能跌落的位置。

App 实物操作演示

以下视频展示 App 操作与小车的实际响应,可结合上方控制界面查看。

../../../_images/image_Jje4bROLCo8IOFxtbp0cbr9anQE.webp

观看完整视频:小车 App 控制(约 44 秒)

小车app控制

配网或联网异常时,请参阅文末的常见问题与故障排查。

设备试玩

以下介绍以语音方式与小远同学交互的玩法;手机操作方式见上方“App 小车控制界面”。语音交互的通用流程如下:

  • 唤醒词为 “小远同学”,请靠近小车、在安静环境下说话;

  • 唤醒成功后,设备会给出反馈(提示音、顶部蓝色 LED 灯环亮起等),此时再下达指令;

  • 每条指令执行后,小远同学会语音播报确认(如"收到"、“正在前进”),请等待反馈后再进行下一次操作;

  • 说出 “你退下吧” 可结束本轮对话。

使用建议:在光线充足的室内环境使用,保持摄像头前方视野清晰、无障碍物遮挡,语音交互时避免环境嘈杂。

下方功能配图均截取自实物操作视频,截图仅作预览;各章节下方附有完整操作视频文件,可在飞书内直接播放或下载查看。运动过程、语音回复及表情变化请以视频为准。

语音行动控制

介绍:说出唤醒词后,通过语音指令控制小车运动。

../../../_images/image_ASU5bTyLGoiNV5x491qcza4pnlc.webp

观看完整视频:小车行动控制(约 42 秒)

小车行动控制

Step 1 · 唤醒小车

对着小车说出唤醒词 “小远同学”,车顶蓝色 LED 灯环亮起即表示进入监听状态,可开始下达控制指令(蓝色 LED 亮起 = 已唤醒)。

Step 2 · 行动指令

指令

小车动作

“小车前进”

四个麦克纳姆轮同步向前转动,车身沿直线向前行驶

“小车后退”

四个麦克纳姆轮同步向后转动,车身沿直线向后行驶

“小车左转”

左右两侧车轮差速反向旋转,小车原地逆时针旋转

“小车右转”

左右两侧车轮差速反向旋转,小车原地顺时针旋转

“小车停止”

电机立即停止转动,小车在当前位置迅速停稳

提示:小车配备四个麦克纳姆轮,具备全向移动能力,可实现横向平移及斜向行驶(需对应指令支持)。

表情互动

介绍:小远同学可以根据你说的话,理解你的心情,并在显示屏上显示相应的表情、用语音与你互动。

../../../_images/image_BIOUbxTw2oWJzUxuMBWcUwgRngb.webp

观看完整视频:小车表情(约 53 秒)

小车表情

Step 1 · 唤醒小远

对着小远说出唤醒词 “小远同学”,屏幕会显示两个眼睛和一个问号,并语音回复"小主人是在叫小远同学吗?小远同学在呢"。

Step 2 · 情感互动

触发方式(示例话语)

小远的回复

屏幕表情

“今天我很开心”

“哇,那真是太好了。什么事让小主人这么开心呀?”

开心的笑脸,眼睛向上弯成弧线

“我中了一个很大的彩票”

“哇,小主人运气这么好的吗?那有没有想过要怎么花这笔钱呀?”

惊讶的表情,眼睛睁得很大

“给我做一个委屈的表情”

“哎呀小主人,小远同学真的不会做表情啦。要不,你给小远同学变一个?”

委屈的表情,眼睛向下弯

“今天我赔了1000块钱”

“哎呀,那小主人今天心情肯定不太好。不过没关系啦……”

流泪哭泣的表情,眼睛向下弯,有蓝色泪珠

小远同学可以理解自然语言,不仅限于上述表达方式。尝试用自己的语言描述心情或提出问题,小远会做出相应的反应和回复。

语音对话与闹钟

介绍:唤醒小远后,可以进行多轮语音对话,也可以让它查询天气、播报位置、播放音乐、讲故事,以及设置闹钟。

../../../_images/image_BZngb5UONoiO1JxT7XxcyjAinnh.webp

观看完整视频:小车对话和闹钟(约 2 分 29 秒)

小车对话和闹钟

常见对话功能

功能

说的话

小远的回应

语音唤醒

“小远同学”

发出提示音,蓝色 LED 闪烁,进入监听状态

天气查询

“今天天气怎么样”

播报当前天气和气温

位置查询

“我现在在哪里”

报出当前详细地址

音乐播放

“给我放首歌”(可指定风格,如"开心的歌")

播放对应音乐

讲故事

“给我讲个故事”

以拟人口吻讲述童话故事

结束对话

“你退下吧”

回复"再见"并退出交互

闹钟设置流程

  1. 唤醒:说"小远同学";

  2. 下达指令:说"给我定一个X分钟之后的闹钟"(如"定一分钟后的闹钟");

  3. 等待确认:小远语音播报确认设定的时间;

  4. 闹钟响起:到达设定时间后发出持续铃声,直到被关闭。

智能避障

介绍:小车自动检测前方的障碍物并规划路线绕过,实现自主避障行驶。

../../../_images/image_Fea8bjnTTosdF8xxjB4c1wVSnRe.webp

观看完整视频:小车避障(约 36 秒)

小车避障

操作步骤

  1. 准备工作:确保小车已正常开机,位于平坦、开阔的室内环境中,周围有足够的活动空间;

  2. 唤醒:说 “小远同学”,小车发出提示音并进入待命状态;

  3. 前进指令:说 “小车前进”,小车开始向前行驶,摄像头和传感器开始工作;

  4. 障碍物检测:小车前方传感器检测到障碍物,自动计算避障路线;

  5. 灵活穿行:小车灵活调整方向,从障碍物之间的缝隙穿过,继续前进;

  6. 停止指令:说 “小车停止”,小车立即停止运动并返回待命状态。

使用建议

  • 推荐场景:办公室、客厅、走廊等地面平坦、光线充足的区域;

  • 推荐障碍物:箱子、家具等规则形状的障碍物,避免复杂的不规则障碍物;

  • 确保小车有足够的转向空间来规划避障路线。

注意事项

  • 不要在楼梯、高台、水边等危险地点使用避障功能;

  • 保持超声波传感器和摄像头清洁,避免灰尘影响检测效果;

  • 小车运行过程中请保持观察,确保其在安全范围内活动;

  • 避免在光线过暗或强逆光环境中使用,以免影响视觉识别。

遇到避障失效或运动不稳定时,请参阅文末的避障与运动问题。

人体跟随

介绍:小车通过摄像头识别人体并锁定,随后跟随目标移动,自动保持安全距离。

../../../_images/image_Po6wbnAoEoDPBkx2FNgcrzxynPe.webp

观看完整视频:小车人体跟随(约 40 秒)

小车人体跟随

操作步骤

  1. 准备工作:确保小车已正常开机,位于平坦、开阔的室内环境中,摄像头能清晰看到人体;

  2. 唤醒:说 “小远同学” 唤醒小车,小车发出提示音并语音回应;

  3. 人体识别:小车摄像头识别并锁定目标人体,准备跟随;

  4. 开启跟随:说 “开始人体跟随”,小车进入跟随模式并紧跟人体移动;

  5. 状态反馈:车身 LED 灯闪烁表示工作状态——蓝色表示待命,红色表示跟随中;

  6. 停止跟随:说 “测试结束” 或其他停止指令,小车停止跟随并返回待命状态。

使用建议

  • 推荐在室内平坦环境使用,人体行走速度 0.5 ~ 2 m/s 时跟随效果最佳;

  • 避免穿着颜色与背景相近的衣服,以便摄像头准确识别;

  • 不要在楼梯、高台、水边等危险地点使用人体跟随功能;

  • 避免在光线过暗或逆光环境中使用;保持摄像头镜头清洁,避免灰尘影响识别准确度。

视觉识别(看图对话)

介绍:唤醒小远后,小远会基于摄像头实时画面进行识别和描述,实现"看图说话"与多轮视觉问答。

../../../_images/image_AYpubIWGboFhmsxE06GcI5BqnBh.webp

观看完整视频:小车看图实物(约 1 分 35 秒)

小车看图实物

功能玩法

玩法

怎么做

小远会做什么

语音唤醒

说"小远同学",确保摄像头前方有清晰的视野

摄像头云台转动,表示进入监听状态

场景识别

说"你现在看到了什么"

识别窗外等环境场景(建筑、树木、光线等)并描述

物体识别

将物体放在摄像头前,问"你看到了什么"

获得物体的颜色和形状描述

包装识别

向摄像头展示物品(如纸巾包装)

描述包装的颜色和主要图案

视觉对话

唤醒后进行多轮对话

根据摄像头实时画面进行识别和回答

使用建议

  • 光线充足:确保摄像头前方光线充足,有利于识别准确度;

  • 清晰视野:避免遮挡摄像头,保持视野清晰;

  • 展示距离:建议将物体放在摄像头前方 30-60cm 范围内,方便识别整体特征;

  • 自然语言:用自然的语言提问,小远会更准确地理解和回答。

常见问题与故障排查

App 配网与设备连接

问题现象

可能原因

解决建议

搜索不到小车设备

  1. 手机蓝牙未开启;
  2. 小车未处于待配网模式

  1. 检查并打开手机蓝牙;
  2. 重启小车,长按 K1 按键 5 秒使设备进入配网模式(指示灯闪烁)

配网超时 / 连接失败

  1. 误连了 5GHz Wi-Fi;
  2. Wi-Fi 密码输入错误

  1. 切换至 2.4GHz Wi-Fi 频段;
  2. 仔细检查密码大小写

设备添加后离线

小车与路由器距离过远

建议配网时将小车靠近无线路由器

联网失败怎么办

现象:App 显示"添加成功",但小车迟迟不上线、无法语音对话。

原因:小车已连上 Wi-Fi,但现场 Wi-Fi(园区/办公网)无法访问小车的云端服务器,导致上线失败。这通常是 现场网络环境 造成,而非小车故障。

最快解决办法:用备用手机开热点

  1. 打开一部备用手机的个人热点(建议使用 2.4GHz 频段);

  2. 用 App 重新给小车配网,选择该热点并输入热点密码;

  3. 小车连上热点后,几秒内即可上线并恢复语音对话。

提示:手机热点走移动网络,不受现场网络限制。现场遇到小车怎么都连不上云的情况,首选切换到手机热点,实测即时恢复。

避障与运动问题

故障现象

排查建议

避障失效

检查传感器是否被遮挡或污染;尝试重启小车并清洁传感器

运动不稳定

检查地面是否平坦;确认麦克纳姆轮是否正常转动