一、产品概述

复合型移动协作机器人由移动机器人、协作机器人组合而成，采用激光 SLAM 导航，结合陀螺仪、IMU、里程计等多种传感器融合算法，具有自主定位、路径规划和移动抓取等功能。机器人通过在协作机器人末端搭载深度视觉系统，可实现对环境信息的三维感知，并引导协作机器人进行不同类型物体的准确抓取，或与用户进行人机交互与协作。产品可应用于智能制造、现代农业、无人商超、智能家居等多种场景。

二、产品功能与特点

1.多场景通用

复合机器人同时具备移动机器人和协作机器人的功能，极大的拓展了协作机器人的运动空间，满足车间、农业、商超、家居等多种场景下的作业要求。

2.基于深度视觉的物体抓取

深度相机除了可识别物体的外观特征外，还可以判断物体的形状和姿态，从而调整手臂末端夹爪的角度，以最合适的方位，对物体进行准确抓取。

3.深度学习与目标识别

在车载处理单元中部署深度学习算法，实现对目标的自主学习和识别。同时，通过对深度相机的点云图像进行分析，可判断目标的位姿，实现对多种异型物体的自适应抓取；

4.语音呼叫机器人

机器人顶部平台安装声源定位麦克风，在与车载处理单元的交互下，可实现声场的空间特性采样，从而引导机器人根据声音的方位执行指定动作，如自动向声音的发出方向运动，并在运动中实时避障。

三、主要硬件参数

1.全向移动底盘

全向移动底盘即一台移动机器人，采用激光雷达进行地图构建，支持自主建图、定位与导航。底盘硬件结构采用开放式设计，预留多个USB接口、网口以及I0端口，可支持多种外设的拓展和应用实践。

2.协作机器人

协作机器人采用六轴协作机器人，可满足用户不同自由度的需求。协作机器人总重量15KG，有效负载达3KG，工作半径达680mm，可适应各种复合应用场景。

协作机器人内置安全模块，触碰停止，实现人机安全协作。末端具备通用接口，灵活扩展，即插即用，满足多行业应用需求扩展。开放API函数库，支持C/C++编程语言，支持Windows/Linux/ROS机器人操作系统及多种通讯协议。

另外，机器人控制器内置于底座中，不仅大幅压缩了协作机器人整体体积，而且极大了方便了各类应用场景的搭建，用户无需额外考虑控制器的安装空间，节省调试时间与成本。

3.深度视觉系统

深度视觉系统采用1台200万像素深度体感摄像头，安装于协作机器人末端，用于目标的精确定位与协作机器人引导。摄像头可兼容ubuntu，linux和树莓派等操作系统，兼容USB3.0接口协议，可进行深度信息感知、活体识别等。摄像头内置立体深度算法，可实现更准确的深度感知及更远的范围。通过校准，立体深度感知的误差率低至2%，在室内和室外环境中最远可捕获相距达10米的数据。

4.语音识别单元

采用可编程式麦克风阵列模块，支持声音识别、声源定位等功能。麦克风阵列是由一定数目的声学传感器（麦克风）组成，可用来对声场的空间特性进行采样并处理的系统。由于在复杂的声学环境下，噪声与语音信号在时间和频谱上常常是相互交叠的，再加上回波和混响的影响，利用单麦克风捕捉相对纯净的语音非常困难，而麦克风阵列融合了语音信号的空时信息，可以同时提取声源并抑制噪声。

5.车载处理单元

车载处理单元采用体积小巧，外形紧凑的嵌入式计算机，预装Linux操作系统，集成Python、OpenCV等运行环境，以及产品运行所需的全部软件框架和SDK，支持2D视觉、深度视觉、移动机器人、协作机器人等硬件或应用的开发和学习。

四、课程资源

1、ROS机器人操作系统

2、移动机器人运动控制

3、协作机器人运动控制

4、机器视觉与图像处理

5、深度视觉

6、语音识别

7、复合机器人应用实践案例