一、产品概述

实验箱面向人工智能相关专业，在硬件上，集成了计算机视觉系统、语音处理系统、机械手臂、以及手势传感器、温湿度传感器、大气压传感器等多种嵌入式应用模块，功能丰富、覆盖面广。在软件上，通过在运算单元中部署Linux操作系统、Python开发环境，以及人工智能通用软件框架和算法，为相关专业的应用开发提供了统一的通讯协议和接口，适用于多门课程的教学和实践。另外，运算单元中还完成了DeepSeek大模型的本地化部署，支持大模型技术开发、大模型+视觉、大模型+语音、大模型+机械臂等多个行业场景的应用实践。

二、产品功能和特点

1.开放性实验环境

实验代码可在Jupyter Notebook环境下进行。

2.开放全部源代码

开放全部软件框架和算法级源代码，支持二次开发，提供完善的实验指导书和技术文档，并提供产品相关软硬件的架构与设计方法文档。

3.部署本地大模型

完成了DeepSeek大模型的本地化部署，即部署于本机的运算单元中，除了可以开展大模型基础应用的学习外，还可以利用大模型和配置的视觉、语音、机械臂、传感器等设备进行交互，面向如智能安防、智能家居、智慧车间等典型场景，开展应用实践。

4.AI+视觉分拣

机械臂与视觉系统结合，可以对不同尺寸、外观的目标进行识别，实现目标分拣、智能码垛等人工智能基础实训项目，还可以基于深度学习模型，完成多种复杂物体的识别，开展企业级项目的实战训练。

5.AI+深度视觉

深度视觉与传统的2D视觉相比，可以实现物体的高度测量、距离测量、轮廓检测等，因此，可以完成障碍物距离检测、活体识别、目标跟踪等综合实验实训。

6.AI+语音处理

声源定位麦克风支持声音检测、智能语音识别、声源定位、波束成形等功能，在与AI处理器的交互下，可实现声场的空间特性采样，从而引导机械臂根据声音的指令执行指定动作。

7.AI+嵌入式传感器

提供温湿度传感器、运动传感器、气压传感器、光线传感器等12种嵌入式传感器，可以开展人脸监测与动态跟踪系统、人脸识别门禁系统、智能声控系统、智能温控系统等嵌入式方向的综合实验实训。

三、主要硬件参数

1.大模型运算单元

大模型运算单元采用NVIDIA公司的Jetson Orin Nano处理器，该处理器作为实验箱的核心模块，具备40Tops算力，预装Linux操作系统，部署Deepseek-R1、QWen2.5等大模型，以及所有智能产品模块所需的全部软件框架和SDK，并提供通用的通讯接口。

2.2D视觉系统

2D视觉系统采用一颗30万像素摄像头，可兼容ubuntu，linux和树莓派等操作系统。单独使用时，可对视野中的静态目标进行图像采集，进行基础的图像处理工作；与机器人协同使用时，通过视觉标定，可对机器人的动作进行引导，搭建机器人+视觉的执行系统，完成多种丰富的功能。

3.深度视觉系统

深度视觉采用一颗100万像素深度体感摄像头，可兼容ubuntu，linux和树莓派等操作系统，兼容USB3.0接口协议，可进行深度信息感知、人脸识别与测距等。

4.语音识别单元

采用可编程式麦克风阵列模块，支持声音识别、交互智能语音识别、声源定位、波束成形等功能。麦克风阵列是由一定数目的声学传感器（麦克风）组成，可用来对声场的空间特性进行采样并处理的系统。由于在复杂的声学环境下，噪声与语音信号在时间和频谱上常常是相互交叠的，再加上回波和混响的影响，利用单麦克风捕捉相对纯净的语音非常困难，而麦克风阵列融合了语音信号的空时信息，可以同时提取声源并抑制噪声。

5.机械手臂

机械手臂采用STM32单片机进行运动控制，Open Source CV为图像处理库，主流的Jupyter Lab为开发工具，使用Python3为主要编程语言。计算机视觉系统可与机械手臂搭建“手眼合一”的机器人视觉系统，从而使得机器人更具灵活性。机器人不仅可以实现颜色识别跟踪与抓取，还能与人体特征识别互动，非常适合用于基础教学相关的应用实践。

6.嵌入式传感器

嵌入式传感器主要由超声波传感器、人体检测传感器、温湿度传感器、心率传感器、气压传感器、数码管、蓝牙模块、陀螺仪、声音检测传感器、光线检测传感器等组成。每一个传感器均可与大模型运算单元连接，根据用户编辑的功能执行相应的动作。

7.高清显示屏

实验箱采用17英寸高清屏。

四、实验项目

（1）基础实训项目

1 Python程序设计

2 机器学习

3 深度学习

4 数字图像处理

5 机器视觉

6 深度视觉

7 嵌入式系统及应用

8 语音处理与传感器控制

9 基于视觉的机器人应用

（2）大模型+应用实训项目

1 大模型技术基础

2 大模型+视觉应用案例

3 大模型+语音应用案例

4 综合应用案例