人工智能专业----无人机插上人工智能的翅膀(UAV+Al)

【一· 人工智能应用背景】

【1.人工智能的行业背景】

随着科技的发展,各种科技手段在教育领域的应用日新月异,“人工智能”这个词汇也在最近两年达到了历史的热点,英文为Artificial Intelligence,简称人工智能。
归纳起来,人工智能具有以下五个特点:
(1)  从人知识是表达到大数据驱动的知识学习技术;
(2)  从分类型处理的多媒体数据定向fa跨媒体的认知、学习、推理,这里讲的“媒体”不是新闻媒体,而是界面或者环境;
(3)  从追求智能机器人到高水平的人机、脑机相互协同和融合;
(4)  从聚焦个体智能到基于互联网的大数据的群体智能,它可以把很多人的智能集聚融合起来变成群体智能;
(5)  从拟人化的机器人转向更加广阔的智能自主系统,比如智能工厂、智能无人机系统等。
推理期:20世纪50年代到70年代初,人们认为如果能赋予机器逻辑推理能力,机器就具有智能,人工智能的研究处于“推理期”。
知识期:当人们意识到人类之所以能够判断、决策,除了推理能力外,还需要知识,人工智能在20世纪70年代进入了“知识期”,大量专家系统诞生。
机器学习期:随着研究的向前推进,专家发现人类知识无穷无尽,且有些知识本身难以总结后交给计算机,于是一些学者诞生了将知识学习能力赋予计算机本身的想法。发展到20世纪80年代,机器学习真正成为独立的学科领域、相关技术层出不穷,深度学习模型及AlphaGo增强学习的雏形-感知器均在这个阶段得以发明。2010年后,相继在语音识别、计算机视觉领域获得重大进展,围绕语音,图像等人工智能技术的创业也大量涌现,从两边实现质变的过程。
2019 年,教育部发布“《普通高等学校职业教育(专科)专业目录》 2019 年增补专业” 人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图1
人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图2 人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图3
2019年度普通高校新增备案本科专业名单及数量

【1.2 人工智能行业人才需求】

人工智能岗位需求总体可分类成技术开发类,技术支持类和行业服务类三大类,如下表所示:
人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图4

【1.3 人工智能行业岗位分析】

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图5
人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图6
人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图7

【二·培养目标】

面向国家新一代人工智能的重大需求,以新工科为导向并兼顾新工科高等教育体系和应用方向,厚基础、重交叉、宽口径,培养具有扎实的数理基础、熟悉人工智能的基本理论及方法、掌握计算机与智能控制技术、电子与无人机技术、数据智能分析与决策等技术、具备灵活运用相关交叉科学知识、实践应用及开拓创新的科学素养,拥有较为开阔的产业应用视角与国际前瞻事业,能基本从事人工智能算法开发及技术应用、智能控制技术应用、无人机开发应用和人工智能系统集成等方面的工作,具有团队和管理与协调大型工程项目能力的复合型高级工程技术人才。
人工智能专业的学生毕业后5年左右预期能够达到以下目标:
培养目标1: 能够综合应用人工智能及相关领域所必备的基础理论和专业技能,解决人工智能领域系统分析、设计、集成应用中的复杂工程问题。
培养目标2: 具有国家使命感和社会责任感,在解决复杂工程问题时能够结合环境、安全、法律法规、文化等非技术因素,自觉有效地遵守职业道德和工程伦理规范。
培养目标3: 具有广阔的估计视野,具备积极有效沟通、与他人合作以及在多学科团队中行使责任的能力,具备团队领导力,能够在相关行业领域从事组织和管理工作。
培养目标4: 具有强健体魄和稳定心理素质,在专业领域具有不断进取的可持续学习能力。

【三·课程体系介绍】

人工智能专业UAV+AI实训室课时安排
序号 课程类别 课程名称 对应设备 配套支持 实时
1 学科基础课 人工智能算法基础 人工智能教学平台 实验指导书
视频课程
图书
48
2 专业主干必须课 Linux操作系统基础 36
3 人工智能神经网络 36
4 机器学习 36
5 数字图像处理 48
6 智能传感器技术 XH-500XJ、探索者2 实验指导书
视频课程
24
7 MATLAB 多智能体(无人机集群) 实验指导书
开源代码
24
8 多智能体控制 36
9 专业主干选修课 深度学习框架 人工智能教学平台 实验指导书
视频课程
图书
24
10 物联网技术基础及应用 24
11 SLAM 探索者2、XH-OWL 实验指导书
视频课程
36
12 智能控制 XH-380、航迹规划系统、XH-500XJ、多智能体集群 实验指导书
视频课程
48
13 计算机视觉 机器视觉开发训练平台 实验指导书
视频课程
图书
24
14 视觉追踪基础 探索者2 实验指导书
视频课程
24
15 智能无人机方向 单片机基础课程 嵌入式及无人机案例试验箱 实验指导书
视频课程
24
16 嵌入式 24
17 无人机飞控基础 XH-380 实验指导书
开源代码
24
18 视觉导航 XH-OWL 实验指导书
开源代码
24
19 实训类课程 Python设计实训 人工智能教学平台、探索者2 实验指导书
视频课程
图书
48
20 C语言程序设计实训 XH-380 实验指导书
开源代码
24
21 无人机飞行控制实训 飞行模拟系统、XH-380 实验指导书
开源代码
48
22 人工神经网络设计实训 人工智能教学平台 实验指导书
视频课程
图书
24
23 单片机设计实训 24
24 嵌入式系统设计实训 嵌入式及无人机案例试验箱 实验指导书
视频课程
24
25 计算机视觉处理实训 机器视觉开发训练平台 实验指导书
视频课程
图书
24
26 视觉算法应用实训 XH-OWL 实验指导书
开源代码
24
合计 804
人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图8
人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图9
【设备清单】
  1. 人工智能教学实验平台

  2. 嵌入式及无人机案例试验箱

  3. 机器视觉开发平台

  4. 飞行模拟训练系统

  5. 基础训练无人机

  6. 教学无人机程控开发平台

  7. 航迹规划系统

  8. Python二次开发SLAM无人机

  9. AI视觉无人机(Owl)

  10. 多智能体控制系统

【四·人工智能基础】

【4.1 涉及课程】

人工智能编程基础、Linux操作系统基础、人工神经网络基础、机器学习、数字图像处理、C/C++/python基础编程、数据集处理基础、智能控制、深度学习计算机视觉、视觉追踪基础

【4.2 方案特点】

  • 平台特色

  • 采用了人工智能计算机视觉与语音技术+嵌入式Linux技术+物联网技术+机械臂控制技术+AR技术的融合;
  • 同时满足了“人工智能+嵌入式”、“人工智能+物联网” 、“人工智能+机器人”的基础教学需求;
  • 设计了多个创新教学项目:AI计算机视觉仓库货物分拣、整理;AI语音机械臂控制、货物分拣;AR仓库货物分拣等;
  • 百度AI开放平台调用,实现在线图像识别;
  • 视觉摄像头结合机械臂,采用了移动侦测目标方式(非固定摄像头方式);
  • 采用了高性能的人工智能计算单元;
  • 设置了全键盘,可实现直接在实验箱上的Ubuntu系统中进行应用程序开发;
  • 配套设计了系统的“嵌入式人工智能”课程体系;
  • 配套系统的Python、TensorFlow、PaddlePaddle及人工智能机器学习相关理论及应用实验;
  • 配套系统的STM32开发、机械臂开发以及物联网技术开发的相关理论及应用实验;

  • 物联网与边缘计算的项目。
  • 试验箱结构图

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图10
  • 试验箱人工智能学习算法

本实验箱布局两种人工智能学习算法:离线学习(图1)和在线学习(图2)。
人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图11
离线的人工智能学习:学生学习环境部署、算法以及网络构建,通过构建网络以及调节网络超参数实现在服务器或者学生电脑上训练网络,完成训练模型,然后将模型下载到边缘计算终端完成预测,得到预测结果,(见图1)学生可以在这个过程中学习人工智能的整体部署思路、对人工智能的认识以及研究更深入。适合系统研究人工智能学习的整个过程,可以自己设计模型,做一些简单的算法处理,验证算法。
在线的人工智能学习:学生直接调用第三方百度的AI开放平台,将需要预测的图片或者语音内容传输到百度的人工智能算法网络,算法网络会给出识别结果(如图2),这种在线算法无需自己构建网络和调节超参数,简化学习步骤,适合应用集成。
离线的人工智能学习:学生学习环境部署、算法以及网络构建,通过构建网络以及调节网络超参数实现在服务器或者学生电脑上训练网络,完成训练模型,然后将模型下载到边缘计算终端完成预测,得到预测结果,(见图1)学生可以在这个过程中学习人工智能的整体部署思路、对人工智能的认识以及研究更深入。适合系统研究人工智能学习的整个过程,可以自己设计模型,做一些简单的算法处理,验证算法。
在线的人工智能学习:学生直接调用第三方百度的AI开放平台,将需要预测的图片或者语音内容传输到百度的人工智能算法网络,算法网络会给出识别结果(如图2),这种在线算法无需自己构建网络和调节超参数,简化学习步骤,适合应用集成。
  • 试验箱项目界面

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图12 人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图13
AR与AI结合货物分拣效果示意图  

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图14人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图15

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图16人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图17

人工智能教学实验平台控制系统
【五·智能无人机方向】
【5.1 基础训练无人机】
  • 模拟飞行训练系统

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图18

无人机飞行训练模拟器规格参数要求:

  • 尺寸:长20x宽18.5x高10cm;

  • 重量:470g;

  • USB插头线长:1米;

  • 接口类型:标准USB插头;

  • 支持通道调试,支持通道独立训练;

  • 支持遥控器校准,遥控器具有微调功能,具有开关量通道和模拟量通道模拟操作;

  • 支持固定翼、直升机、多旋翼模式切换;

  • 软件支持飞行环境的切换(晴天,雨天、风向、风速等环境等至少两种); 

  • 支持固定视角、第一视角等多种飞行模式,系统真实感要强、遥控器需操作简单 ;

  • 遥控器支持:R-XTR、G3-G4.5、APD、PhoenixRC;

  • 11、满足学生训练基础飞行技能需要;

  • 12、满足AOPA等考证模拟飞行训练需要。

  • 基础训练无人机(装、调、飞、控)

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图19

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图20

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图21

是一款专为教学而生的无人机实训平台。外观设计精美,机身采用高强度碳纤维和航空铝材质,配以M3内六角碳钢螺丝,牢固可靠,不易损坏,寿命长,可适用于反复拆装,提供完备的使用说明书,拆装调试教程等学习资料,不仅可进行无人机相关教学以及零部件调试、故障检测维修、地面站调试与设置等学习,还可以用于学科竞赛,可以一机多用,是各院校无人机实训实验室的首选产品。该机型支持无人机桌面飞行调试系统,不仅解决了场地限制的问题,在尽可能小的空间进行调试和试飞,还可以保证调试和试飞过程中的人员和财产的安全,减少风险,让学校开设类似课程不再有后顾之忧。

产品特色:一机多用,整机拆装,硬件调试,故障检修,软件调参,飞行训练、代码开源。

配置参数:

对角轴距:380mm

机架材质:碳纤维

尺寸(长宽高):300*300*180mm

整机重量:980g

最大起飞重量:1300g

飞行时间:20-25min

电池:3S/5200mAh

电机:2212/KV980

【5.2 嵌入式及无人机案例试验箱(飞控、嵌入式)

简介

无人机作为一个复杂工程,是一个多学科交融的载体平台,其中涉及无人机设计原理、空气动力学、自动化、电子信息、嵌入式、计算机科学、机械设计等专业课程系统教学较为困难,所以我司将无人机飞控拆解实现单独教学,并结合院校的现有课程进行课程建设。可针对如下几个方面开展对应课程:

  • 开展基础的单片机课程;

  • 以嵌入式实验箱和各类板载传感器为载体,开展具有特色的传感器课程;

  • 以无人机的飞控为载体,开展具有特色的嵌入式课程;

  • 以嵌入式实验箱和无人机为载体的飞控原理及控制技术课程。

利用星环科技嵌入式及无人机案例实验箱可完成现有的单片机、嵌入式、传感器、自动控制原理等课程的同时,亦可完成无人机的飞控入门教学实验。

该实验箱的特色在于不但可以满足传统的嵌入式及STM32相关课程的实验需求,而且还为课程设计提供了丰富精彩的无人机飞控工程案例化实验。

该实验箱由四大部分组成:

  • STM32嵌入式实验板卡;

  • 平面对轴平衡调试平台;

  • 遥控控制器及相关配件;

  • 四轴空心杯飞行器。

  • 相关实验

利用星环科技的无人机开源教学实验平台与嵌入式及无人机案例实验箱可对无人机飞控系统进行系统建模、飞行原理讲解、控制算法实现和参数整定,并且通过星环科技独有的无人机对轴调试平台可将无人机控制进行拆解,完成 无人机对轴的平衡调试。

利用星环科技的无人机开源教学实验平台与嵌入式及无人机案例实验箱可对无人机飞控系统进行系统建模、飞行原理讲解、控制算法实现和参数整定,并且通过星环科技独有的无人机对轴调试平台可将无人机控制进行拆解,完成无人机对轴的平衡调试。

配套教学资源:


人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图22

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图23


  • 样例历程及样例实现演示视频

  • 实验指导书

  • 原理图、使用手册等

实验案例与教程

嵌入式基础实验:

1、STM32基础介绍:介绍ARM框架, 介绍主控芯片, 介绍开发环境Keil5

2、配置开发环境:安装Keil5,新建工程模板

3、GPIO外设的使用:配置 GPIO 模式:点亮 LED,流水灯;程序烧写步骤

4、Timer外设的使用:配置并使用定时器、中断,实现 LED 灯定时闪烁、实现呼吸灯

5、PWM外设的使用:通过外设输出 PWM 波控制蜂鸣器的音调

6、串口通讯:配置串口,实现异步通讯

7、IIC通讯:介绍IIC时序图,并读取气压计MS5611数据

8、SPI通讯:介绍SPI时序图,并读取IMU数据

9、ADC外设的使用:配置ADC 引脚,介绍转换公式,并获取电池电压

10、DAC外设的使用:配置DAC引脚,介绍转换公式,输出正弦波

11、空心杯电机驱动实验:介绍电机驱动电路,配置PWM完成空心杯电机驱动

12、TFT LCD显示,FSMC通信协议

13、串口DMA实验,WiFi透传

14、PPM协议,遥控器定时器输入捕获

15、SD卡实验(SDIO协议),SD图片TFT显示

 

数字信号处理实验:

1、传感器巴特沃斯滤波实验

2、IIS音频数字信号输入输出实验

3、麦克风音频数字信号处理实验

 

飞行控制实验:

1、陀螺仪实验:掌握陀螺仪数据及原理,获取角速度数据并计算角度。

2、加速度实验;掌握加速度计原理,获取加速度数据并计算角度。

3、磁力计实验:掌握磁力计原理,获取磁力计数据并计算角度。

4、传感器校准实验:了解传感器误差来源,掌握传感器校准方法和软件实现。

5、传感器低通滤波实验:掌握巴特沃斯低通滤波器设计,实现滤波器调参。

6、姿态解析实验:了解无人机姿态表示方法,掌握 Mahony 滤波算法。

7、DCM 方向余弦矩阵实验:了解方向预选矩阵,对 DCM 进行应用,获取运动加速度数据。

8、无人机控制系统建模及实现。

9、无人机对轴平衡调试试验。

10、无人机定高飞行实验。

11、无人机遥控飞行实验。

【5.3 机器视觉开发训练平台】

Bird Vision 4.0机器视觉实验平台是一款功能强大的嵌入式机器视觉实验平台,不但可以满足机器视觉开发的教学需求,而且单独可用作于机器人、无人机的视觉模组。实验平台配备了支架与实验图形卡纸,让教师带着学生在实验桌上就可完成丰富的实验案例。另外,实验平台搭载多核处理器,大大提升拓展开发的空间。

主要特点有:

1、内嵌全套OpenCV机器视觉库;

2、可使用Windows版本下的开发软件进行直接开发;

3、可使用Python语言开发视觉应用算法;

4、具备多种算法应用案例程序;

5、内嵌ROS机器人系统、可支持双目、激光雷达等应用案例;

星环科技提供机器视觉及openCV教材,该书基于面向 Python的OpenCV。

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图24

(OpenCV for Python),介绍了图像处理的方方面面。本书以 OpenCV官方文档的知识脉络为主线,并对细节进行补充和说明。书中不仅介绍了 OpenCV 函数的使用方法,还介绍了函数实现的算法原理。在介绍 OpenCV 函数的使用方法时,提供了大量的程序示例。

配套教学资源:

1、教学书籍《OpenCV轻松入门 面向python》

2、 python基础样例

3、机器视觉样例

4、 人工智能识别样例

5、 样例卡纸、使用手册等

【5.4 教学无人机程控开发平台】

  • 简介

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图25

01:00

XH-500XJ是一款专为竞赛编程设计的程控无人机开发实训平台。通过搭载的机器视觉模块、光流测速传感器以及超声波测距传感器,可以实时获取地面上的模拟道路信息和高度信息,识别并跟踪地面上的轨道,起飞、精准寻迹、悬停、转弯、精准降落全程均可自主完成。飞控开源,同时预留众多外部接口,符合各类无人机相关竞赛要求,可根据竞赛要求进行二次开发,非常适合各类高校及职业院校使用。

产品特色:智能视觉寻迹,编程开发

  • 参数

配置参数:

对角轴距:500mm

机架材质:碳纤维

尺寸(长宽高):450*450*310mm

整机重量:1100g

最大起飞重量:1500g

飞行时间:15-20min

电池:3S/5200mAh

电机:2212/KV980

【5.5 航迹规划系统】

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图26

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图27

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图28

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图29

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图30

基于光学动作捕捉系统的无人机高精度室内定位,轻松实现室内悬停,便于室内飞行训练、科研、展示等场景使用。

【5.6 无人机室内飞行验证系统】

用于准确测量物体(刚体)在室内三维空间运动信息的设备具有高精度的室内定位能力,能够给室内小车、无人机、机器人、机械手臂等智能体提供高精度的空间位置信息。

  • 用途

算法验证、轨迹规划、集群控制、深度学习验证、智慧沙盘等

  • 提升飞控系统开发效率

在对无人机飞行控制系统进行开发时,工程师需要对空中悬停、飞行中避障、机身姿态控制、着陆等功能进行开发和测试,因此工程师需要一把工作在三维空间中的尺子,实时对无人机在空间中的高度、位置、姿态、抖动、延时等指标进行测量,以提升开发效率。

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图31

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图32

  • 作为编队的测量基准

在对无人机、无人车等智能体进行高精度编队时,工程师需要构建一个空间测量基准,该基准可以实时精确测量每个智能体在空间中的位置和姿态,并通过运行有控制软件(如ROS)的计算机下达编队指令。

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图33

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图34

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图35



  • 工作原理
精准记录运动信息,基于计算机视觉原理,光学室内定位系统通过布置在空间中的多个红外摄像机捕捉区域内物体上反光标识点的运动信息,并以图像的形式记录下来。
实时解算六自由度位姿,利用计算机对捕捉到的图像数据进行处理,实时地解算出运动物体的六自由度位姿,即三自由度位置(X,Y, Z坐标)和三自由度姿态(俯仰角,偏航角和滚转角)。该系统也可以称为“室内定位系统”或“室内GPS”。
多架相机支持,覆盖范围广,光学室内定位系统采用智能相机,将反光球图像坐标传到主机,不同相机数目将产生不同的覆盖范围,相机越多,覆盖范围越大。

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图36

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图37

悟空™光学动捕系统是基于光学惯性融合技术的高精度、高可靠性动作捕捉系统。悟空™不仅可以提供传统光学动作捕捉系统所能提供的DoF、亚毫米级实时空间动捕数据。

【5.7 Python二次开发SLAM无人机】
人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图38

星环科技探索者2是SLAM无人机。首先先了解什么是SLAM,根据百度百科定义如下SLAM (simultaneous localization and mapping),也称为CML (Concurrent Mapping and Localization), 即时定位与地图构建,或并发建图与定位。问题可以描述为:将一个机器人放入未知环境中的未知位置,是否有办法让机器人一边移动一边逐步描绘出此环境完全的地图,所谓完全的地图(a consistent map)是指不受障碍行进到房间可进入的每个角落。那么SLAM无人机就是具备即时定位与地图构建功能的无人机。

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图39

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图40
人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图41

无人机想要稳定的飞行,就需要实时的位置坐标采样,作为控制的闭环反馈。

无人机在任何有卫星信号的地方,我们都可以使用卫星信号进行定位,或者在空旷方便布置RTK信标的地方我们也可以采用RTK基站式定位,这些统一来讲属于外辅助定位。当然在室内场景,也有光学动捕系统和UWB的外定位措施,但这以上的定位都无法应对在未知地形或难以架设外定位设备的场景飞行,且普遍成本较高。

因此,想要在卫星信号拒止的未知环境飞行,SLAM无人机就派上了用场,比如飞入一栋大楼、一条隧道等环境进行勘察,或者在仓库车间内巡检与盘点,既没有卫星信号也无法提前架设外定位设备。

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图42

图像回传数据做机器视觉或深度学习算法:

根据回传的图像,可在地面站上部署机器视觉算法或深度学习网络,根据开发者需求,做相应的目标检测、分类识别等与无人机飞行相关的应用。

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图43

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图44

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图45

  • 开发接口

搜索无人机

XilunaDrone.Search().GetDroneIP()

实例化无人机

XilunaDrone.Drone(DroneIP, MapCallback,ViewfinderSize)

激活无人机

drone.Active(SERIAL_NUM)

开启SLAM

drone.StartSlam()

关闭SLAM

drone.StopSlam()

地图回调函数

DroneMapCallback(droneData, viewFinderData)

起飞

drone.TakeOff(timeout)

降落

drone.Land(timeout)

设置目标航点

drone.SetVirtualJoystick(Sx,Sy,Sz,Yaw)

  • Python基础实验

1

搜索无人机

2

激活无人机

3

获取SLAM地图和位姿数据

4

以箭头形式绘制无人机位置

5

鼠标拖拽移动取景窗查看地图

6

取景窗自动随无人机位置移动

7

获取无人机前置相机图像

8

合并显示地图与前置相机图像

9

下发飞控指令1---起飞---降落

10

下发飞控指令2---探索打点飞行

  • 特征

续航时间

25分钟

高精度雷达

单线360°激光雷达

最大飞行速度

1m/s

建图及定位方式

单线激光雷达与惯导融合SLAM

建图分辨率

5cm

最大建图面积

1000 m^2

电池安装方式

快速插拔电池

路径规划方式

手动设置航点

图像实时回传

分辨率640*480 帧率30Hz

允许作业环境

系统工作环境为室内幻境,且20米内存在多面障碍物

雷达单次扫描环境中平行长廊或圆形建筑的面积不超过该次扫描环境的30%

雷达单次扫描环境中低反射率面(常见如镜面、玻璃窗等)的面积不超过该次扫描环境的40%

禁止对楼梯、扶梯等进行攀爬飞行任务

【5.8 AI视觉无人机(Owl)】

Owl是专为科研工作者与航天器开发者打造的小型化无人机开发平台,它搭载visdrone视觉模块,适用于无GPS环境下基于视觉的无人机定位/导航/避障算法的验证与开发,以及室内无人机组网编队的研究。Owl拥有自主的双目传感器和开发平台,平台支持ROS接口,提供了6核CPU和5Tops TPU计算资源。同时预装了融合了港科大的VINS_Fusion VIO算法的自定位系统,可以满足室内无人机定位需求。同时提供了EGO-Planner视觉避障算法,可以提供视觉避障功能。

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图46

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图47



02:09



平台开源(ROS、UBUNTU),定位、避障算法开源,无人机代码开源。
适合本科后期研究生初期及科研。

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图48

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图49

【5.9 多智能体控制】


多智能体协同控制系统即多个智能体组成的集合,它的目标是将大而复杂的系统集成设成小的、彼此互相通信和协调的、易于管理的系统。多智能体协同控制系统在表达实际系统时,通过各智能体间的通讯、合作、互解、协调、调度、管理及控制来表达系统的机构、功能及行为特性。

多智能体系统控制具有自主性、分布性、协调性,并具有自组织能力、学习能力和推理能力。采用多智能体协同控制系统解决实际应用问题,具有很强的鲁棒性和可靠性,并具有较高的问题求解效率。

多智能体协同控制系统是智能体技术应用及研究的一个质的飞跃,不同行业的专家学者对之进行了深入的研究并从多个角度阐述了多智能体系统用于解决实际问题的优势,归纳起来,主要有以下几点:

1、在多智能体协同控制系统中,每个智能体具有独立性和自主性,能够解决给定的子问题,自主地推理和规划并选择适当的策略,并以特定的方式影响环境;

2、多智能体协同控制系统支持分布式应用,所以要具有良好的模块性、易于扩展性和设计灵活简单,克服了建设一个庞大的系统所造成的管理和扩展的困难,应有效降低系统的总成本;

3、在多智能体协同控制系统实现过程中,不追求单个庞大复杂的体系,而是按面向对象的方法构造多层次、多元化的“蜂群”智能体,要降低系统的复杂性,也要降低各智能体问题求解的复杂性;

4、多智能体协同控制系统是一个讲究协调的系统,各智能体通过互相协调去解决大规模的复杂问题;“蜂群”智能体空地一体系统多智能体协同控制系统也是一个集成系统,它采用信息集成技术,将各子系统的信息集成在一起,完成复杂系统的集成;

5、在多智能体协同控制系统中,各智能体之间互相通信,彼此协调,并行地求解问题,因此能有效地提高问题求解的能力。

多智能体协同控制系统是在多无人机运动中,各个无人机之间能够保持一定的相对距离,并在速度及位置上按照预设路线或命令进行运动的过程。基于MATLAB/Simulink进行硬件在环控制算法开发和验证,可通过MATLAB/Simulink软件直接获取高精度的姿态数据和图像数据,并提供多无人机协同控制的OEMO程序。

多智能体协同控制系统主要做以下三个方面的研究:

1、编队队形的设计:多个无人机在指令下运行至指定的位置,并最终实现既定的编队形态,除了需要考虑无人机气动力影响外之外,还要考虑任务要求及无人机间信息交换的冗余度,同时保证无人机之间不会发生碰撞;

2、编队队形的保持,在无人机执行指令过程中能克服来自系统内部或外在环境干扰,进而保持整个队形不变;

3、编队队形的变换:在无人机行进过程中能够适应来自系统内部或外在环境干扰而对编队做出适当且合理的改变。

多智能体协同控制系统需要通过对无人机的定位,获取其在空间中的位姿,这种位置位姿信息主要是六自由度姿态数据,进行多智能体之间通讯的建立,最后通过控制决策系统根据智能体空间内的位姿完成系统控制。

定位无人机的空间位姿,是多智能体协同控制系统研究、实验最为重要的部分,只有获取准确稳定的定位信息,才能良好的控制无人机。作为定位的传统方法,惯性测量单元(IMU)和惯导模块(INS)存在陀螺仪零点漂移严重,导致获取的姿态、速度等数据精度不够,存在误差累计,很难长时间独立工作。

多智能体协同控制系统采用光学动捕技术(定位精度可达亚毫米级别)或UWB(定位精度5-10cm)定位。并通过WiFi网络实现多机间的通信,能够将MATLAB/Simulink开发的无人机编队仿真算法直接生成代码下载到无人机中,在室内环境下进行多机分布式编队算法的验证。

  • 星环XH300无人机

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图50人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图51

 

星环XH300无人机是一款能够让研发人员基于matlab/simulink进行二次开发的多旋翼平台。用户可以通过simulink可视化编程,然后编译烧录进入板上MCU,利用simulink已有的强大工具进行飞控及导航算法模块化程序开发及验证。开发人员可在短时间内高效地验证其算法的有效性,而不需要担心繁琐的嵌入式开发流程。

星环XH300无人机提供稳定可靠飞行的Simulink模板,现有稳定的飞控程序完全开放,用户可以方便的进行修改或者在此基础上实现自己的飞控算法。所有的传感器数据:三轴陀螺仪,三轴加速度,三轴磁力,GPS,气压计,UWB超宽带以及动捕定位数据作为simulink输入接口,马达命令作为simulink输出接口。

除了飞控Simulink开发,星环XH300也配备了Simulink地面站,通过Simulink地面站用户可以得到无人机状态(位姿等),也可以通过simulink给无人机实时发送航点位置,速度或者姿态命令,同时也可以自定义无线传输数据的内容,为无人机调试带来了极大的便利性。板载flash实时高速记录传感器,马达及用户自定义数据,可以用于分析处理。

重量

1.2KG,4电机4S 5300mAH

1.8KG,8电机6S 6000mAH

最大飞行速度

15m/S

15m/S

最大可抗风速度

10m/S

10m/S

轴距

300 mm

300 mm

工作环境温度

-10 ~ 40 ℃

-10 ~ 40 ℃

悬停时间

20分钟

20分钟

最大负载重量

0.8KG

2 KG

最大负载重量下悬停时间

8分钟

6分钟

  •  可在GPS,动捕系统,UWB超宽带定位下自主飞行;

  • 所有代码均自主开发,所用嵌入式系统实时性强于PX4等开源飞控;

  • 无人机控制导航算法优于开源飞控,无人机飞行效果平稳并且轨迹跟踪精准;

  •  无人机不受磁场干扰。

  • 集群系统配置

  • Simulink飞控开发简介

星环X300无人机提供一颗高性能MCU(支持浮点运算)让研发人员可在Simulink上进行模块化算法设计,将设计好的Simulink文件编译成C/C++, 最后编译烧录进入板上MCU进行算法验证实验。利用simulink已有的强大工具进行飞控及导航算法模块化程序开发及验证,整个过程研发人员不需要关心嵌入式系统,传感器驱动,和各个消息之间的转换/获得等嵌入式层面知识/经验,给科研人员带来了极大的便利,从而提高研发效率。

Simulink开发模板示意图如下:

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图52

  • 实时拿到所有传感器数据及地面站无线命令,可以根据特定的算法修改位置控制环,角度控制环,最终输出为马达命令。用户也可以合并位置环和角度环,使控制器更加紧凑提高控制带宽。

  • 通过“Telemetry Arrangement”(数传)模块自定义向地面站无线传输任意一定带宽数据,方便在线调参或者实时观测控制器/滤波器状态。

  • 通过”Logging Arrangement”(板载数据记录)模块实时flash记录自定义数据,方便飞行后数据分析,所有数据将以1000hz记录于板载flash。

Simulink demo 例程将会提供:

  • 稳定的位置环Simulink控制器(position controller)

  • 稳定的姿态环Simulink控制器(attitude controller)

大机动飞行demo:圆形轨迹,半径1米,线速度4m/s

  • 无人机Simulink地面站(GCS)简介

星环无人机SIMULINK地面站(GCS)是一款基于Matlab/Simulink开发的,让科研人员容易调试飞控相关算法且方便添加其他功能模块的地面站系统。

Simulink GCS模板示意图如下:

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的图53

  • 通过状态向量机模块”Formation Trajectory”进行编队轨迹规划或者单架无人机轨迹规划

  • 通过“Telemetry_Inputs”模块自定义向无人机无线传输任意一定带宽数据,方便在线调参或者用于其他指令模式控制(比如游戏手柄输入等)。

  • 通过右边示波器模块实时观察无人机飞行数据,和无人机自定义下发数据。

  • 通过命令按钮发送一些常用无人机指令,比如解锁(Arm), 起飞(Takeoff), 降落(Land)等。

Simulink demo 例程将会提供:

  •  圆形集群轨迹

  • 集群轨迹(包含直线,圆形旋转,三角形等)

人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的评论0条

    暂无评论

    人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的相关视频课程

    人工智能专业----无人机插上人工智能的翅膀(UAV+Al)的相关案例教程

    凡是从事信息技术相关工作的童鞋,一定都听 说过嵌入式和单片机。 大家都知道,这两个名词,和硬件系统有着非常密切的关系。 但是,如果要问具体什么是嵌入式,什么是单片机,它们之间究竟有什么区别,我相信大部分人并不能解释清楚。 今天,小枣君就给大家做一个入门科普,揭秘上述问题的答案。 与此同时,我也顺便解释一下,我们常说的51、STM32,究竟是什么。 ▉ 什么是嵌入式 首先,我们来看看什么是嵌入式。
    凡是从事信息技术相关工作的童鞋,一定都听说过嵌入式和单片机。 大家都知道,这两个名词,和硬件系统有着非常密切的关系。 但是,如果要问具体什么是嵌入式,什么是单片机,它们之间究竟有什么区别,我相信大部分人并不能解释清楚。 今天,小枣君就给大家做一个入门科普,揭秘上述问题的答案。 与此同时,我也顺便解释一下,我们常说的51、STM32,究竟是什么。 ▉ 什么是嵌入式 首先,我们来看看什么是嵌入式。 嵌
    来源:九脉新视界 芯片是智能产业的“大脑中枢”,在疫情的冲击下,全球面临“缺芯”危机,企业更是寸步难行,但从另一方面来说也给国产MCU带来了破局的机会。今天就带大家了解一下芯片MCU: MCU是Microcontroller Unit 的简称,中文叫微控制单元,俗称单片机,是把CPU的频率与规格做适当缩减,并将(memory)、计数器(Timer)、USB、A/D转换、UART、PLC、DMA等周
    以下是文字版: 今天给大家带来一个新的8位MCU,由Silicon Labs生产的高性价比的MCU——BB5系列。 关于8位的MCU,常见的有宏晶半导体的STC系列、意法半导体的STM8系列,还有新塘科技的8位MCU和一些其他国产品牌。大家可能对SiliconLabs的8位MCU了解得比较少,下面就来详细介绍一下BB5系列。 本文分为三部分: 一是BB5系列的架构和特性; 二是BB5系列的市场应用
    随着可穿戴、个人医疗、家庭自动化和工业传感器等智能设备的增长,对低功耗、高性能、高安全性的MCU(微控制器)的需求日益提升。今年3月,意法半导体(ST)在其经典的超低功耗L系列基础上,推出了新一代产品线——STM32U5。其在安全方面,成为首款获得PSA和SESIP 3级认证的MCU。 U5的制胜法宝是什么?不久前,ST中国区微控制器事业部市场及应用总监曹锦东、ST中国区微控制器产品市场经理彭祖年
    影响力
    粉丝
    内容
    获赞
    收藏
      项目客服
      培训客服
      0 0