移动机器人的视觉感知系统，以往常用的是诸如OpenCV和一些深度学习的视觉库。然而这类大而全的视觉库，很少针对移动机器人进行优化(尤其是针对无人机)，也不会针对硬件进行相关的优化。
机器人尤其是无人机直接使用深度学习库会面临什么问题？
直接使用OpenCV、Pytorch等深度学习库部署到无人机平台存在很多问题，如无人机相关软硬件接口（吊舱、数据链、地面站、多机机间通讯） 难以统一，相关探测感知算法在性能与效率方面难以适应边缘机载计算机，导致无人机OODA中的感知与认知成为多数应用的瓶颈。
因此，有必要推进研发一套专为无人机和移动机器人设计的视觉感知与认知框架，形成一套用于无人机的视觉感知框架解决方案，打造出机器人视觉感知专用版OpenCV。
正是在这个特定的行业背景下，我们的 SpireCV 机器人视觉开源项目应运而生。
【全新开源项目】专为智能无人系统打造的边缘实时感知 SDK 库 SpireCV 
https://mp.weixin.qq.com/s?__biz=MzIwNzgxNzg0Mg==&mid=2247544685&idx=1&sn=2352672ecae97b5d6ca69ca8f7dc3e54&chksm=970ef270a0797b660ad1f2cb5da77d660f67e94fb19b2bd46d9f146727c300acdf86192212ea&token=1720543255&lang=zh_CN#rd
SpireCV是一个专为智能无人系统打造的边缘实时感知SDK库，主要功能包括相机/吊舱控制、视频保存与推流、目标探测识别与跟踪、边缘数据管理迭代等。旨在为移动机器人开发者提供高性能、高可靠、接口简洁、功能丰富的视觉感知能力，让开发者更加聚焦在具体的算法和算子的开发上。
Spire的英文是塔尖，顶尖的意思，CV是计算机视觉。我们希望SpireCV视觉感知库，能成为一流的移动机器人视觉库，提升机器人视觉开发者的开发效率。同时可以和众多的开发者一道实现机器智能。
对于移动机器人视觉算法开发者来说，以上的功能模块，都属于基础通用功能，在这些功能基础之上，加入视频处理算法模块，才构成一个完整的机器人视觉感知。这些通用功能，是视觉感知的基座。也是我们主要优化的事情，我们会持续的在编解码上，视频传输上进行优化，提升性能和兼容更多的外部接口，是这个项目的突出优势之一。节约了开发者的时间，提升了效率。
SpireCV项目地址：https://gitee.com/amovlab/SpireCV
项目优势：
-
统一感知软硬件接口，提供现有demo和软件框架的技术支持；
-
具备高性能、功能丰富、接口简洁的视觉感知能力；
-
支持多平台部署。
标注工具集成
SpireView 自动化标注工具可以减少人工标注的成本和时间，从而降低整个深度学习项目的成本。这可以让更多的企业和组织参与深度学习项目，促进深度学习技术的发展和应用。
SpireView工具地址：https://gitee.com/amovlab1/spireview.git
视频算法模块：
二维码检测
起降标志检测
目标框选追踪
通用目标检测
椭圆检测
目标点击追踪
技术框架：
为了方便开发者对 SpireCV 开源项目进行交流，我们创建了官网论坛和开源项目微信群：
官网论坛：SpireCV问答 – – AmovLab阿木实验室-让机器人研发更高效！ – -
我们还特别推出了，基于该项目的视觉开发者套件硬件产品，高度适配该项目，进一步提升开发效率。
配置一：
Allsaprk 2-Orin NX 16G 内存版本，提供100TOPS算力，搭配 Amovlab 自研吊舱 G1，性能强劲，适用于各种无人系统感知场景，可以实现吊舱控制。
配置二：
Allsaprk 2-Orin Nano，提供40TOPS算力，性能满足多种使用场景，搭配 Amovlab 自研吊舱 G1，也可以实现吊舱控制。
配置三：
Allsaprk 2-Orin Nano，提供40TOPS算力，性能足以应付数使用场景，加上 200 万像素 USB 相机，可以实现大多数 SpireCV 提供的功能，是性价比之选。
性能参数
| 机载电脑 | 参数 | 参数 |
|---|---|---|
| 型号 | Allspark 2-Orin NX 16G | Allspark 2-Orin Nano |
| 核心模组 | Nvidia Jetson Orin NX | Nvidia Jetson Orin Nano |
| AI 算力 | 100TOPS | 40TOPS |
| 显存 | 16GB LPDDR5 | 8GB LPDDR5 |
| GPU | 搭载 32 个 Tensor Core 的 1024 核 NVIDIA Ampere 架构 GPU | 搭载 32 个 Tensor Core 的 1024 核 NVIDIA Ampere 架构 GPU |
| GPU 最大频率 | 918 MHz | 625 MHz |
| CPU | 8 核 Arm® Cortex®-A78AE v8.2 64 位 CPU 2MB L2 + 4MB L3 | 6 核 Arm® Cortex®-A78AE v8.2 64 位 CPU 2MB L2 + 4MB L3 |
| CPU最大频率 | 2 GHz | 1.5 GHz |
| DL加速器 | 2x NVDLA v2 | - |
| DLA 最大频率 | 614 MHz | - |
| 视觉加速器 | 1x PVA v2 | - |
| 视频编码 | 1x 4K60 (H.265) 3x 4K30 (H.265) 6x 1080p60 (H.265) 12x1080p30 (H.265) | 1080p30 supported by 1-2 CPU cores |
| 视频解码 | 1x 8K30 (H.265) 2x 4K60 (H.265) 4x 4K30 (H.265) 9x 1080p60 (H.265) 18x 1080p30 (H.265) | 1x 4K60 (H.265) 2x 4K30 (H.265) 5x 1080p60 (H.265) 11x 1080p30 (H.265) |
| SSD | 128GB(内置M.2接口，可扩展) | 128GB(内置M.2接口，可扩展) |
| 显示 | Micro HDMI(1920*1080P) | Micro HDMI(1920*1080P) |
| 相机接口 | MIPI CSI x2 | MIPI CSI x2 |
| 吊舱 | 参数 |
|---|---|
| 型号 | G1 |
| 有效像素 | 1130 万 |
| 传感器尺寸 | 1/2.49" |
| 像素点尺寸 | 1.4*1.4μm |
| 视频格式 | H.264 |
| 视频分辨率 | 4K@24/25/30fps 2.7K@24/25/30/48/50/60fps 1080P@24/25/30/48/50/60/120fps 720P@24/25/30/48/50/60/120/240fps（推荐） |
| 光圈（F/No.) | 2.0 |
| 可控角度 | 俯仰：+90°~30°；横滚：±45°；偏航：±60° |
| 最大控制转速 | 180°/S |
| 重量 | 104g |
| 输出接口 | 网口/串口 |
| 储存 | SD卡，最高支持128G（U3卡） |
| USB免驱摄像头 | 参数 |
|---|---|
| 视频录制 | 1080P |
| USB 协议 | USB 2.0，兼容 USB1.0 和 USB3.0 |
| 镜头 | 6 镜片高清镜头 |
| 镜头焦距 | 3mm |
| 建议对焦距离 | 30cm 到 6 米 |
| 广角角度 | 130°（无畸变） |
| 兼容系统 | Windows XP，Windows 7，Windows 8，Windows 10，Mac，Ubuntu，树莓派，Android |
应用场景
硬件清单
| 名称 | 型号规格 | 数量/单位 |
|---|---|---|
| Allspark 2 | Allspark 2-Orin NX / Allspark 2-Orin Nano | 1 台 |
| 以太网转接板 | 4Pin GH1.25 转 RJ45 | 1个 |
| 电源适配器 | 12V@4A | 1 个 |
| 电源转接线 | DC5521 母转 XT30 母*2，30cm长 | 1 条 |
| Micro USB线 | Micro USB 2.0 转 Type A | 1 条 |
| 6P GH1.25转接线 | 6P GH1.25，15cm | 3 条 |
| 4P GH1.25转接线 | 4P GH1.25，15cm | 6 条 |
| 2.4G WiFi天线 | 178线，MMCX 直头内针，总长8cm，2.4G | 1 个 |
| HDMI 转接线 | Micro HDMI公转HDMI母口 | 1 条 |
| 固定螺栓 | M2.5*5 | 8 个 |
| G1吊舱 | G1 | 1 台 |
| 专用安装螺柱 | M2*40mm | 4 个 |
| 三合一连接线 | 网络、电源、相机控制接口 | 1 条 |
| USB 转串口模块 | / | 1 个 |
| 串口转接线 | / | 1 根 |
| 云台调试支架 | 上碳板 *1；下碳板 *1；螺柱 *4；螺栓 *8 | |
| 储存 | SD卡，最高支持128G（U3卡） | |
| USB摄像头 | USB 摄像头 | 1 台 |
| USB 数据线 | USB 数据线 | 1 条 |
如果您对SpireCV 开源项目，可联系我们进入开发者交流群~
