揭秘!SpireCV如何实现低延时推流、视频保存!

news/2024/7/10 21:11:41 标签: 开源, 无人机, 人工智能

引言

视频推流是指将实时的音视频数据通过网络传输到服务器或其他终端设备的过程。

无人机上则是通过搭载摄像头或录像设备,通过无线网络将实时拍摄到的视频数据传输到地面站或其他终端设备,使操作人员能够实时监视无人机所处位置的环境,并在远程地点观看无人机飞行状态和所拍摄到的实时画面。

这在无人机遥感监测、应急救援、安防监控等领域具有非常重要应用价值。作为一个专为智能无人系统打造的边缘实时感知SDK,SpireCV已实现并开源了这部分算法

图片
图1 SpireCV视频推流功能演示

如何使用视频推流功能?

推流功能使用SpireCV的视频推流类sv::VideoStreamer把输出图像/叠加的识别结果推流到网络上,主要实现代码如下:

// 实例化视频推流类sv::VideoStreamersv::VideoStreamer streamer;// 初始化 推流分辨率(640, 480),端口号8554,比特率2Mbstreamer.setup(cv::Size(640, 480), 8554, 2);while (1)  // 在循环中 推流 图像img{  // 将img推流到 地址:rtsp://ip:8554/live  streamer.stream(img);}

拉流功能使用SpireView软件实现,具体操作可参考阿木实验室官网SpireCV开发者套件的。

注:使用该功能之前需要提前部署好SpireCV的sdk。

视频推流实现原理

视频数据的原始体积是非常大的,以720P分辨率、60赫兹帧率的视频流为例,其一秒钟就将产生1.3GB以上的数据。如此体积的数据量无法直接在网络进行传输,需要借助于视频编解码技术。该技术可分为软件编解码、硬件编解码两种方式:

1)软件编解码:其优势在于灵活性、低成本和可定制性,能够适应不同的视频编码格式和算法,并且不需要额外的硬件设备,可以根据需求进行定制和扩展。然而,软件编解码的劣势是性能受限于CPU的计算能力和资源消耗较大。

2)硬件编解码:其利用专门的硬件芯片进行视频数据的压缩和解压缩,具有高效性、节能和兼容性等优势。通过专用硬件的加速处理,能够实现实时编解码和低延时推流,同时更加高效地利用硬件资源,降低能耗。此外,硬件编解码器通常支持各种常见的视频编码格式,可以与不同设备和平台兼容。

鉴于无人机对低延时推流、画面高质量的需求,SpireCV首先采用硬件编解码的方式实现图像流的编码,其次使用RTSP协议实现图像流在网络中的传输。

RTSP是 TCP/IP 协议体系中的一个应用层协议,该协议定义了一对多应用程序如何有效地通过 IP 网络传送多媒体数据。RTSP在体系结构上位于RTP和RTCP之上,它使用TCP或UDP完成数据传输。

视频保存

SpireCV同时也提供了视频保存的功能,同样使用硬件编码器实现,不额外占用机载计算机的CPU资源。保存实时视频到本地,同步保存检测、跟踪信息,视频(.avi)与信息(.svj)是分离的,具有如下优点:

1)离线回放时可以叠加实际检测、跟踪结果,方便定位问题。

2)保留了原始视频,方面持续补充数据集,不断改进检测、跟踪性能。

视频保存功能的具体实现与上述推流功能类似,详情请参考amovlab官网SpireCV开发者套件的wiki。

图片
图2 SpireView播放本地保存的视频文件演示


http://www.niftyadmin.cn/n/5209790.html

相关文章

插入排序(形象类比)

最近在看riscv手册的时候,里面有一段代码是插入排序,但是单看代码的时候有点迷,没看懂咋操作的,后来又查资料复习了一下,最终才把代码看明白,所以写篇博客记录一下。 插入排序像打扑克牌 这是我听到过比较形…

ubuntu22.04 arrch64版在线安装java环境

脚本 #安装java#!/bin/bashif type -p java; thenecho "Java has been installed."else#2.Installed Java , must install wgetwget -c https://repo.huaweicloud.com/java/jdk/8u151-b12/jdk-8u151-linux-arm64-vfp-hflt.tar.gz;tar -zxvf ./jdk-8u151-linux-arm6…

Charles 网络抓包工具详解与实战指南

文章目录 导读软件版本Charles基本原理核心功能下载及安装界面介绍网络包展示 常用场景介绍PC 端网络抓包移动端网络抓包PC 端配置手机端配置 开启 SSL 代理PC 端和移动端 CA 证书安装Charles 直接安装Charles 下载 CA 文件手动安装 常用操作请求重发请求改写、动态改写断点&am…

Python与设计模式--门面模式

8-Python与设计模式–门面模式 一、火警报警器(1) 假设有一组火警报警系统,由三个子元件构成:一个警报器,一个喷水器, 一个自动拨打电话的装置。其抽象如下: class AlarmSensor:def run(self):…

Grails 启动

Grails系列 Grails项目启动 文章目录 Grails系列Grails一、项目创建二、可能的问题1.依赖下载2.项目导入到idea失败3.项目导入到idea后运行报错 Grails Grails是一款基于Groovy语言的Web应用程序框架,它使用了许多流行的开源技术,如Spring Framework、…

判断虚拟机类型是VMware, AWS, Azure的一种方法

使用dmidecode,如下: # AWS: dmidecode -t system | grep ManufacturerManufacturer: Amazon EC2 # VMware: dmidecode -t system | grep ManufacturerManufacturer: VMware, Inc # Azure: dmidecode -t system | grep Manufactu…

党建信息管理系统源码 支持在线交党费 附带完整的搭建教程

传统的党建管理模式通常采用手工方式,不仅效率低下,而且容易出错。随着组织规模的扩大和党员数量的增加,这种管理方式已经无法满足现实需求。此外,传统的党建管理模式缺乏在线交党费功能,给党员带来不便。因此&#xf…

LeetCode 2824. 统计和小于目标的下标对数目

【LetMeFly】2824.统计和小于目标的下标对数目 力扣题目链接&#xff1a;https://leetcode.cn/problems/count-pairs-whose-sum-is-less-than-target/ 给你一个下标从 0 开始长度为 n 的整数数组 nums 和一个整数 target &#xff0c;请你返回满足 0 < i < j < n 且…