我们知道多数监控摄像头都是支持RTMP协议的,当然公安部的摄像头是支持GB28181协议的,这个我们在本文不做过多赘述,我们来探讨一下网页播放RTMP视频流的播放器。 ? ? 网页可以播放RTMP视频流吗?当然是可以的,但是对于PC端来说,网页播放RTMP流媒体视频流将会承受更多的服务器压力,满足网页播放RTMP视频流有哪些要求,下文我们一起来看一下。 1.便捷。 跨平台支持PC端、安卓端、iOS端等主流终端; 3.易用。无须安装任何自有插件、监控APP等,减少资源消耗; 4.无限制。对接自有流媒体服务器平台,不限制观看人数。 我们研发的流媒体服务器自身支持对成功接入的摄像机实时视频进行7*24h录像,支持录像的检索与回放,并且支持网络硬盘录像机NVR按设备、通道、日期获取对应录像文件进行录像的检索与回放,无需安装各个安防厂商的视频播放插件 本文已经为大家介绍完毕啦,结论就是网页是能够播放RTMP视频流的,如果想体验网页播放RTMP视频流的流媒体服务器或者播放器,可以继续关注本栏目。
这种情况下,抓包可以看到数据持续到达,RTSP 或 RTMP 连接也是正常的,甚至音频可能已经可以播放,但视频画面始终不出来。如果播放器缺乏 GDR 识别能力,问题排查会非常困难。2. 这一步是 GDR 支持的基础。没有 SEI 层面的解析,播放器就无法知道 GDR 流真正的恢复入口。2. 帧语义层:扩展关键帧判断模型传统播放器往往只有一个简单判断:是否为 IDR。 开发者仍然按照常规方式打开 RTSP、RTMP 或其他视频流,不需要关心底层到底是 IDR 刷新还是 GDR 刷新。3. 协议接入层:贯穿 RTSP/RTMP 等链路GDR 支持并不是单点能力。 降低黑屏和起播失败的排查成本在没有 GDR 支持的播放器中,遇到黑屏问题时,开发者可能会反复排查网络、协议、认证、解码器、硬件加速等多个方向。 七、为什么说 GDR 支持体现了工程深度?很多播放器 Demo 在标准流下都能正常播放,但真正进入行业项目时,问题往往出现在边界场景。
低延迟:大多数RTMP的播放都面向直播场景,如果延迟过大,严重影响体验,所以,低延迟是衡量一个好的RTMP播放器非常重要的指标,目前大牛直播SDK的RTMP直播播放延迟比开源播放器更优异(大牛直播SDK 支持多实例:大牛直播SDK提供的RTMP直播播放SDK支持在设备性能允许的情况下,支持多实例播放RTMP流数据,大多开源播放器对多实例支持不太友好; 除了常规的多实例外,比如大屏监控场景下,尽管我们CPU 支持buffer time设置:在一些有网络抖动的场景,播放器需要支持buffer time设置,一般来说,以毫秒计,开源播放器对此支持不够友好; 5. 视频view旋转:好多摄像头由于安装限制,导致图像倒置,所以一个好的RTMP播放器应该支持如视频view实时旋转(0° 90° 180° 270°)、水平反转、垂直反转,开源或第三方播放器不具备此功能; 长期运行稳定性:大牛直播SDK提供的RTMP直播播放SDK适用于长时间运行,开源播放器对长时间运行稳定性支持较差; 11.
现在,RTMP支持HEVC出新标准了,详见Enhanced RTMP。这个标准定义了一个新的codec ID,用于HEVC,即fourCC hvc1, OBS和SRS都支持这个标准。 • 对于H5播放器,SRS已经升级了mpegjs.js到1.7.3+ • FFmpeg还不支持RTMP的HEVC,但是一些维护者正在努力中了。 现在,你可以使用H5播放器播放了,如下: http://localhost:8080/live/livestream.ts. 如果需要用HLS或HTTP-FLV播放,开启对应的SRS配置即可。 你可以给FFmpeg打补丁,支持RTMP的HEVC,参考FFmpeg HEVC SRS支持HEVC WebRTC,支持的是Safari浏览器,但SRS不支持RTMP转WebRTC,我们正在开发中了。 One More Thing 往事如烟,6年前给FFmpeg提过FFmpeg RTMP HEVC,但是当时FFmpeg社区说RTMP标准没有支持,所以FFmpeg也不支持。
我们在实现Windows平台RTSP播放器或RTMP播放器的时候,需要考虑的点很多,比如多实例设计、多绘制模式兼容、软硬解码支持、快照、RTSP下TCP-UDP自动切换等,以下就其中几个方面,做个大概的探讨 NT_SP_IsSupportD3DRender(),检测是否支持D3D模式,如果支持的话,调用NT_SP_SetRenderWindow(), 然后,设置是否等比例缩放(调用NT_SP_SetRenderScaleMode 特定机型硬解码 Windows平台硬解码,主要适用于性能偏弱的PC端,或者有多路播放诉求的场景,一般建议在软解性能没问题的情况下,尽量软解,具体处理如下,先检测系统是否支持硬解,如果支持,再做硬解设置, 实时快照 实时快照功能不表,是一个好的RTSP播放器和RTMP播放器必备的功能,实时快照是把解码后的yuv数据重新编码成png,所以有一定的CPU消耗,不建议过于频繁操作,具体实现如下: 播放器设计过程中的其他点,做更进一步的探讨,谢谢大家的关注。
技术背景RTMP播放器的延迟可以受到多种因素的影响,包括网络状况、推流设置、播放器配置以及CDN分发等。因此,RTMP播放器的延迟并不是一个固定的数值,而是可以在一定范围内变化的。 正常情况下,网上大多看到的,针对RTMP播放器的延迟在2秒到3秒左右。这是基于RTMP协议本身的特性和一般的推流、播放设置所得出的结论。 然而,当网络状况不佳、推流设置不当或播放器配置不合理时,延迟可能会增加。具体来说,RTMP播放器的延迟可能受到以下因素的影响:网络状况:网络延迟和丢包是影响RTMP播放器延迟的重要因素。 此外,由于视频数据的处理和传输需要一定的时间,因此即使在最理想的情况下,RTMP播放器的延迟也会存在一定的最小值。综上所述,RTMP播放器的延迟可以控制在一定范围内,但具体数值会受到多种因素的影响。 所以,我们可以有底气的说,在没测试过大牛直播SDK的SmartPlayer RTMP播放器之前,你甚至不相信行业内,RTMP播放器延迟可以稳定的做到毫秒级。
很多开发者在开发RTSP或RTMP播放器的时候,不晓得哪些event回调事件是有意义的,针对此,我们以大牛直播SDK(github)的Android平台RTSP/RTMP直播播放端为例,简单介绍下常用的 流实时下载回调:显示播放rtsp或rtmp流时,实时流量,注意,这块最好是可设置回调时间间隔,防止不必要的资源消耗; 8. RTSP错误状态:如401鉴权不通过。 会返回缓冲百分比)EVENT_DANIULIVE_ERC_PLAYER_STOP_BUFFERING停止缓冲数据EVENT_DANIULIVE_ERC_PLAYER_DOWNLOAD_SPEED返回当前 RTSP/RTMP
从高效率的角度,磨刀不误砍柴工,在模块集成之前,还是希望开发者能了解播放器集成的一些前置条件,少走弯路,尽快完成RTSP、RTMP低延迟播放能力构建。 本文不关注接口集成调用细节,主要介绍下,播放器集成的一些前置条件和注意事项。 停止播放RTSP/RTMP流关闭播放实例SmartPlayerClose结束时必须调用close接口释放资源功能支持音频:AAC/Speex(RTMP)/PCMA/PCMU;视频:H.264、H.265 ;播放协议:RTSP|RTMP;支持纯音频、纯视频、音视频播放;支持多实例播放;支持软解码,特定机型硬解码;支持RTSP TCP、UDP模式设置;支持RTSP TCP、UDP模式自动切换;支持RTSP超时时间设置 ;支持实时音量调节;支持解码前音视频数据回调;支持解码后YUV/RGB数据回调;支持Enhanced RTMP;支持扩展录像功能; 支持Android 5.1及以上版本。
可以在播放画面添加OSD台标,以实现字符叠加效果,大多开发者可很轻松的实现以上效果,针对此,本文以大牛直播SDK (Github)的Windows平台demo为例,简单介绍下具体实现: Windows平台RTMP 播放器、RTSP播放器C++ demo Windows平台C++的demo,以录像过程为例,动态在左上角显示个闪动的图标+当前时间,具体效果如下: CPP添加osd.png 核心代码 std::shared_ptr data_.swap(buffer); } bitmap.UnlockBits(&locked_bitmapData); } return logo_image; } Windows平台RTMP 播放器、RTSP播放器C# demo Windows平台C#的demo,添加了“设置台标”选择框,在player窗口左上角显示“叠加字符展示”,具体内容、坐标可自定义,具体效果如下: 添加osd.png
RTMP要支持H.265,大家约定俗成的做法是扩展flv协议,CDN厂商携手给出的解决方案是给flv的videotag CodecID增加一个新类型(12)来表示h265(hevc),和h264不同的地方是要解析 技术实现本文以大牛直播SDK的Windows平台RTMP直播推送和RTMP直播播放模块为例,考虑到老的扩展CodecID 12的场景依然使用,我们添加了个设置接口:RTMP推送端,对应文件为SmartPublisherSDK 1,那就是扩展头,Enhanced-Rtmp格式。 推流URL,实现Enhanced RTMP推送,播放端拉流播放,整体延迟如下:可以看到,尽管开启了Enhanced RTMP,整体延迟还在毫秒级。 技术总结鉴于目前RTMP扩展265这块,大多还是用的老的CodecID设置为12的模式,如果需要支持新的Enhanced RTMP,除了推送端和播放端外,RTMP服务端也需要做响应的调整,来适配这种情况
好多开发者在QT环境下实现RTMP或RTSP播放时,首先考虑到的是集成VLC,集成后,却发现VLC在延迟、断网重连、稳定性等各个方面不尽人意,无法满足上线环境需求。 本文以调用大牛直播SDK(官方)的Windows平台播放端SDK为例,介绍下如何在QT下实现低延迟的RTMP|RTSP播放器,废话不多说,先上图: QTPlayer.png 大牛直播SDK有MFC的demo } return false; } is_playing_ = true; return true; } 开始播放封装,调用了OpenPlayerHandle(),检查系统是不是支持特定机型硬解码 play->OnWindowSize(widgets.at(i)->width(), widgets.at(i)->height()); } } } 以上是QT环境下集成个低延迟的RTMP
播放器秒开意义2015年我们做了RTMP直播播放器没多久,就加了快速播放接口,今天就从播放器用户体验的维度,谈谈为什么要做这个:一、提升用户体验减少等待焦虑 在当今快节奏的生活中,用户的耐心有限。 对于拉流端,优化播放器对这些协议的支持,使其能够快速解析和播放直播流。例如,HLS 协议支持切片播放,播放器可以在下载少量切片后就开始播放,从而实现秒开。 四、技术选型和优化 选择高效的播放器内核:选择性能强大、支持快速播放的播放器内核,如 FFmpeg、VLC 等,如果直播播放器,可以选用大牛直播SDK的SmartPlayer。 例如,在支持硬件解码的设备上,启用硬件解码可以大大减少 CPU 的负担,提高解码速度,从而实现秒开。 优化代码和算法:对播放器的代码进行优化,提高代码的执行效率。 直播播放器秒开接口设计本文以大牛直播SDK的安卓平台接口设计为例,介绍下快速启动接口的设计,RTMP直播播放器做秒开的前提是,服务器可以缓存GOP数据,播放端拉取到数据后,快速渲染,让用户看到视频画面,
无需赘述,全自研内核,行业内一致认可的跨平台RTSP、RTMP直播播放器。本文以iOS平台为例,介绍下如何集成RTSP、RTMP播放模块。 iOS端,RTMP|RTSP直播播放,我们设计实现的功能如下:音频:AAC/PCMA/PCMU/SPEEX(RTMP);视频:H.264;播放协议:RTMP或RTSP;支持纯音频、纯视频、音视频播放;支持多实例播放 ;[RTSP协议]支持上报RTSP 401事件,如URL携带鉴权信息,会自动处理;支持buffer time设置;支持实时静音、取消静音;支持首屏秒开功能(需服务器缓存GOP);支持超低延迟模式; 断网自动重连 ,支持视频追赶;支持视频view实时旋转(0° 90° 180° 270°);支持视频view水平反转、垂直反转;支持图像等比例缩放绘制;支持实时快照;支持实时音量调节;支持YUV数据回调;支持H.264 |H.265数据回调;支持AAC/SPEEX/PCMA/PCMU数据回调;支持RTMP扩展H.265播放(Enhanced RTMP);支持扩展录像功能;支持Unity3D接口;支持H.264扩展SEI
在菜单栏输入rtmp流地址后,关闭窗口,在closeEvent方法中发送信号,主线程接收到该信号后,调用网络流线程解码,同时视频显示窗口刷新解码后的img, 这样网络流就可以播放了。 ui.lineEdit_IP->text();CommonUtils::writeIni(m_iniPath, m_iniKey, address);emit(PushStream(address));}菜单栏这是湖南卫视的rtmp 流 rtmp://58.200.131.2:1935/livetv/hunantv主界面接收PushStream信号connect(&m_NetDlg, SIGNAL(PushStream(QString setWindowTitle(address);NetStreamThread::getInstance()->startPlay(address);}通过调用NetStreamThread线程类解码rtmp
我们在Windows平台实现RTSP或者RTMP播放的时候,有个功能是绕不开的,那就是播放窗口全屏。 本文就以大牛直播SDK(官方)的Windows播放器为例,大概讲下大概实现: 全屏播放需要考虑的点不多: 第一:视频播放后,全屏的意义; 第二:全屏后,是否等比例显示,我们的设计原则是,之前等比例显示的
摘要本文详细介绍了在 Android 平台上集成 RTSP 和 RTMP 直播播放模块的技术背景、系统要求、准备工作、接口设计、功能支持以及接口调用流程。 初始化接口 SmartPlayerOpen:初始化播放器,设置上下文信息,返回播放实例句柄。 DisableEnhancedRTMP:禁用 Enhanced RTMP。 CaptureImage:支持 JPEG 和 PNG 格式的实时截图。 五、功能支持 音频支持:AAC、Speex(RTMP)、PCMA、PCMU。 视频支持:H.264、H.265。 播放协议:RTSP、RTMP。 播放模式:支持纯音频、纯视频、音视频播放。 数据回调:支持解码前音视频数据回调、解码后 YUV/RGB 数据回调。 RTMP 增强:支持 Enhanced RTMP。 录像功能:支持扩展录像功能。
概述与优势1.1 SDK功能特性1.1.1 支持协议与格式 支持RTMP、RTSP协议,兼容H.265、H.264视频格式及AAC、PCMA等音频格式,满足多样化播放需求。 Unity播放器架构设计2.1 核心模块划分2.1.1 PlayerInstance模块 管理单个播放实例的生命周期,负责视频播放、录制及视频帧回调。 开启RTSP TCP/UDP自动切换功能,使播放器能根据网络状况自动选择最优传输模式。 变化时重新初始化Unity的Texture2D,避免每帧重建(通过is_need_init_texture_标志控制) 结语通过大牛直播SDK的深度集成与参数调优,开发者能够在Unity中构建毫秒级延迟的RTSP/RTMP 播放器,适用于VR、安防、直播等高实时性场景。
无需赘述,全自研内核,行业内一致认可的跨平台RTSP、RTMP直播播放器。本文以Android平台为例,介绍下如何集成RTSP、RTMP播放模块。 DisableEnhancedRTMP disable enhanced RTMP, SDK默认是开启enhanced RTMP的 实时截图 CaptureImage 支持JPEG和PNG两种格式 结束时必须调用close接口释放资源 功能支持 音频:AAC/Speex(RTMP)/PCMA/PCMU; 视频:H.264、H.265; 播放协议:RTSP|RTMP; 支持纯音频、纯视频、音视频播放 ; 支持多实例播放; 支持软解码,特定机型硬解码; 支持RTSP TCP、UDP模式设置; 支持RTSP TCP、UDP模式自动切换; 支持RTSP超时时间设置,单位:秒; 支持buffer时间设置,单位 ; 支持解码后YUV/RGB数据回调; 支持Enhanced RTMP; 支持扩展录像功能; 支持Android 5.1及以上版本。
我们需要怎样的直播播放器?很多开发者在跟我聊天的时候,经常问我,为什么一个RTMP或RTSP播放器,你们需要设计那么多的接口,真的有必要吗? 带着这样的疑惑,我们今天聊聊Android平台RTMP、RTSP播放器常规功能,如软硬解码设置、实时音量调节、实时快照、实时录像、视频view翻转和旋转、画面填充模式设定、解码后YUV、RGB数据回调等 :图片延迟延迟延迟RTMP或RTSP直播播放器,特别是在一些交互场景下,对延迟要求近乎苛刻,所以,毫秒级的延迟,是一个直播播放器聊下去的基础,200-400ms的整体时延,是大家比较期望的,是的,你没看错 ,RTMP的也可以做到极低延迟。 或RTSP播放器,还需要支持的客制化功能有支持回调H.264/H.265/AAC数据,或回到解码后的YUV或RGB数据,设置播放缓冲、设置快速播放、设置音频输出类型等,一个通用的RTSP、RTMP播放器
,我们可能无法直接通过播放器控制音量,这时候,可以使用操作系统的全局音频控制来调节RTSP或RTMP播放器的音量。 当你调整系统音量时,所有正在播放音频的应用程序(包括 RTMP 播放器)的音量也会相应地改变。 利用播放模块自带的音量调节控制一个功能完善的RTSP或RTMP播放器,一般自带实时静音或实时音量调节,如果支持这种模式,就非常方便,可以只条件播放器的volume,不影响系统的音量。 (可达150-300ms延迟)的RTSP、RTMP播放器,以下是其主要功能列表:播放协议支持: 广泛的流媒体协议:支持 RTMP、RTSP 等主流直播流媒体协议,可播放相应协议的直播视频流,适用于多种直播场景 播放器如何设计音量调节接口 以大牛直播SDK的Windows平台RTSP、RTMP播放器为例,最早,我们设计的接口如下,直接通过实时静音来完成音量调节:/* * smart_player_sdk.cs