- 综合排序
- 最热优先
- 最新优先
- 来自专栏鸿的学习笔记
数据平台的那些事（2）
调度平台简述 数据平台中的地位 任务调度系统在数据平台中算是非常核心的组件了。 在日常的数据处理中，定时运行一些业务是很常见的事，比如定时从数据库将新增数据导入到数据平台，将数据平台处理后的数据导出到数据库或者是文件系统。 可以这么说，任务调度系统类似于军队的司令，指挥着数据平台上的各个组件的运行，时刻监督着任务的运行情况。 与资源调度系统的区别 在数据平台里，有着另一种调度系统，称为资源调度系统。 说它简单，是因为相对于数据平台的计算引擎、存储系统等分布式系统，它的复杂度很低；说它不简单，是因为一个优秀的任务调度系统不仅需要和数据平台的各种组件对接，甚至还需要引入权限控制、监控报警，质量分析等功能 ，比如大数据开发平台的离线数仓报表处理业务，从数据采集，清洗，到各个层级的报表的汇总运算，到最后数据导出到外部业务系统，一个完整的业务流程，可能涉及到成百上千个相互交叉依赖关联的作业 因此DAG工作流类调度系统在数据平台中使用的更加广泛
91330发布于 2019-07-08 - 来自专栏测试开发干货
(简易)测试数据构造平台: 2 (vue-cli)
但是我个人不推荐现在就去研究那么多用不到的，因为你如果还没接触过vue那么大概率也看不懂这些配置是什么意思，提前看只是浪费时间而已，当你看了好几天也一知半解的时候，别的小伙伴已经把平台做完了，这些配置甚至早都自悟出来了 （2个网址一个意思） http://localhost:8080/ 看到下面这个页面 即代表vue前端项目 单独启动成功。 之后我们就在这个项目内单独进行前端开发，需要的一切数据都可以利用http请求后台服务来获取。 好了，本节课任务结束。下节课，对两个项目进行初始化设置和解决跨域问题！
66340编辑于 2022-05-20 - 来自专栏PawSQL，在线的自动化SQL优化工具！
PawSQL数据库性能巡检平台（2） - 数据库对象巡检
数据库巡检是确保数据库健康运行的关键环节。今天，我们来深入了解PawSQL数据库性能巡检平台的对象巡检功能，助您构建更稳健的数据库运维体系。 ️ 巡检规则管理：定制你的数据库健康检查 1. 管理员模板：定制数据库类型的默认审查规则模板。 2. 用户级模板 非管理员用户也能创建个性化模板，灵活应用巡检规则。 对象巡检任务管理：掌控你的巡检节奏 1. 巡检结果分析：深入洞察数据库状态 1. 结果展示层次 列表视图：展示基本信息，异常，索引数量，最后巡检时间。 详细信息视图：提供完整结果详情，违规项，优化建议。 2. 为不同数据库类型创建专属模板，定制规则组合，定期更新。 2. 巡检执行建议 选择执行时间，避开业务高峰，合理设置周期，必要时手动补充。 及时处理问题，建立跟踪机制，定期总结优化效果。 结语 PawSQL平台的数据库对象巡检功能，为你提供了一套全面的规则管理、模板配置、任务执行和结果分析工具。通过这些系统化的巡检机制，你可以及时发现并优化数据库中的潜在问题。
47210编辑于 2024-10-29 - 来自专栏SDNLAB
【连载-2】数据中心网络虚拟化 主流平台产品介绍
如图 2所示，vCNS可以实现为不同的租户构建虚拟数据中心（VDC），并且不同的VDC可以采用完全定制化的网络和安全策略。 图2 VMware vCNS架构图[3] 1.3.NVP 上面的这些技术都是针对于VMware自身平台。实际上，最近几年OpenStack项目非常活跃。 2.IBM公司的网络虚拟化技术 IBM虚拟化平台Dove，全称分布式虚拟覆盖网络（Distributed Overlay Virtual nEtwork）[6]。 如图7所示，现有虚拟机VM-1需要向虚拟机VM-3发送数据，那么数据的具体流动路径如下： 1).VM-1发送的数据到达Host1上的dSwitch 2).dSwitch检查本地缓存，看是否有VM 服务链包含两层意思：1）此租户的数据包要经过哪些虚拟服务2）该租户的数据包以怎样的顺序经过这些虚拟服务节点。
2K70发布于 2018-04-02 - 来自专栏ET
什么是数据集成平台?数据集成平台推荐
数据集成平台的基础知识1. 什么是数据集成平台？数据集成平台是一种用于管理和协调数据流动的软件工具或服务。它的主要目标是将来自多个不同数据源的数据整合到一个统一的、易于访问和分析的数据存储库中。 这些数据源可以包括数据库、云应用、传感器、日志文件、社交媒体等等。数据集成平台的关键任务是确保数据的一致性、完整性和可靠性，以便业务用户可以信任和使用这些数据来做出决策。2. 数据整合数据集成平台的主要作用之一是将来自多个数据源的数据整合到一个统一的存储库中。这种整合可以消除数据孤岛，使企业能够更全面地了解其业务。2. 数据集成平台则更加通用，可以应对多种不同的数据集成需求，包括批处理和实时数据处理。数据集成平台工具介绍选择适合企业需求的数据集成平台至关重要。以下是一些推荐的数据集成平台1. Apache NifiApache Nifi 是一个强大的开源数据集成工具，提供了直观的用户界面和丰富的连接器，支持从各种数据源提取、转换和加载数据。它具有高度可扩展性和强大的数据流处理能力。2.
5.3K30编辑于 2023-09-19 - 来自专栏测试开发干货
接口测试平台184：并发用例报告数据收集-数据准备bug修复阶段 （2）
这个错误的意思是， 在数据库中查询这个叫做case_id的字段发生了报错，那我们打开models.py看一下就知道了。 原来问题是数据库中case_id的首字母大写。 所以改正代码如下： 再次测试： 本次报错为： 原来是wqrf_run_case.py中这个数据库写入的问题。 在我们之前从数据库提取的时候，忘记后面加上[0] 了，所以会报错说没有具体的字段，因为现在拿到的是一个类似列表，并不是确定的某行数据。 所以改成如下： 然后再次测试。 这回没有报错，输出正常： 然后我们去检查数据库： 发现了问题，我们存入的数据中忘记了 step_id: 所以在do_step函数中随便找个位置加上这句： 然后删除脏数据，再次测试： 这次的数据终于正常了 内部的数据也是正常的，没有发生混乱。
38530编辑于 2022-05-20 - 来自专栏时悦的学习笔记
DB2 Linux平台安装 Part 4 创建数据库
从今天开始DB2相关的内容 系统为 Redhat 7.4 数据库为 v10.5fp10 上节我们说了如何建立DB2实例，这节内容为建立数据库 DB2中一个实例下可以有多个数据库，一个数据库只能属于一个实例 建立数据库目录 首先我们建立存放容器(数据文件)的目录 这里我们假设建立的数据库名称为testdb su - root mkdir /db2data cd /db2data mkdir db2_archive 建立数据库 接下来我们建立数据库 su - db2inst1 # 如果db2未开启则先开启 db2start db2 CREATE DATABASE testdb ON /db2data USING 然后我们连接数据库 db2 activate db testdb db2 connect to testdb 3. /db2data目录里面 在创建数据库的时候我们指定了容器(数据文件)的目录 DB2会在该目录下建立如下目录,为本地数据库编录目录 /db2data/db2inst1/NODE0000 其中db2inst1
3.1K21发布于 2020-08-18 - 来自专栏RTSP/RTMP直播相关
Android平台实现Camera2数据推送到RTMP服务器
Camera2架构 在Google 推出Android 5.0的时候, Android Camera API 版本升级到了API2(android.hardware.camera2), 之前使用的API1 Camera API2相较于API1有很大不同, 并且API2是为了配合HAL3进行使用的, API2有很多API1不支持的特性, 比如: 更先进的API架构； 可以获取更多的帧(预览/拍照)信息以及手动控制每一帧的参数 2. 如何实现camera2数据对接RTMP推送： 通过OnImageAvailableListenerImpl 获取到原始数据，推送端以大牛直播SDK https://github.com/daniulive /SmarterStreaming/ 的万能推送接口为例，获取数据后，调用SmartPublisherOnImageYUV420888() 完成数据传送，底层进行二次处理后，编码后传输即可。
2K70发布于 2021-03-02 - 来自专栏VoiceVista语音智能
Qualcomm ARVRMR平台 - XR2
面向前途无量的XR扩展现实领域，高通今天正式发布了全新的骁龙XR2 5G平台，这也是全球第一个支持5G连接的XR平台，同时融入AI，可用于增强现实(AR)、虚拟现实(VR)、混合现实(MR)。 这是全球首个支持七路并行摄像头、且具备计算机视觉专用处理器的XR平台，还是首个通过支持低时延摄像头透视(camera pass-through)实现真正MR体验的XR平台. 高通去年曾推出骁龙XR平台，将继续存在面向主流XR市场，而骁龙XR2针对顶级XR体验，相比上代CPU和GPU性能提升2倍、视频带宽提升4倍、分辨率提升6倍、AI性能提升11倍，并针对视觉、交互、音频进行定制优化 交互性方面，骁龙XR2引入了七路并行摄像头支持，以及定制化的计算机视觉处理器。 多路并行摄像头可以高度精确地实时追踪用户的头部、嘴唇和眼球，并且支持26点手部骨骼追踪。 音频方面，骁龙XR2平台在丰富的3D空间音效中提供全新水平的音频层，以及非常清晰的语音交互，集成定制的始终开启的、低功耗的Hexagon DSP，支持语音激活、情境侦测等硬件加速特性。
97320发布于 2019-12-19 - 来自专栏RTSP/RTMP直播相关
如何实现Android平台GB28181设备对接Camera2数据
技术背景在写如何实现Android平台GB28181设备对接Camera2数据说明之前，我在前两年的blog就有针对camera2的RTMP直播推送模块做过技术分享：在Google 推出Android 本次更新，系在Android平台camera2 RTMP推送的基础上，继续支持Android平台GB28181设备和语音广播接入，此外，添加了基于层结构设计的动态水印（动态水印的场景应用特别实在传统行业 技术实现先说camera2的数据采集：private class OnImageAvailableListenerImpl implements ImageReader.OnImageAvailableListener = null ) { camera2Listener.onCameraImageData(image); } image.close(); } }}获取到的数据 crop_rect.top / 2) * planes[2].getRowStride() + (crop_rect.left / 2) * planes[2].getPixelStride();
97800编辑于 2022-09-27 - 来自专栏大数据文摘
D-News|工信部称将建2个公共工业云平台和1个工业大数据平台 IBM发布沃森数据平台
D-News每天独家推送大数据行业新闻合集，每天早上五分钟，再也不会错过大新闻~每逢周一您还可以听到新闻内容哦~ 【摘要】工信部称将建2个公共工业云平台和1个工业大数据平台；谷歌收购眼动追踪技术公司 Eyefluence，VR布局再下一城；IBM发布沃森数据平台：每个人都能从机器学习中受益，最新最全数据新闻，尽在本期D-News！ ◆ ◆ ◆ 政府动态 工信部：将建2个公共工业云平台和1个工业大数据平台 日前，工信部下发了《关于发布2016年工业转型升级(中国制造2025)重点项目指南的通知》。 据悉，工信部将选择条件成熟、显示度高、带动性强的行业，支持3家科研机构或大型企业，联合上下游，分别建设2个公共工业云服务平台和1个工业大数据服务平台。 IBM发布沃森数据平台：每个人都能从机器学习中受益 北京时间10月26日消息，据国外媒体报道，IBM推出了“沃森数据平台”（Watson Data Platform）利用大数据和先进的分析技术，以及机器学习等所有相关技术
80460发布于 2018-05-25 - 来自专栏NLP/KG
数据开发平台
1 特征平台 2.DeepInsight
5.4K40编辑于 2023-03-17 - 来自专栏数据社
小米数据平台
作者 | 勇幸，小米计算平台负责人 导读： 业界一直希望统一元数据，从而实现多产品间的一致体验：无论是数据开发、数据消费还是数据治理，所有用户都能基于一套元数据体系，采用相同的资源描述方式，这无疑能极大地提升用户体验 得益于开源与组织时机，小米基于 HMS 与 Metacat 实现了元数据的统一，也借此实现了将 7 个数据平台统一为 1 个平台。 Gravitino 为这些挑战提供了解决方案 [2]，并帮助打破数据孤岛。它旨在解决多云架构下的数据管理、治理和分析问题。 Gravitino 在小米数据平台中的位置 下图中 Gravitino 具有以下我们需要的特性（以绿色和黄色突出显示）： 统一的元数据湖：作为一个统一的数据目录，它支持多种数据源、计算引擎和数据平台，用于数据开发 我们期望通过利用 Gravitino 在我们的数据平台上实现这一点。 多系统集成的统一认证挑战 为了为用户提供无缝的数据开发体验，数据平台通常需要与各种存储和计算系统集成。
1.2K10编辑于 2024-04-10 - 来自专栏Java架构师必看
数据运营平台-数据采集
今天说一说数据运营平台-数据采集[通俗易懂],希望能够帮助大家进步!!! ，不计入平台数据统计 2：打开 Debug 模式，该模式下发送的数据可计入平台数据统计 iOS环境 AnalysysAgent setDebugMode:AnalysysDebugButTrack AnalysysDebugOff 业务数据采集与转换 大数据平台的数据来源广泛，根据来源，大致分为两类： 1)内部 a)手工填报 b)流+实时数据采集 c)批量 2)外部 a)文件导入 b)网络爬虫 c)对外接口服务 根据以上分类提供以下方案 2、对接方案 1）对接方式 平台与外部系统对接方式多以web service方式。 2）接口规范性设计 系统平台中的接口众多，依赖关系复杂，通过接口交换的数据与接口调用必须遵循统一的接口模型进行设计。
6.3K31编辑于 2022-07-06 - 来自专栏全栈程序员必看
.NET(c#) 移动APP开发平台 – Smobiler(2) – 平台介绍
看到大家很多人在后台问我一些问题，所以准备写一个系列了，下面给个目录 目录： .NET(c#) 移动APP开发平台 – Smobiler(1) 环境的搭建及上手第一个应用 类似开发WinForm的方式 听起来感觉不可思议，但是实际上确实很强大，那么Smobiler平台到底是如何实现的呢，这里给大家介绍一下。 www.smobiler.com/guide/plugin.aspx 服务端 Smobiler的服务端其实就是一个完整的.Net Framework，所以你需要实现Socket、WebService、WCF，以及调用数据库接口 另外如果你关掉客户端，再重新打开，那么你还会回到上次你操作的地方，而且数据也不会丢失，你可能会说，这就是一个Web吧，其实不是，因为客户端是原生的，另外如果是Web，都是无状态的，但是Smobiler的界面是有状态的 所以服务端缓存和客户端的数据和状态，这也解释了为什么关闭客户端，还能回到上一次操作的地方。因为你的数据在服务端。另外也解释了为什么修改业务和界面，只需要修改服务端即可。
3.1K30编辑于 2022-09-03 - 来自专栏TSINGSEE青犀视频
EasyGBS平台更换为MySQL数据库，提升数据库速度的2个技巧
我们在此前的文章中讲解过，TSINGSEE青犀视频各个平台的默认数据库是SQLite，用户可以根据自己的需求更换为MySQL，以此来解决海量数据的使用与存储问题，并提高数据库的灵活性。 关于数据库的切换操作步骤与注意事项，大家可以参考这篇文章：EasyGBS平台切换为MySQL数据库的操作步骤及注意事项。 有用户在使用新版EasyGBS平台时，录像及并发较多导致磁盘读写消耗特别快。 今天我们来和大家分享一个关于EasyGBS平台更换为MySQL数据库后，提升平台流畅性的解决办法。 设置完之后重启EasyGBS服务，这时就能感觉平台及数据库反应速度有了很大的提升。 国标GB28181协议视频平台EasyGBS既能作为能力平台为业务层提供接口调用，也可作为业务平台使用，它是基于公安部推出的GB/T28181协议、在安防监控领域应用较多的视频平台，拥有视频直播、转码、
1K20编辑于 2022-03-17 - 来自专栏测试开发干货
接口测试平台代码实现2:本平台项目目录解析
，就必须在这个文件中把你的数据库写进去。 models.py：django的orm数据层的主要文件，就是你要创建各种数据库/表的地方。 views_......py ：这种文件全都是视图逻辑层，就相当于你写后端代码的地方。 比如你本地的调试用的数据库，日志等等 db.sqlite3：这个就是django自动生成的sqlite3数据库了，不是特别大型的项目不需要换掉。 关于前后端分离： 记得当时刚开始做测试平台只有自己的时候，还被其他组的小人举报没有进行前后分离，可能对方只觉得这些时髦设计不用就是垃圾。 关于敏感数据（脱敏）： 所有展示的代码，均会进行脱敏处理，因为是本地调试用的项目，所以也没有真实公司数据。而且关键名字会打码。
56010编辑于 2022-05-18 - 来自专栏测试开发干货
数据工厂平台重启-2: 创建第一个页面首页
它是用来创建和存放我们的 html模版文件的，也就是xxx.html， 一个网页，其实就是 html模版+静态资源+数据 形成的。 static 来存放静态资源：必须叫这个名哦 现在我们来看这个图，它标记出来了 组成页面的三个部分 都分别在哪里： 好我们现在在templates上新建一个html文件，起个名字叫home， 作为我们平台的首页 建议大家先自学或看看本公众号的接口测试平台的前几章，熟悉一下html的写法和构成。 那么作为以后的使用者，他要怎么才能进入到这个home首页呢？当然是在浏览器里输入一个url地址进入。 views.py中，然后这个函数去拿一些数据还有对应的html模版给 浏览器，浏览器又发现这个html模版需要一些静态资源比如图片之类的，就去static文件夹拿出来，最终组合成页面显示给用户。 它现在也不需要去数据库拿什么数据，就简简单单的返回home.html页面就好，新人写的时候注意格式，引号 等符号。 现在我们还差url和函数的对照关系映射设置。
50010编辑于 2022-05-19 - 来自专栏大数据开发
大数据平台架构：数据平台建设的几种方案
随着大数据在越来越多的企业当中落地，企业要开展大数据相关的业务，那么首先要搭建起自身的数据平台。而企业搭建大数据平台，往往需要结合成本、业务、人员等各方面的因素，来规划数据平台建设方案。 主流数据平台建设方案 从市场主流选择来看，企业数据平台建设方案，目前大致有以下几种： 1、常规数据仓库 数据仓库的重点，是对数据进行整合，同时也是对业务逻辑的一个梳理。 2、敏捷型数据集市 数据集市也是常见的一种方案，底层的数据产品与分析层绑定，使得应用层可以直接对底层数据产品中的数据进行拖拽式分析。 2.jpg 3、MPP(大规模并行处理)架构 进入大数据时代以来，传统的主机计算模式已经不能满足需求了，分布式存储和分布式计算才是王道。 15.jpg 关于大数据平台架构，数据平台建设的几种方案，以上就为大家做了一个简单的介绍了。
3.4K51发布于 2020-10-14 【能力比对】K8S数据平台VS数据平台
AllData大数据产品是可定义数据中台，以数据平台为底座，以数据中台为桥梁，以机器学习平台为中层框架，以大模型应用为上游产品，提供全链路数字化解决方案。 一、K8S数据平台VS数据平台能力对比 1.1 K8S数据平台（CloudEon）-功能描述 K8S数据平台基于开源项目CloudEon建设，简化Kubernetes上大数据集群的运维管理，一款基于Kubernetes 的开源大数据平台，旨在为用户提供一种简单、高效、可扩展的大数据解决方案。 K8S数据平台（CloudEon）将基于 Kubernetes 的资源安装部署开源大数据组件，实现开源大数据平台的容器化运行，可减少对于底层资源的运维关注。 四、 K8S数据平台VS数据平台-应用场景适配K8S数据平台（CloudEon）高实时性、弹性需求行业：互联网用户行为分析、金融反欺诈、AI模型推理等场景需支撑千万级QPS查询与GPU资源动态调度，其流批一体计算引擎
76510编辑于 2025-05-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号