blocks|key|del4k|type|unstyled|text|可以，可通过对等连接来访问用户自建的+Druid、Kafka+等服务。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

JAR 作业方式是否可以对接用户自建的服务？

entityMap|0|type|IMAGE|mutability|IMMUTABLE|data|placeHolderUrl|error|dpi|imageUrl|https://ask.qcloudimg.com/raw/yehe-1933968238b1680/3rr6wguksr.png|blocks|key|fnlqk|text|流计算+Oceanus+的产品架构是什么？|header-one|depth|inlineStyleRanges|entityRanges|6ric9|图片.png|atomic|offset|length|5s72o|流计算+Oceanus有什么产品优势？|26anc|一站开发|header-two|7piqk|以+WebIDE+和云+API+两种方式提供集图形化开发、多语言开发、元数据管理、代码调试、依赖管理、全生命周期部署、运行监控、指标告警、智能诊断、黑窗诊断等为一体的一站式开发运维平台。|unstyled|1gsrl|无缝连接|73d7t|无缝对接消息队列、数据库、数据仓库、ES+等腾讯云主流数据产品和开源大数据组件，按需拓展+Connector+对接其他各类外部数据系统，涵盖云上及+IDC+中的自建服务；100%25兼容+Apache+Flink，支持开源+Flink+平滑迁移上云。|fnnfh|亚秒延时|de5hs|端到端亚秒级数据处理延迟，单核每秒数十万条记录处理能力，同时支持数万并发超大规模实时任务计算。|88qjq|低廉成本|5sbd4|业内领先的自研服务器技术，根据业务实际负载分配和使用资源，单核计算每小时低至0.23元，总成本大幅低于+IDC+自建。|2bjgi|安全稳定|7hss7|从空间和进程两个维度进行资源环境的隔离，以腾讯云账号体系和+SAML+联合身份认证机制确保账号安全，并达成细粒度的权限控制，全方位确保租户的数据安全，同时提供全链路监控报警及秒级故障自愈机制，保障99.9%25的服务可用性。|3l475|专家服务|dkl0f|腾讯云专家团队，提供端到端生产解决方案支持及7+×+24小时运维保障服务。|16trn|流计算+Oceanus有什么应用场景？|a7jdh|异构数据服务间的实时+ETL（抽取、转换、加载）|unordered-list-item|6c8nm|实时推荐、实时风控、数据库查询加速等|cqami|实时数仓、实时大屏、实时报表等|1i4v4|实时监控、实时异常发现和预警等|27hu5|流计算较批量计算的优势在哪里？|5ubni|批量计算需要收集齐数据，才开始进行各种复杂计算，周期可能是几个小时到1天；流计算则是针对流数据处理，无需收集齐数据，近乎实时地对数据进行处理，有利于实时监控业务和发现新机会。|23ld6^0|0|0|0|6|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0^^$0|$1|$2|3|4|5|6|$7|-3|8|-3|9|1Y|A|B]]]|C|@$D|E|F|G|2|H|I|1Z|J|@]|K|@]|6|$]]|$D|L|F|M|2|N|I|20|J|@]|K|@$O|21|P|22|D|23]]|6|$]]|$D|Q|F|R|2|H|I|24|J|@]|K|@]|6|$]]|$D|S|F|T|2|U|I|25|J|@]|K|@]|6|$]]|$D|V|F|W|2|X|I|26|J|@]|K|@]|6|$]]|$D|Y|F|Z|2|U|I|27|J|@]|K|@]|6|$]]|$D|10|F|11|2|X|I|28|J|@]|K|@]|6|$]]|$D|12|F|13|2|U|I|29|J|@]|K|@]|6|$]]|$D|14|F|15|2|X|I|2A|J|@]|K|@]|6|$]]|$D|16|F|17|2|U|I|2B|J|@]|K|@]|6|$]]|$D|18|F|19|2|X|I|2C|J|@]|K|@]|6|$]]|$D|1A|F|1B|2|U|I|2D|J|@]|K|@]|6|$]]|$D|1C|F|1D|2|X|I|2E|J|@]|K|@]|6|$]]|$D|1E|F|1F|2|U|I|2F|J|@]|K|@]|6|$]]|$D|1G|F|1H|2|X|I|2G|J|@]|K|@]|6|$]]|$D|1I|F|1J|2|H|I|2H|J|@]|K|@]|6|$]]|$D|1K|F|1L|2|1M|I|2I|J|@]|K|@]|6|$]]|$D|1N|F|1O|2|1M|I|2J|J|@]|K|@]|6|$]]|$D|1P|F|1Q|2|1M|I|2K|J|@]|K|@]|6|$]]|$D|1R|F|1S|2|1M|I|2L|J|@]|K|@]|6|$]]|$D|1T|F|1U|2|H|I|2M|J|@]|K|@]|6|$]]|$D|1V|F|1W|2|X|I|2N|J|@]|K|@]|6|$]]|$D|1X|F|-4|2|X|I|2O|J|@]|K|@]|6|$]]]]

流计算较批量计算的优势在哪里？

实时数据的导入办法通常有哪些？

为什么会出现作业实际运行并行度达不到作业最大并行度的情况？

blocks|key|888v6|type|unstyled|text|用户在浏览网页或操作+App+时，其操作行为会源源不断地汇集成日志。游戏玩家在玩游戏的时候，也会产生源源不断的操作记录。这些持续生成的数据便是实时流数据，通过了解此类数据，您可以实时监控业务并快速发现新的机会。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

什么是实时流数据？

blocks|key|4uvti|type|unstyled|text|批量计算需要收集齐数据，才开始进行各种复杂计算，周期可能是几个小时到1天；流计算则是针对流数据处理，无需收集齐数据，近乎实时地对数据进行处理，有利于实时监控业务和发现新机会。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|euof2|type|unstyled|text|CU（Compute+Unit）是流计算所提供计算资源的最小单位，1CU的具体含义为：CPU+1核、内存4GB。+|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

什么是 CU？

blocks|key|fu3g4|type|unstyled|text|具体可参见++上下游数据一览。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/849/48264^0|0|7|7^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

blocks|key|3rf85|type|unstyled|text|细粒度资源是指计算资源单元规格可小于1CU的资源（1CU的具体含义为：CPU+1核、内存+4GB），流计算服务目前支持四种规格的计算单元：0.25CU、0.5CU、1CU、2CU，JobManager+和+TaskManager+可以分别设置不同的规格。其中客户想要配置0.25CU及0.5CU的细粒度资源需+联系我们+开启。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/online-service^0|0|4B|4^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

什么是细粒度资源？

blocks|key|dpfpe|type|unstyled|text|在资源配置中使用细粒度资源的过程中，极小概率可能产生资源碎片影响作业运行，可能产生作业实际运行并行度达不到作业最大并行度的情况。您可以通过合理的资源规格选择来尽量地避免资源碎片。如果产生以上情况，您可通过+在线客服+联系我们解决。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/act/event/Online_service?from=doc_849^0|0|2V|4^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

流计算 Oceanus

批量计算

数据库

数据仓库

大数据

流数据

数据分析

消息队列

数据管理

数据安全

大数据分析

服务器

数据处理

计费方式 	最新活动 	适用场景 
腾讯云流计算Oceanus	腾讯云 	兼容 Apache Flink，支持SQL/JAR/ETL作业开发，亚秒级延迟，全托管服务 	按CU预付费（1CU=1核CPU+4GB内存）	 	游戏、金融、电商实时分析 
AWS Kinesis 包年包月预付费模式，单价低至0.21元/CU/时，显著低于自建IDC成本。 
全托管与易用性 
提供SQL、JAR、ETL三种作业开发模式，支持可视化拖拽式开发。 兼容Apache Flink生态，无缝对接CKafka、MySQL、Elasticsearch等数据源。 
安全与稳定性 
云原生容器化部署，支持秒级故障自愈，SLA承诺99.9%高可用。 中大型企业：若对性能要求苛刻，腾讯云Oceanus的弹性扩展能力和全托管服务更具优势。 
深度定制需求：可选择Apache Flink自建集群，但需承担运维复杂度和硬件成本。

随着企业数字化转型加速，实时数据处理需求激增。如何高效清洗海量数据并提取关键信息，成为企业提升竞争力的关键。本文将从功能、性能、成本等维度，对比5款主流实时数据清洗平台，并重点推荐腾讯云流计算Ocea

实时数据清洗平台怎么选？这5款工具值得关注！

摘要
流计算的价值一半在引擎，一半在连接器。 100% Flink 兼容
开源 Flink Connector 无需修改直接运行；存量作业迁移 <10 分钟，真正做到“自建上云零改造”。 图形化配置
WebIDE 提供表单式向导：填 4 个参数（endpoint、topic、用户名、密码）→ 点击测试连通性 → 自动生成 DDL，新手也能 1 分钟完成接入。 五、客户声音
• 某头部短视频平台：使用 Oceanus 内置 CLS Connector，3 天完成日志→实时指标链路搭建，开发量从 2 周缩短到 1 天；
• 某零售 SaaS：对接微信开放接口，仅需上传内部加解密 JAR，1 小时完成自定义 Source，上线后再无额外运维。

谁才是“连接器之王”？

极易用的任务构建方式
Flink 在构建 FlinkSQL Jar 任务时通常需要考虑依赖及版本的维护、代码的编写、繁琐的编译打包过程等。 ，弥补 deploy 的集群作业失败后信息难查询的不足，用户随时随地都可追溯历史作业的执行信息与异常。 Dinky 的外部对接也很注重扩展能力，基于 SpringBoot 的代码的高内聚和低耦合以及提供多种规范的 OpenAPI 使其可以很方便地扩展第三方生态、微服务或者平台，例如海豚调度等。 dinky 作为一款 flink 的交互式开发平台，可以帮助开发者更好，更快的开发出自己的 flink 作业，解决了用户的痛点。 更多用户
整合了FlinkSQL API的开发。
功能很强大，尤其 SQL 提交到远程功能，缩短了开发jar的时间。

摘要：Dinky 0.6.1 已发布，一起来看它如何优化 Flink 应用体验。内容包括：

Dinky 0.6.1 已发布，优化 Flink 应用体验

集群及 Flink 作业部署
Flink on TKE 半托管服务，极致的Flink云原生使用体验
Flink on TKE 半托管服务提供了Flink集群部署、日志、监控、存储等一站式的服务，用户可以将其他在线业务与 自动下载用户上传资源
作业与 Flink 内核动态分离，提高灵活性
通过上述的声明式 API 方式提交部署，我们可以看到用户 jar 包需要事先打到 image 里，作为平台提供方，当然不可能让每个用户自己去打 用户上传的依赖可以是任意文件，跟 Flink on Yarn 的方式不同，我们不用通过 submit 来分发依赖，而是在容器 docker entrypoint 启动脚本中直接下载到工作目录，以便用户可以在代码里以相对路径的方式 数据应用平台对接
基于上述基础的 Flink-on-Kubernetes 能力，就可以将 Flink 对接到我们的各种数据应用平台上。 如下图所示，我们已经支持用户使用多样化的方式使用 Flink，用户可以在机器学习平台拖拽节点或者注册定制化节点以 Jar 包或 PyFlink 的方式使用，另外也可以在SQL分析平台上写 Flink SQL

 涂小刚，微信高级开发工程师，负责微信大数据平台开发及建设。 王玉君，腾讯云后台高级开发工程师，负责腾讯云原生系统开发及建设。 前言
 架构转型，拥抱云原生服务生态 当前微信内部的大数据计算平台是基于自研的 Yard 资源调度系统[1]来建设，Yard 的设计初衷除了提供在线服务资源隔离外，另一方面是为了提高在线服务机器的整体资源利用率，其核心策略是在机器空闲时能在上面跑一些大数据离线任务。但是对接业界各种大数据计算框架（例如 Hadoop MapReduce、Spark、Flink 等）都需要专门定制化开

大数据云原生系列| 微信 Flink on Kubernetes 实战总结

云 HDFS（Cloud HDFS，CHDFS）是腾讯云存储团队新推出的一款完全兼容HDFS协议，主要解决大数据场景下海量数据存储和数据分析，能够为大数据用户在无需更改现有代码的基础上，将本地自建的 HDFS 安装ES-hadoop插件，作者下载的是elasticsearch-hadoop-7.4.2.jar(点击下载)，下载后将插件安装到hadoop组件的每台服务器上的classpath中(可以使用java 包，例如es-chdfs-0.0.1-SNAPSHOT.jar
备份数据
当生成好jar包之后，在hadoop环境执行启动job命令， 例如：
hadoop jar es-chdfs-0.0.1-SNAPSHOT.jar 查看效果
提交MapReduce后，可以查看hadoop监控页面观察作业是否正常结束。

11.jpg
如果正常结束后，可以查看CHDFS上的文件是否有生成。 CHDFS可以无缝对接各种主流的大数据套件，如Spark、hive、tez、presto、MapReduce、腾讯云EMR等。

大厂程序员为了更好的满足历史数据的保存和检索往往选择这种神操作！

ElasticSearch是一款开源的非常火爆的文档索引引擎, 大小公司都比较青睐的一款做日志检索、分析、查询的工具。

大厂程序员为了更好的满足历史数据的保存和检索往往选择这种神操作！

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

可以，可通过对等连接来访问用户自建的 Druid、Kafka 等服务。

JAR 作业方式是否可以对接用户自建的服务？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐