- 综合排序
- 最热优先
- 最新优先
- 来自专栏深度学习与python
一文看懂业界在离线混部技术
(注：离在线混部计划另文阐述) 图 1 混部示意图 在离线混部的成本价值 为了更形象的了解在离线混部的成本价值，我们来看一个中小型企业，4 核 8G 的机器一共有 1000 台，主要计算资源就是 由此可见，在离线混部的成本价值是清晰可计算且收益巨大的。 业界实践来看，谷歌利用混部技术将资源利用率从 10% 提升到 60%，每年节省上亿美金。 阿里等大厂也成功借助混部将资源利用率提升了 3 倍以上，成本节省可观。 在离线混部的技术门槛 在离线混部虽然有明显的成本价值，但目前真正落地到生产环境的还是只有头部的一些大厂。 究其原因，主要是在离线混部涉及服务观测、调度部署、容灾治理等多方面底层技术难题，甚至还包括组织成本核算、跨部门协同等非技术问题，有较高的实施门槛。 如果公司研发团队在底层技术积累比较少，想快速、安全、低成本地用上在离线混部，先享受部分混部的成本优化红利，则独占内核 + 容器 + 动态决策组合的方案是首选。
1.9K31编辑于 2022-03-22 - 来自专栏腾讯云原生团队
6月直播专场来了｜腾讯基于 K8s 的全场景在离线混部技术实践
6月初初到来，我们集结了一批技术专家，为技术爱好者们精心策划了一场大数据云原生专场——腾讯基于K8s的全场景在离线混部技术实践。 腾讯大数据，基于多年在混部技术积累的实践经验与基于 Kubernetes 的全场景在线离线混部解决方案，对 K8s 零入侵，兼容各种场景（容器化、非容器化等），已经在腾讯内部业务多方落地，节约了上亿成本 · 直播流程 · 19:30-20:15 讲师分享 20:15-20:30 互动问答 · 听众收益 · 了解云原生场景下在线离线混部的意义、全场景混部，及设计原则； 了解Caelus方案的整体设计思路 直播主题：K8s 高性能调度器设计与实现 直播时间：2021年6月29日19:30—20:30 · 讲师介绍 · ? · 直播流程 · 19:30-20:15 讲师分享 20:15-20:30 互动问答 · 听众收益 · 了解在离线混部场景中调度系统的需求与痛点 了解在离线混部场景中调度系统的整体设计思路，离线调度器的整体架构与优化点
1.3K20发布于 2021-06-10 - 来自专栏腾讯云原生团队
混部之殇-论云原生资源隔离技术之CPU隔离(一)
导语 混部，通常指在离线混部(也有离在线混部之说)，意指通过将在线业务(通常为延迟敏感型高优先级任务)和离线任务(通常为 CPU 消耗型低优先级任务)同时混合部署在同一个节点上，以期提升节点的资源利用率 其中的关键难点在于底层资源隔离技术，严重依赖于 OS 内核，而现有的原生 Linux kernel 提供的资源隔离能力在面对混部需求时，再次显得有些捉襟见肘(或至少说不够完美)，仍需深度 Hack，方能满足生产级别的需求 混部也是业界非常热门的话题和技术方向，当前主流的头部大厂都在持续投入，价值显而易见，也有较高的技术门槛(壁垒)。 相关技术起源甚早，颇有渊源，大名鼎鼎的 K8s(前身 Borg)其实源于 Google 的混部场景，而从混部的历史和效果看，Google 算是行业内的标杆，号称 CPU 占用率(均值)能做到60%，具体可参考其经典论文 技术挑战 如前面所说，混部场景中，底层资源隔离技术至关重要，其中的“资源”，整体上分为4个大类： CPU Memory IO 网络 本文聚焦于 CPU 隔离技术，主要分析在 CPU 隔离层面的技术难点、
4K94发布于 2021-05-10 - 来自专栏腾讯云原生团队
年终大禧 | 腾讯云 Crane 国内首批通过云原生混部技术评估
腾讯云自 2015 年起在混部领域进行探索，在支撑海量自研业务上云的过程中广泛使用。目前管理规模已达数千万核，混部能力使服务器资源利用率从30% 提升至 65%。 《云原生混部技术能力要求》标准的由来 随着企业数字化转型工作深入推进，企业正在通过精细化的资源管理、跨集群跨地域资源协同、灵活快捷的资源编排调度，以及异构资源共享复用等方式，实现灵活的弹性资源供给、更加智能的应用自动部署 云原生混部解决方案依托容器、微服务、平台编排调度等云原生技术，帮助用户将业务负载与大数据分析、人工智能计算等不同优先级的应用混合部署到共享的基础设施上，提高资源利用率，实现“降本增效”。 在此背景下，中国信通院牵头，联合腾讯云等多家云服务商，经过多轮研讨，形成了《云原生混部技术能力要求》标准。 标准涉及基础设施能力要求、平台混部能力要求、业务应用能力要求，以及混部效果评价四个部分，从资源隔离、资源复用、干扰检测、负载反馈、任务调度、资源预测、应用服务质量等不同维度，对混部产品及解决方案进行全面评估
1.8K30编辑于 2023-01-30 - 来自专栏张善友的专栏
混搭.NET技术
因此我也在社区里极力推广Mono平台，这篇短文就想和大家一起讨论一下混搭.NET技术。 混搭(Mashup)架构是一种新型的集成各种技术的应用开发架构。 3、混搭.NET开源社区技术 Stack Overflow 主要使用微软的.NET技术，混搭.NET开源社区的技术。 ServiceStack.redis，它是Stack Exchange的一位开发者Demis Bellot 所开发的开源的、支持.NET与Mono平台的REST Web Services框架ServiceStack 的一部分 不过只有象StackExchange 具备丰富的技术能力的专业团队，才能很好的完成混搭，让后期的使用安枕无忧。 任何一个技术方案，管理都会有风险，混搭当然也会有。 因此，在进行混搭创新之前，首先要对混搭的技术有一个准确的评估，比如你的技术方案与要混搭创新的技术之间有没有优势互补，微软在2011年以前经常是复制社区的技术，一个微软技术的使用者局限于微软的技术，这就好比是近亲繁殖
1.5K60发布于 2018-01-19 - 来自专栏腾讯云原生团队
今晚直播 | 腾讯基于 K8s 的全场景在线离线混部解决方案
《云原生正发声》围绕云原生技术领域，覆盖实时的云原生技术实践、性能优化、前沿趋势、当前热点、案例分享、大咖分享、开发者成长路径、就业方向选择等等内容。 腾讯大数据，基于多年在混部技术积累的实践经验与基于 Kubernetes 的全场景在线离线混部解决方案，对 K8s 零入侵，兼容各种场景（容器化、非容器化等），已经在腾讯内部业务多方落地，节约了上亿成本 这些背后的技术，一定是你想了解的超级干货！? 报名方式：扫描下方海报中二维码进入报名链接。 ? ? ? ? 往期精选推荐 ? 揭秘有状态服务上 Kubernetes 的核心技术 6月直播专场来了｜腾讯基于 K8s 的全场景在离线混部技术实践 Dapr | 云原生的抽象与实现 用 edgeadm 一键安装边缘 K8s 集群和原生 K8s 集群 使用 Velero 跨云平台迁移集群资源到 TKE ?
61620发布于 2021-06-17 - 来自专栏腾讯大数据的专栏
Caelus—全场景在离线混部解决方案
本篇文章结合腾讯技术团队在混部方面的落地和实战经验，来介绍各类场景下在线离线混部的相关概念、面临的问题及混部技术方案，抛砖引玉，供大家交流。 混部领域的喜马拉雅山是Google Borg，其在2019年发布的论文Borg中，集群的cpu利用率通过混部技术达到50%。 如何通过混部技术提高集群利用率，是每家集群大规模后不可避免的问题。 图3 Caelus混部架构 设计以k8s为依托，实现了以下关键技术，如： (1) 任务定级：制定了任务级别标准，用于对应不同优先级资源。 各家大厂都对混部投入了相当长的时间研究，才开始放量铺开。随着技术的发展，k8s混部也越来越成熟，将来也会有更多的场景落地。
9.9K71发布于 2020-12-14 - 来自专栏腾讯云原生团队
今日Qcon热门分享｜腾讯K8s大规模离在线混部与内核隔离实践
专题演讲嘉宾 徐蓓 腾讯云专家工程师 11年软件架构与研发经验，其中7年云计算经验，在 IaaS、PaaS、离在线混部和云原生大数据领域有丰富的研发与落地经验。 Kubernetes 集群下通过混部技术将在线与离线业务混合部署在一起，以统一调度与提升资源利用率。 分享提纲： 1.腾讯云原生离在线混部背景、现状及发展趋势 2.腾讯 Kubernetes 混部隔离架构与实践 腾讯混部基本原理与核心架构 利用负载预测实现资源超卖 利用资源 QoS 框架实现资源隔离 利用 batch 调度加速调度性能 3.腾讯自研内核隔离技术与实践 CPU 隔离 内存隔离 IO/网络隔离 Quality Monitor 4.混部技术未来展望 听众收益： 1.了解混部资源隔离的关键技术 ② 资源利用率提升工具大全 ③ 基于K8s 扩展机制构建云上成本控制系统 后续持续更新中。。。
1.7K40发布于 2021-05-31 - 来自专栏深度学习与python
4 个月节省千万成本的机器学习混部实践
在今年 9 月份的 QCon 全球软件开发大会（北京站），贝联珠贯 (www.lccomputing.com) 合伙人王元良老师以《增强型 RunC 的最佳实践：克服离线高压力混部场景的关键挑战》为题， 二级告警，LCC-Agent 通知 NM NM 会调整心跳时间 NM 会根据任务的优先级，优先 KILL 低优先级任务 三级告警，LCC-Agent 直接 kill 非白名单进程 机器夯死问题得到解决，混部解决掉最关键的资源卡点问题 集群维度感知，先于业务发现问题 前期为了了解客户混部集群中的各种资源问题状态，我们采用手动脚本单台机器日志并聚类的方式来拿到结果；这种方式耗时长 (两周一次)、只能分析问题大类、没法观察问题走势和分布等 混部后单机压力与复杂度指数级上升，需要高频全视角的分析问题，这种方式不再适用。需要一套能分钟级展示、多视角、自动聚类分析的手段，包括时间对比、子系统分布、问题大类、问题子类、业务角度等。 尽管这个方案技术上很合理，但工作量较大，无法满足业务四个月上线的目标。 将 YARN 部署为 Kubernetes 中的服务，并由 Kubernetes 进行管理。
85010编辑于 2023-10-02 - 来自专栏架构狂人
集群 CPU 利用率均值达 45% ，揭秘小红书规模化混部技术实践
技术演进 小红书混部技术演进分为以下四个阶段（如图所示）： 阶段一：闲置资源再利用 在早期，小红书的集群资源管理相对粗放，集群中存在大量业务独占的资源池。 通过合池、资源超卖等技术手段，我们有效提升了 CPU 分配率，但依旧无法解决合并后的资源池夜间利用率较低等问题。另外，在合池后的复杂混部场景下，整机腾挪、分时混部离线的调度策略很难再继续实施。 通过在离线混部等技术手段，在线集群 CPU 利用率提升 8%-15% 不等，部分存储集群利用率提升可达 20% 以上。 通过采用更先进的弹性、混部、超卖等技术手段，进一步提升集群资源利用率，实现资源成本的大幅度下降。 作者简介 桑铎（宋泽辉）：基础技术部/云原生平台 小红书资源调度负责人，在容器资源调度、混部部署、资源隔离等方面有丰富的实践经验，目前主要负责小红书大规模容器资源调度、在离线混部等方向的技术研发工作。
1.5K10编辑于 2023-11-29 趣丸科技基于TKE集群的混部实践：CPU利用率从8%提升至50%以上
应对在线业务潮汐与资源闲置的行业挑战 社交与电竞业务存在显著的流量波峰波谷，导致趣丸科技全网主机CPU平均利用率长期低于10%（实际为8%）。 采用调度优先、隔离为辅的云原生混部方案 趣丸科技依托腾讯云TKE容器服务，构建了以TTSet混部调度系统为核心、TencentOS Server提供节点级隔离能力的三层架构解决方案。 实现资源利用率的大幅提升与成本优化 混部方案实施后，集群CPU利用率从8%提升至50%以上。在业务高峰时段（如17:00、21:00），CPU利用率可稳定在65%，同时保证了在线业务的稳定性。 “依托于云，拥抱社区，通过调度优先、隔离为辅助的总体方案，我们成功实现了高效的资源混部。” —— 黄金，趣丸科技 腾讯云技术栈提供的关键支撑 方案的成功得益于腾讯云全栈技术能力：TKE容器服务作为稳定的PaaS基石，提供了灵活的集群管理；TencentOS Server操作系统确保了CPU、内存
14310编辑于 2026-05-30- 来自专栏云计算技术笔记
谷歌Borg论文阅读笔记（二）—— 任务混部和资源隔离
相关笔记：谷歌Borg论文阅读笔记（一）—— 集群操作系统 Google的混部情况 Google几乎所有的机器都是混部的，在一台机器上，可能运行着不同jobs的tasks。 因此，Google有完善的隔离技术来保证task之间不相互影响。目前，Google使用的隔离技术是Chroot和Cgroup。Cgroup是Google最先提交到内核社区的。 性能影响 对于性能的影响，Google使用了很多技术来减少影响，这个是文章后面详细讲的。这里主要讲的是Google对任务混部对CPU性能影响的研究。 资源分类 混部的一大问题是某个资源不足的情形。但是，不同的资源有不同的特点，有的资源能快速调整，而有的则需要很大的代价来调整。 总结 应用混部，尽可能使用多线程。 使用轻量级的隔离机制，而不是VM。 合理的对资源超分配，以此提高资源利用率。很多任务并不是任何时刻都会用到很多资源。 对任务和资源进行分级。
1.2K30编辑于 2022-09-07 - 来自专栏Pengcheng's Blog
MySQL8部署
3306 3、解压安装包 #进入mysql目录 #解压 tar -xvf mysql-8.0.20-1.el7.x86_64.rpm-bundle.tar 4、安装 此处内容需要评论回复后方可阅读 8、
50320编辑于 2023-05-02 趣丸科技基于TKE与TTSet混部方案将CPU利用率从8%提升至50%以上
在混部实践前，趣丸科技全网主机CPU利用率仅为 8%。 构建基于TKE与TTSet的三层混部调度体系 趣丸科技采用了“依托于云，拥抱社区”的策略，确立“调度优先、隔离为辅助”的总体方案，通过以下技术架构实现混部： 集群级调度优化：自研 TTSet混部调度系统 核心指标提升与资源模型验证 通过实施上述方案，趣丸科技在资源利用上取得了以下量化成果： 利用率提升：全网主机CPU利用率从 8% 提升至 50%以上。 “依托于云，拥抱社区，调度优先、隔离为辅助的总体方案，让我们成功将全网主机CPU利用率从8%提升到50%以上。” 依托于云：利用腾讯云千万核容器运维的技术沉淀及TencentOS Server针对云的优化特性，确保系统的高稳定性和快响应能力。
17210编辑于 2026-05-30- 来自专栏Vehicle攻城狮
聊聊48V混动技术
48V混动技术作为节油减排的一种有效手段，在日益严苛的排放要求，由其是我国国六排放法规的推行下，已得到国内大多数OEM的青睐，今天就跟大家聊聊48V混动技术。 近段时间以来，由其是国六排放法规推行之际，可以明显感受到OEM对48V混动技术的热情，OEM越来越青睐于48V的原因是对成本和收益的双重考虑和权衡。 首先，48V系统只需对整车做小幅的改造即可集成，而且48V相比高压混动技术不需要额外的保护措施，零部件成本也明显低于高压混动部件，大约是其1/3，但收益却接近高压混动技术的2/3。 例如奥迪在其A6、A8及SQ7等不同车型上都标配48V轻混技术，不同车型上会有不同的48V系统集成方案。 奥迪A8 BSG P0_48V 系统 奥迪SQ7_48V电子增压器系统 奥迪SQ7-48V防侧倾系统（eAWS） 3. 48V零部件 下面选三个最主要的48V部件聊聊： 3.1 DC/DC 双向DC/DC
97640编辑于 2022-04-19 - 来自专栏深度学习与python
集群 CPU 利用率均值一年提升 25%，小红书混部技术的优解方案
技术演进 小红书混部技术演进分为以下四个阶段（如图所示）： 阶段一：闲置资源再利用 在早期，小红书的集群资源管理相对粗放，集群中存在大量业务独占的资源池。 通过合池、资源超卖等技术手段，我们有效提升了 CPU 分配率，但依旧无法解决合并后的资源池夜间利用率较低等问题。另外，在合池后的复杂混部场景下，整机腾挪、分时混部离线的调度策略很难再继续实施。 通过在离线混部等技术手段，在线集群 CPU 利用率提升 8%-15% 不等，部分存储集群利用率提升可达 20% 以上。 通过采用更先进的弹性、混部、超卖等技术手段，进一步提升集群资源利用率，实现资源成本的大幅度下降。 作者简介 桑铎（宋泽辉）：基础技术部 / 云原生平台 小红书资源调度负责人，在容器资源调度、混部部署、资源隔离等方面有丰富的实践经验，目前主要负责小红书大规模容器资源调度、在离线混部等方向的技术研发工作
1.1K10编辑于 2023-12-01 yolov8部署ROS
为了将Yolov8部署到ROS中，需要进行一些配置和修改。首先，需要安装ROS melodic或Noetic版本，并确保Python版本为3.6.0及以上。 总之，将Yolov8部署到ROS中需要一定的技术和经验，但通过仔细的配置和优化，可以实现高效、准确和快速的目标检测功能，为机器人的智能化提供有力支持。 yolov8-ros部署测试环境： 虚拟机中ubuntu18.04 python3.6.9 详情可以看视频： yolov8部署在ros机器人操作系统视频演示_哔哩哔哩_bilibili这个是使用最新版本 yolov8部署在ROS机器人操作系统演示，演示环境是虚拟机环境ubuntu18.04，调用笔记本摄像头进行演示。 , 视频播放量 21、弹幕量 0、点赞数 1、投硬币枚数 0、收藏人数 1、转发人数 0, 视频作者 未来自主研究中心, 作者简介 未来自主研究中心，相关视频：yolov5-7.0部署在ros机器人操作系统视频演示
65610编辑于 2025-07-17- 来自专栏三掌柜的技术空间
【玩转腾讯混元大模型】腾讯混元大模型：技术代码实践与应用
目录前言国产大模型进入长跑期，从参数至上转向实用优先有价值的技术代码实战经验分享基于腾讯混元大模型的技术开发实践、新颖的技术场景应用对腾讯混元大模型的深入理解和代码使用技巧番外篇：发现腾讯混元的友好之处结束语前言随着去年腾讯推出的混元大模型以来 下面分享一下腾讯混元大模型微信小程序的应用界面一角：有价值的技术代码实战经验分享先来通过技术代码实践相关来分享使用腾讯混元大模型的体验，在与腾讯混元大模型的技术代码实践中，以自然语言处理为例，我们可以了解如何使用腾讯混元大模型进行文本生成 DOCTYPE html><html lang="en"><head> <meta charset="UTF-<em>8</em>"> <meta name="viewport" content="width 基于腾讯<em>混</em>元大模型的<em>技术</em>开发实践、新颖的<em>技术</em>场景应用再来分享一下基于腾讯<em>混</em>元大模型的<em>技术</em>开发实践、新颖的<em>技术</em>场景应用的体验，大家都知道腾讯<em>混</em>元大模型的强大功能为开发者提供了广阔的<em>技术</em>开发实践和应用空间， xml version="1.0" encoding="UTF-<em>8</em>"?><lint> <!
2.3K53编辑于 2024-01-31 - 来自专栏腾讯大数据的专栏
助力成本优化，腾讯全场景在离线混部系统Caelus正式开源
由于很多大数据任务具有实时性要求不高、运行时间较短、使用碎片资源等特点，而在线应用的资源使用通常具有潮汐的特点，因此大数据任务比较适合复用在线应用的空闲资源，但混部也面临诸多核心技术难题，具体包括： 大部分混部系统只针对云原生场景 解决这些问题，也是Caelus混部研发的初衷。 充分兼容的架构设计 Caelus Caelus为了适应各种的混部场景，遵循了几个关键原则，主要包括： 不改变业务使用方式，便于业务迁移到Caelus混部平台。 比如大数据任务仍然可以使用原有的方式提交job，如果原来是Yarn，Caelus实现了Yarn on k8s。如果大数据已经是on k8s的方式，也可以更方便的使用统一调度； 对基础生态零入侵。 扫码关注 | 即刻了解腾讯大数据技术动态
1.6K40发布于 2021-11-10 - 来自专栏腾讯开源的专栏
助力成本优化，腾讯全场景在离线混部系统Caelus正式开源
对此，业内一直在进行诸多探索，在线离线混部被认为是解决该问题的终极方案。 由于很多大数据任务具有实时性要求不高、运行时间较短、使用碎片资源等特点，而在线应用的资源使用通常具有潮汐的特点，因此大数据任务比较适合复用在线应用的空闲资源，但混部也面临诸多核心技术难题，具体包括： 1 混部调度器缺乏在离线应用调度的兼容性、高性能以及SLA保证。 解决这些问题，也是Caelus混部研发的初衷。 充分兼容的架构设计 Caelus为了适应各种的混部场景，遵循了几个关键原则，主要包括： 1. 不改变业务使用方式，便于业务迁移到Caelus混部平台。 比如大数据任务仍然可以使用原有的方式提交job，如果原来是Yarn，Caelus实现了Yarn on k8s。如果大数据已经是on k8s的方式，也可以更方便的使用统一调度； 2. 对基础生态零入侵。
82041发布于 2021-11-18
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号