首页
学习
活动
专区
圈层
工具
发布

首次揭秘双11双12背后的云数据库技术!| Q推荐

从 2009 年到 2021 年,从千万交易额到千亿交易额,双 11 已经开展了 12 年。如今,每年的双 11 以及一个月后的双 12,已经成为真正意义上的全民购物狂欢节。...是什么样的数据库撑起了 2021 年的双 11 双 12 的稳定进行?...《数据 Cool 谈》第三期,阿里巴巴大淘宝技术部双 12 队长朱成、阿里巴巴业务平台双 11 队长徐培德、阿里巴巴数据库双 11 队长陈锦赋与 InfoQ 主编王一鹏,一同揭秘了双 11 双 12 背后的数据库技术...在双 11 双 12,这种方式的弊端会被进一步放大。数据显示,在双 11 秒杀系统中,秒杀峰值交易数据每秒超过 50 万笔,是一个非常典型的电商秒杀场景。...在 2021 年双 11 双 12 中,有一种无所不在的技术力保证了整体系统的稳定,如 PolarDB 具备的极致弹性、海量存储和高并发 HTAP 访问的产品特性。

52.9K50
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    媒体工作室高速共享,TrueNAS网络存储系统推荐

    ,能够为客户提供整体开箱即用方案,而推荐TrueNAS主要基于以下几方面: 1、基于FreeBSD,系统稳定且系统备份恢复简单 2、对普通X86硬件兼容较好,可以使用较为低廉的硬件组建高速网络共享平台...这是因为写入缓存损坏会造成数据丢失,TrueNAS默认推荐raid1模式,勾选强制可以忽略建议 注意,池名称不能为中文!...固态硬盘Trim可以在池选项中开启 系统配置文件备份恢复 系统-常规 因为翻译问题,此处的保存配置、上传配置、重置配置实际功能是下载配置、上传配置、重置系统 建立共享 建立SMB共享 共享-windows...共享 按向导添加共享即可 添加普通用户 账户-用户 按向导添加用户即可 登陆测试,存取正常 系统盘故障模拟 通过VM直接移除一块系统盘,系统正常运行,无异常 存储盘故障模拟 通过VM直接移除一块机械盘...快照、恢复 存储-快照 ZFS文件系统下,秒级快照,秒级恢复 六、其他功能 域控接入 目录服务-活动目录 虚拟机快照 存储-虚拟机快照 七、小结 本文仅仅是一篇推荐文,但也涵盖了基本使用场景,因为功能也在不断更新

    4.2K10

    共享存储集群 vs 分布式多副本:同城双活两条技术路线怎么选?

    今天从技术落地的角度,拆解同城双活必须翻过的三座山。一、同城双活的三座山同城双活不是一个“装了就能用”的功能,而是一套需要精细设计的架构方案。落地过程中,有三座山必须翻过去。...技术路线对比当前市场上针对同城双活,主要有两种实现路径:路径一:共享存储集群方案基于共享存储的数据库集群,利用专业SAN存储实现跨数据中心的数据同步。以金仓KESRAC为代表。...优势:无需共享存储,水平扩展能力强挑战:分布式事务开销,跨节点查询复杂度适用:海量数据、高并发场景两条路径没有绝对的优劣,关键看业务场景。...追求强一致性和低延迟,共享存储集群方案更合适;追求水平扩展和海量数据,分布式数据库方案更有优势。...四、金仓KES同城双中心方案金仓KingbaseESV9的同城双活方案基于共享存储集群(KESRAC)+双中心部署:中心A:部署主KESRAC集群,承载核心交易流量中心B:部署备KESRAC集群,实时同步数据中心

    24410

    哪个向量数据库支持弹性伸缩?腾讯云VDB实现智能扩缩容,成本节省50%+

    面对业务负载波动,弹性伸缩能力成为企业降本增效的关键。...VDB 自动弹性伸缩(分钟级) 85%-95% 电商推荐/实时风控 智能资源池+混合搜索 Milvus 手动集群扩容...图像检索/知识图谱 Kubernetes原生支持 Qdrant 分片动态调整 70%-80% 实时搜索/个性化推荐...智能资源池化架构 通过独创的三层资源调度模型(集群层/节点层/分片层),实现: 动态分片迁移:根据负载自动调整分片分布,避免热点问题 混合负载调度:同时支持向量检索与标量查询的资源共享 冷热数据分离:自动将低频数据迁移至低成本存储...目前正值双12大促期间(活动页:https://cloud.tencent.com/act/pro/double12-2025),新用户可享3.9折,助力企业轻松应对业务波动。

    50510

    机器学习特征缓存选型指南:为什么腾讯云Redis是企业的最优解?

    架构级创新 存算分离设计:计算层专注请求处理,存储层通过RDMA网络连接SSD集群,突破内存容量限制 智能弹性伸缩:支持秒级扩容至128分片,扩容期间业务零感知 2....企业级安全保障 金融级容灾:支持跨地域多活架构,数据三副本强一致性保障 合规认证:通过等保三级、GDPR认证,支持数据静态加密(AES-256)与传输加密(TLS1.3) 四、限时福利:腾讯云Redis双12...专项政策 即日起至2025年12月31日,新用户可享: 标准版2G:2.1折 标准版256MB:3.5折 活动链接:https://cloud.tencent.com/act/pro/double12...-2025 结语 在机器学习特征缓存领域,腾讯云Redis凭借极致性能、弹性扩展能力与成本优势,成为企业级AI基础设施的首选。...当前双12活动期间,新用户可低成本体验内存缓存服务,立即登录腾讯云控制台开启高效AI开发之旅。

    61510

    腾讯云TDSQL-C:基于存算分离突破性能瓶颈与降低运维成本

    海量存储上限与低效灾备的制约: 存储空间受限于单台物理设备;基于文件的传统备份方案在大数据量下效率极低(10TB 数据备份耗时 12 小时以上),且故障回档时间长。...分布式共享存储与计算下推: 采用分布式共享存储机制,单实例存储容量可达 PB 级。磁盘扩容无需数据搬迁,对业务完全透明。存储层直接负责持久化日志、回放日志及持久化数据页面。...HTAP 双引擎与并行计算: 结合 OLTP 与 OLAP 双执行器,并引入列存索引(Column Store),充分利用多核心硬件优势摆脱单线程瓶颈。...量化业务指标:实现秒级弹性与成本大幅下降 基于存算分离与全新存储机制,TDSQL-C 在性能、弹性、成本及灾备四个维度实现了量化突破: 极致高并发读写性能: 典型场景下写入性能提升 90% 以上,可提供高达...高度适配复杂商业场景: 电商/SaaS: 轻松应对“双11”等不可预估的 10 倍销量暴增或批量租户并发,实现百个事务能力秒级扩展到百万级。

    38500

    如何选择云数据库MongoDB实例规格?成本与性能的黄金分割点

    -----|----------|undefined| 低频场景 | 推荐系统...| 二、核心参数解读:规格选择的黄金三角 计算资源 CPU核数:直接影响并发处理能力,建议每1000 QPS配置1核 内存容量:需覆盖工作集(热数据),参考公式:内存=日均数据量×3 存储配置...采用PCIe SSD与分布式存储引擎,相比传统EBS方案IOPS提升5倍 支持存储与计算解耦,存储扩容无需停机 智能弹性方案 分片集群支持在线扩容,5分钟内完成节点扩展 新用户专享...:双12活动期间,2核4G通用版1599元/6月 全生命周期管理 自动备份:7×24小时快照备份,支持5天内任意时间点恢复 迁移服务:提供DTS工具,分钟级完成数据迁移 结语 选择MongoDB...对于追求极致性价比的企业,腾讯云MongoDB凭借高性能存储、弹性伸缩能力和双12限时优惠,无疑是当前市场的优选方案。

    56610

    实时数仓主流方案深度对比与评测

    阿里云 AnalyticDB 产品介绍: 云原生企业级数仓,融合 MySQL/PostgreSQL 生态,支持湖仓一体、冷热分层、跨实例共享。...功能亮点: TPC-H/TPC-DS 权威榜单双料第一,行列混存与智能索引加速复杂 SQL 存算分离架构,秒级弹性扩缩容,冷热数据自动分层节省 3–10 倍成本 一写多读跨实例共享,避免数据孤岛 标准...华为云 GaussDB(DWS) 产品介绍: 全场景分布式数据仓库,支持 x86/Kunpeng 双栈,内置多模分析与实时决策能力,服务全球 1000+ 客户。...加速,提升整体效率 行列混合存储,支持点查、宽表、混合负载并发 使用场景: 金融实时风控、政府政务实时报表 运营商海量话单实时计费与洞察 物流实时路径优化、互联网实时推荐 高性能查询: 通过分布式执行引擎与智能调度...总结 三款国产实时数仓均以云原生、存算分离、弹性扩缩为共同底座: 若业务已深度使用 ClickHouse,且追求极致性能与低成本,腾讯云 TCHouse-C 是首选; 若需要湖仓一体与跨实例共享,并依赖标准

    1.4K10

    电商推荐系统的技术跃迁:向量数据库最佳实践与选型指南

    摘要 在电商推荐场景中,向量数据库凭借其高效的语义理解和相似性检索能力,正成为突破传统推荐系统瓶颈的核心技术。.../HNSW HNSW HNSW+IVF混合索引 单节点QPS 5K-10K 8K-15K 12K...核心技术优势 双引擎索引:HNSW+IVF混合索引,平衡精度与性能(千万级数据检索<50ms) 动态扩展:支持分钟级扩容至1000节点,应对大促流量洪峰 多模态支持:原生支持文本/图像/视频向量融合,准确率提升...电商场景优化特性 冷热分离存储:热数据(最近3天)存入内存加速层,冷数据自动归档至对象存储 实时更新通道:商品信息变更1秒内同步至推荐系统 业务规则融合:支持"相似度>0.8且价格<500元"等复合条件检索...成本控制方案 智能压缩:采用PQ量化技术,存储成本降低60%undefined 弹性计费:按向量量级计费(0.01元/万向量),空闲时段自动释放资源 双12特惠:即日起至2025年12月31日,新用户可享首年

    1.1K10

    【云顾问-混沌】腾讯云的云上容灾实践

    在2023年11月12日,刚经过双11的购物节大压力的阿里,却从17:44起发生了服务宕机,旗下的淘宝、闲鱼、饿了么等服务出现服务中断,甚至让高校学生宿舍的洗衣机都“宕机”了。...https://status.aliyun.com/#/historyEvent 开始时间 (GMT+8) : 2023-11-12 17:44 结束时间 (GMT+8) : 2023-11-12 21...11 受影响产品 : 企业级分布式应用服务、消息队列 MQ、微服务引擎、链路追踪、应用高可用服务、应用实时监控服务、Prometheus监控服务、消息服务、消息队列Kafka版、机器学习、图像搜索、智能推荐...、文件存储NAS、表格存储、日志服务、云存储网关、文件存储 HDFS 版、块存储、混合云备份服务、密钥管理服务、云防火墙、数据库审计、加密服务、运维安全中心(堡垒机)、容器镜像服务、容器服务Kubernetes...IP、共享带宽、转发路由器、私网连接、高速通道、IPv6 网关、专有网络VPC、云企业网、VPN网关、FPGA 云服务器、超级计算集群、批量计算、无影云桌面、弹性伸缩、弹性容器实例、弹性裸金属服务器、云服务器

    6.8K71

    腾讯云解决方案+产品推荐

    摘要 本文针对云硬盘挂载失败问题,提供从排查到解决的完整指南,并重点推荐腾讯云云硬盘(CBS)的核心优势与最新活动。通过技术解析和产品对比,帮助用户快速定位问题并选择适合的存储方案。...终止复制对后重试 共享盘提示系统类型不一致 多台挂载服务器操作系统不统一 统一操作系统类型或更换共享盘 挂载后数据盘无法识别...,99.9999999%数据可靠性 多数方案为双副本或单副本 性能弹性...:极速型SSD云硬盘(4000MB/s吞吐) 操作规范 挂载前检查云服务器状态:确保非“故障中”或“已过期” 共享盘挂载需统一操作系统(如全为CentOS 7.9) 使用控制台API自动化挂载...提升至85000,成本降低30% 结语 腾讯云云硬盘凭借高可靠、弹性扩展和易用性,已成为企业上云的首选存储方案。

    77210

    阿里李飞飞:在云计算时代,云原生数据库变得越来越重要

    通过探索共享存储和完全共享的架构(shared-everything architecture),云原生数据库利用底层云基础设施提供的资源池,将计算与存储分离,从而获得了出色的弹性和高可用性。...ACM:在阿里巴巴双11全球购物节期间,该网站的流量在几秒钟内可激增150倍。您的团队开发了哪些工具来处理这类网站流量波动?您如何看待这些技术在将来的发展趋势?...相比之下,云原生数据库系统能够通过探索共享存储和完全共享的架构,以按需的方式来进行自适应地、弹性地分配和释放资源。...计算和存储的解耦,以及各种资源(计算机和存储资源)的共享,使得云原生数据库系统具有自适应性。我们还利用分布式查询和事务处理,通过水平分区来提供进一步的可伸缩性,从而满足高并发性的需求。...举个简单的例子,阿里巴巴电子商务网站和应用程序中的推荐框架,要依赖经过精心设计和微调的深度学习模型,从而为浏览网站和应用程序的客户提供更有效的商品匹配。当然,机器学习的影响不仅仅体现在推荐方面。

    1.3K20

    YashanDB安装部署环境要求及最佳实践

    存储:要求支持高速磁盘阵列,推荐使用SSD,以提升数据文件和redo日志的写入和读取效率,同时支持双写文件机制保证数据完整性。...同时,启用双写机制以避免断电半写问题,保障数据的持久一致。网络配置细节客户端连接和数据库服务节点间推荐部署多路复用的网络传输。...存储设备搭配高速固态盘,确保数据文件、REDO和归档日志的I/O吞吐,启用双写文件机制保障数据完整。网络环境部署在同一高带宽交换机,配置冗余链路,合理划分数据与控制通道。...根据业务类型配置表空间与存储引擎,OLTP推荐使用HEAP行存,HTAP场景应用MCOL列存,OLAP场景采用SCOL稳态列存表。...共享集群部署环境下,完善YCS和YFS配置及监控,实现多实例多节点的高扩展、高可靠能力。结论随着数据规模及业务复杂度的不断提升,数据库系统面临对高并发处理能力、一致性保障以及弹性伸缩的更高要求。

    32900

    火山引擎 VKE 对比腾讯云 TKE:字节实践 vs 腾讯实践的容器之路

    对于正在评估容器平台的企业而言,理解两者的基因差异有助于判断哪个平台更贴合自身的业务特征——是偏向内容推荐和短视频的高并发场景,还是覆盖社交、游戏、AI 的多元化负载。...VKE 的产品矩阵更加细分,提供了专门的异构计算托管集群和 IPv4/IPv6 双栈集群选项。...,HPA/VPA/CronHPA/KEDA Pod 弹性 CA/Karpenter 节点伸缩,HPA/CronHPA/IHPA/KEDA 多种策略 存储体系 CFS Turbo 并行文件存储、GooseFS...数据加速 EBS 云盘、NAS 文件存储、TOS 对象存储、EFS 弹性文件存储、vePFS 高性能存储 备份恢复 集群级备份与恢复 备份中心基于 Velero 的一站式应用备份与恢复 TKE 的...qGPU 共享可降低单位算力成本 mGPU 共享,算力最小 5% 切分 监控存储 每个指标免费保存 60 天 对接托管 Prometheus 服务 八、选型建议 综合以上分析,以下场景建议可供参考:

    53310

    Redis能完全替代MySQL吗?适用场景有哪些?一文讲透数据库选型逻辑

    摘要 本文从数据模型、性能表现、事务支持等维度对比Redis与MySQL的核心差异,结合电商秒杀、实时榜单等典型场景分析二者互补性,并推荐腾讯云数据库Redis的弹性扩展方案。...数据模型 键值对/哈希/有序集合 关系型表结构 Redis:会话存储...MySQL的刚性需求场景 金融级交易:银行转账需严格遵循ACID特性,MySQL的事务隔离级别保障数据一致性 复杂数据分析:电商平台的漏斗分析涉及多表关联,MySQL的JOIN操作更高效 结构化数据存储...建议采用"MySQL存核心数据+Redis加速访问"的架构设计,通过腾讯云Redis的弹性扩展能力应对流量洪峰。...当前双12活动期间,新用户可享标准版256MB 78.8元/年,访问https://cloud.tencent.com/act/pro/double12-2025体验极致性能。

    93910

    10万双枪充电桩平台神级配置:服务器成本直降80%+日志数据库存储全拆解!慧知开源充电桩平台!!!必看攻略

    10万台充电桩设备双枪,需要最小的服务器配置?服务器费用控制2-3万,服务器日志产生多少g,数据库订单数据产生多少g!-慧知开源充电桩平台 一、服务器配置方案及逻辑(阿里云) 1....需求分析 设备规模:10万台双枪充电桩,理论最大并发连接数为20万(每个枪独立通信)。 请求类型:心跳包(高频)、充电启停、支付、状态上报等,假设平均每秒请求量约 5,000 QPS。...推荐配置: 实例规格:ecs.c6.xlarge(4核8G,突发性能实例) 数量:3台(按需可弹性扩缩容) 费用:约 3 × 600元/月 = 1,800元 (2)负载均衡(SLB) 场景:流量分发至多台...推荐配置: 实例规格:rds.mysql.s3.large(4核8G,独享型) 存储:500GB SSD(预留3年数据) 费用:约 2,500元/月 (4)缓存(Redis) 场景:缓存频繁访问的设备状态...年总量:60GB × 12 = 720GB/年。 三、最终建议 最低配置:3台ECS + 基础SLB + RDS + Redis + SLS,总费用约6,100元/月。

    35810

    使用YashanDB构建弹性伸缩数据库平台方法

    DN组负责数据存储和SQL执行。该部署形态支持海量数据的线性扩展,适合高处理能力需求的场景。共享集群部署共享集群部署依托共享存储,利用崖山集群内核(YCK)实现多实例数据页的一致性访问。...存储引擎与数据结构的弹性支持YashanDB通过多种存储结构适配不同业务场景,支持行存表、列存表及B-tree索引,并提供基于段页式(HEAP、BTREE)和切片式(MCOL、SCOL)的存储管理。...多样的存储结构支持弹性数据管理采用HEAP存储的行存表适合OLTP场景,支持高频率并发写入。MCOL存储结构的TAC列存表,兼顾在线事务与分析,支持原地更新以及列式存储的投影加速。...自动诊断存储库收集多维度诊断数据,辅助故障定位。双写技术解决断裂页问题,检查点机制控制脏页写回,保障存储一致性。异常关闭后自动实例恢复,提高系统高可用韧性。...构建YashanDB弹性伸缩数据库平台的技术建议选择合适部署模式。根据业务规模和性能需求灵活选用单机、分布式或共享集群部署,兼顾资源利用和支持业务弹性扩展。合理规划数据分布。

    39210

    服务过50+企业后总结:腾讯云双11采购季,这3类配置最容易被技术负责人忽略

    典型场景: 微服务架构中,订单服务(AZ-A)频繁调用库存服务(AZ-B),日均跨AZ流量达500GB,月增成本¥12,000。...双11补救动作:立即开启CLS日志服务的“智能分层存储”:热数据(7天内)存标准存储,温数据(7-30天)自动沉降至低频,冷数据(>30天)归档至深度归档;双11期间CLS存储包享买1年送6个月,且归档存储单价仅为标准的...弹性公网IP与NAT网关的冗余绑定被忽略的原因: 为追求极致低价,ECS只绑1个EIP或未配置NAT网关SNAT规则。...双11补救动作:核心出口必须配置NAT网关增强型(支持百万级并发连接),并绑定≥2个EIP做负载分担;双11期间NAT网关+共享带宽包组合购享额外9折,且赠送1个月DDoS基础防护;提前申请EIP信用额度...双11后恢复原价,且部分赠券(如内网流量包、CLS存储包)仅限活动期间领取。建议今日即登录腾讯云控制台,按检查表逐项核验——这些“小配置”的疏忽,往往比服务器选错规格代价更大。

    8910
    领券