首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏布衣者博客

    LeetCode-题库-刷题(6-7)

    将一个给定字符串 s 根据给定的行数 numRows ,以从上往下、从左到右进行 Z 字形排列。 具体题目链接

    50020发布于 2021-09-07
  • 来自专栏linjinhe的专栏

    设计数据密集型应用(6-7):分片、事务

    分片 假设我们有一个单机数据库,上面有三张表:用户表、商品表和订单表。 ? 无分片 业务刚起步的时候,数据量很少,这个只有三张表的数据库运行得很好。 ? 垂直分片 随着业务发展,用户数量、商品数量、订单数量都在持续增长,数据库的负载越来越高。我们开始对数据库进行垂直拆分(垂直分片),把这三张表拆到三个数据库,而业务代码改改数据库的配置就好。 ? 再后来,一个数据库也承载不了用户表的数据,需要对用户表进行水平拆分(水平分片)。比如,根据用户 ID 将数据哈希到 n 个数据库。 比如,如果 key 是单调递增的,那所有插入数据都会集中在最后一个分片。这个分片的数据插入速度会成为插入性能的瓶颈。单调递增的 key 在关系数据库领域是非常常见的。 对单副本的数据库来说,持久性的意思是数据被写入外存,比如 HDD 或 SSD。对多副本的数据库来说,持久性意味着数据以及成功复制到其它节点。

    81650发布于 2020-04-02
  • 来自专栏python3

    笨办法学Python - 习题6-7:

    Process finished with exit code 0 上面的代码主要是有几个点需要注意下: 占位符的问题,%d 代表整数,%s 代表字符串,数据类型必须要匹配 %r 和 %s 的区别和联系

    75310发布于 2020-02-10
  • 来自专栏iOS面试

    iOS 面试策略之算法基础6-7

    数据溢出:因为动态规划是一种由简至繁的过程,其中积蓄的数据很有可能超过系统 当前数据类型的最大值,从而导致程序抛出异常。 这两点,我们在上面这道求解斐波拉契数列第100个数的题目就都遇到了。 实际上 F(40) 就已经突破一亿,F(100) 一定会造成整型数据溢出。 当然对于这两点我们也有相应的解决方法。 对付栈溢出,我们可以把递归写成循环的形式(所有的递归都可改写成循环);对付数据溢出,我们可以在程序每次计算中,加入数据溢出的检测,适时终止计算,抛出异常。

    94430发布于 2021-04-22
  • 来自专栏AI SPPECH

    IO竞赛2025年题目解析:中级难度(6-7

    2025年的中级难度(难度系数6-7)题目综合考察了选手的算法设计、数据结构应用、数学建模和问题分析能力。本文将深入解析2025年中级难度的IO竞赛题目,帮助选手们突破瓶颈,提升解题能力。 难度进阶路径: 入门(1-3) → 基础(4-5) → 中级(6-7) → 高级(8-10) 难度系数 考察重点 核心知识点 学习目标 6-7 高级算法、数据结构综合应用 高级动态规划、图论、数论、几何 7,这一阶段的题目开始考察更高级的算法和数据结构的综合应用。 问题建模难度增加,需要将实际问题转化为算法模型 数据结构的选择和实现更加复杂 代码量增加,对代码的正确性和效率要求更高 往往需要结合多种算法和数据结构来解决问题 第二章:难度系数6题目解析 难度系数6 的题目是中级难度的基础,开始涉及更复杂的算法设计和数据结构应用。

    35510编辑于 2025-11-13
  • 来自专栏AI机器学习与深度学习算法

    机器学习入门 6-7 sklearn中的随机梯度下降法

    在jupyter调用我们自己封装的随机梯度下降法,首先是先在虚拟数据上验证算法正确性,然后应用真实的数据。 ? ? ? ? ? ? 二 sklearn实现随机梯度下降法 ? ?

    1.3K20发布于 2019-11-13
  • 来自专栏ET

    什么是数据集成平台?数据集成平台推荐

    数据集成平台的基础知识1. 什么是数据集成平台数据集成平台是一种用于管理和协调数据流动的软件工具或服务。它的主要目标是将来自多个不同数据源的数据整合到一个统一的、易于访问和分析的数据存储库中。 数据集成平台的主要组件数据集成平台通常包括以下主要组件:连接器 连接器是用于与不同数据源通信的组件。每个数据源都有其自己的连接器,用于确保数据的顺利流动。 数据集成平台与ETL的区别数据集成平台和ETL(提取、转换、加载)是数据管理领域中的两个不同概念,它们虽然有一些重叠之处,但也存在一些关键区别。 数据集成平台则更加通用,可以应对多种不同的数据集成需求,包括批处理和实时数据处理。数据集成平台工具介绍选择适合企业需求的数据集成平台至关重要。以下是一些推荐的数据集成平台1. (数据集成工作流界面)(数据集成监控功能)市面还有很多其他数据集成平台,企业可以根据自身的需求选择不同的数据集成平台工具。

    5.3K30编辑于 2023-09-19
  • 来自专栏NLP/KG

    数据开发平台

    1 特征平台 2.DeepInsight

    5.4K40编辑于 2023-03-17
  • 来自专栏数据社

    小米数据平台

    作者 | 勇幸,小米计算平台负责人 导读: 业界一直希望统一元数据,从而实现多产品间的一致体验:无论是数据开发、数据消费还是数据治理,所有用户都能基于一套元数据体系,采用相同的资源描述方式,这无疑能极大地提升用户体验 得益于开源与组织时机,小米基于 HMS 与 Metacat 实现了元数据的统一,也借此实现了将 7 个数据平台统一为 1 个平台。 Gravitino 在小米数据平台中的位置 下图中 Gravitino 具有以下我们需要的特性(以绿色和黄色突出显示): 统一的元数据湖:作为一个统一的数据目录,它支持多种数据源、计算引擎和数据平台,用于数据开发 我们期望通过利用 Gravitino 在我们的数据平台上实现这一点。 多系统集成的统一认证挑战 为了为用户提供无缝的数据开发体验,数据平台通常需要与各种存储和计算系统集成。 为了解决这个问题,简化不同账户系统的复杂性并建立统一的授权框架是构建一站式数据开发平台的关键一步,以提高数据开发的效率。

    1.2K10编辑于 2024-04-10
  • 来自专栏Java架构师必看

    数据运营平台-数据采集

    今天说一说数据运营平台-数据采集[通俗易懂],希望能够帮助大家进步!!! 目录 行为数据采集 业务数据采集与转换 第三方系统API对接 用户数据关联 人工数据采集 数据输出 ---- 行为数据采集 1.埋点采集 ①跨平台打通 确定性方法识别 利用用户帐号体系中,可以是系统生成的 ,不计入平台数据统计 2:打开 Debug 模式,该模式下发送的数据可计入平台数据统计 iOS环境 AnalysysAgent setDebugMode:AnalysysDebugButTrack AnalysysDebugOff 数据管理 A.业务数据检查 接口应提供业务数据检查功能,即对接收的数据进行合法性检查,对非法数据和错误数据则拒绝接收,以防止外来数据非法入侵,减轻应用支撑平台系统主机处理负荷。 主要通过实现数据导入工具,来实现对人工处理数据的采集;比如定制好数据模板,当人工填写数据模板后,在数据工具中导入上传,再进入大数据平台的文件自动处理机制流程中。

    6.3K31编辑于 2022-07-06
  • 来自专栏大数据开发

    数据平台架构:数据平台建设的几种方案

    随着大数据在越来越多的企业当中落地,企业要开展大数据相关的业务,那么首先要搭建起自身的数据平台。而企业搭建大数据平台,往往需要结合成本、业务、人员等各方面的因素,来规划数据平台建设方案。 今天我们就来聊聊数据平台建设的几种方案。 9.jpg 数据平台其实在企业当中一直都是存在的,但是进入到数据爆发式增长的大数据时代,传统的企业级数据库,在满足数据管理应用上,并不能完全满足各项需求。 对于企业而言,基于大数据背景下的企业数据管理应用,也需要更加符合需求的数据平台建设方案。 主流数据平台建设方案 从市场主流选择来看,企业数据平台建设方案,目前大致有以下几种: 1、常规数据仓库 数据仓库的重点,是对数据进行整合,同时也是对业务逻辑的一个梳理。 15.jpg 关于大数据平台架构,数据平台建设的几种方案,以上就为大家做了一个简单的介绍了。

    3.4K51发布于 2020-10-14
  • 【能力比对】K8S数据平台VS数据平台

    AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。 一、K8S数据平台VS数据平台能力对比 1.1 K8S数据平台(CloudEon)-功能描述 K8S数据平台基于开源项目CloudEon建设,简化Kubernetes上大数据集群的运维管理,一款基于Kubernetes 的开源大数据平台,旨在为用户提供一种简单、高效、可扩展的大数据解决方案。 K8S数据平台(CloudEon)将基于 Kubernetes 的资源安装部署开源大数据组件,实现开源大数据平台的容器化运行,可减少对于底层资源的运维关注。 四、 K8S数据平台VS数据平台-应用场景适配K8S数据平台(CloudEon)高实时性、弹性需求行业:互联网用户行为分析、金融反欺诈、AI模型推理等场景需支撑千万级QPS查询与GPU资源动态调度,其流批一体计算引擎

    76510编辑于 2025-05-07
  • 什么是数据集成平台数据集成平台有哪些功能?

    简单来说,数据集成平台就是一种专门用来收集、整合和管理来自不同源头的数据的工具。那么,数据集成平台究竟能干啥?它具体有什么本事?别急,咱们今天就一层层把它拆开讲清楚。 没有集成平台的时候,店长想决定该进多少货,可能得手动去比对这三套数据,费时费力还可能出错。但有了数据集成平台呢?平台就能自动地把销售数据、当前的库存情况、会员的消费习惯这些信息整合到一起。 二、 数据集成平台的主要功能​​数据集成平台的能耐,实实在在地体现在这四个核心功能上:​​1. 数据抽取​​这是第一步,好比是准备原材料。 这时候增量抽取就太有用了,平台只需要抽取当天的订单数据,同步到数据仓库或者分析平台,后面的分析用起来就顺手多了。​​2. 而数据仓库是个“大仓库”,核心工作是存储和管理这些被集成平台处理好的、规整的历史数据,主要服务于查询和分析。你可以理解为,集成平台是给数据仓库“备料”的前道工序。

    2K10编辑于 2025-07-02
  • 来自专栏大数据开发

    数据平台搭建:基于Hadoop的数据分析平台

    15.jpg 企业要进行大规模的数据分析,基于开源的Hadoop及其生态圈来搭建起大数据系统平台,无疑是一种低成本高效率的选择。 Hadoop大数据平台 Hadoop在大数据技术生态圈,经过这么多年的发展,基础核心架构的地位,依然稳固。 针对不同的具体需求,采用不同的数据分析架构和框架组件来解决实际问题。 大数据分析平台需求规划 按照数据分析的时效性需求,大数据分析可分为实时数据分析和离线数据分析两种。 对于大多数反馈时间要求不是那么严苛的应用,比如离线统计分析、机器学习、搜索引擎的反向索引计算、推荐引擎的计算等,可采用离线分析的方式,通过数据采集工具将日志数据导入专用的分析平台。 9.jpg 关于大数据平台搭建,基于Hadoop的数据分析平台,以上就是今天的分享内容了。

    2.5K1410发布于 2020-10-10
  • 来自专栏祝威廉

    运维=平台+数据

    运维现有发展方向的问题 运维也越来越朝着平台化,自动化,自助化方向发展。这种发展方式虽然可以解决问题,但是会导致碎片化以及难以标准化,不可复制,对生态也是不利的。 运维发展新方向 之前我写过一篇文章,谈及如何用大数据思维做运维,当然这篇文章有他自己的局限性,只是谈及了运维监控,灌输一种 data based 的理念。 随着分布式相关应用慢慢成熟,尤其是大数据的崛起,对服务器有了更多的需求,以资源为粒度的管理需求也变得更加迫切,于是有了Google Borg,开源的则有Mesos,Yarn等。 前面讲的是基础平台层面的,我们其实更多的是要对应用进行更细致的观察。在Borg之上的应用可以是非常复杂的,应用的关联也是非常复杂的,微服务的兴起导致链路非常长,所以我们有了全链路追踪的需求。 一切服务都是为了帮助数据进行流转和变换,服务的状态也都反应在数据流上,这种瞬态和终态的量是非常大的,所以我们需要借助大数据的思维去做处理。 到这里就可以参考大数据思维做运维灌输的概念了。

    4.5K50发布于 2018-08-27
  • 来自专栏啄木鸟软件测试

    数据平台测试

    来源:http://www.uml.org.cn 一.大数据平台测试简述 大数据平台测试包括2部分:基础能力测试和性能测试 Ⅰ).基础能力测试 大数据平台的基本功能和数据的导入导出对SQL任务、NoSQL b).是否能够进行细粒度的权限管理 c).是否能够提供审计和数据加密功能 大数据平台是否具备高可用的机制,防止机器的失效带来的任务失败以及数据丢失 大数据平台是否能够支持机器快速平滑地扩展和缩容时带来线性的计算能力 Ⅲ).测试指标 主要从性能、能耗、性价比和可用性4个维度来测试对比平台性能 ? 三.大数据平台测试工具 Ⅰ).平台单组件测试 测试应用单一、效率高、成本低,但无法全面衡量大数据平台性能 ? Ⅱ).综合平台测试 覆盖面广,可以较全面测试衡量大数据平台不同类型任务的性能,通用性好 ? :结构化、半结构化、非结构化 四.大数据平台测试用例 Ⅰ).平台基准测试用例 主要是从性能的角度衡量大数据平台,包括数据生成、负载选择和明确测试指标等内容 ?

    2.2K30发布于 2020-11-03
  • 来自专栏鸿的学习笔记

    现代元数据平台

    此时就需要一个现代元数据平台去管理现代数据技术栈,以防止公司的数据生态系统由于分散和增长而变成笨重的野兽。 领英希望 WhereHows 能够更加通用化,成为一个真正的元数据平台。 它是一个平台,可大规模集成、处理和提供丰富的元数据,以应对许多复杂的组织数据挑战。 为什么需要现代元数据平台? “为什么传统的元数据管理解决方案不够好?” 那么,为什么需要现代元数据平台呢?因为您的元数据可能与您的数据一样大和一样复杂,因此应该受到同样的尊重。 如何构建出色的现代元数据平台? 简而言之,一个优秀的元数据平台看起来与一个优秀的数据平台非常相似。

    96631编辑于 2022-03-11
  • 来自专栏全栈程序员必看

    数据平台建设

    数据仓库平台Hive Hive详细介绍 Hive是一个基于Hadoop的数据仓库平台。通过hive,我们可以方便地进行ETL的工作。 大规模数据分析平台Pig Pig详细介绍 Pig是一个基于Hadoop的大规模数据分析平台,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的 Impala采用与Hive相同的元数据、SQL语法、ODBC驱动程序和用户接口(Hue Beeswax),这样在使用CDH产品时,批处理和实时查询的平台是统一的。 目前已经有包括阿里百度在内的数家大型互联网公司在使用该平台。 现在Kubenetes着重于不间断的服务状态(比如web服务器或者缓存服务器)和原生云平台应用(Nosql),在不久的将来会支持各种生产云平台中的各种服务,例如,分批,工作流,以及传统数据库。

    1.6K40编辑于 2022-08-12
  • 来自专栏全栈开发那些事

    6-7 在一个数组中实现两个堆栈 (20分)

    其中Tag是堆栈编号,取1或2;MaxSize堆栈数组的规模;Stack结构定义如下:

    1.2K40编辑于 2023-02-27
  • 数据治理平台有哪些:2025 年数据治理平台深度解析

    然而,当前市场上的数据治理平台功能参差不齐,有的侧重技术架构,有的聚焦行业场景,如何在纷繁复杂的选项中找到适配自身需求的平台,成为企业数字化转型的关键课题。 信创与合规深度绑定:超过 85% 的央国企将 “信创适配能力” 列为数据治理平台选型的首要指标,要求平台从底层数据库到上层应用全面兼容国产化软硬件体系,同时满足等保 2.0、数据分类分级等合规要求。 四、如何选择最适合的平台?5 步落地选型方法论数据治理平台的选型不是 “选最好的”,而是 “选最对的”。结合 2025 年市场特点,建议按以下 5 步推进:1. 六、总结:2025 年数据治理平台选型的核心逻辑随着数据成为企业核心资产,数据治理平台已从 “可选工具” 变为 “必备基础设施”。在 2025 年的市场环境中,选型的核心逻辑可总结为:1.  最终,数据治理的目标不是 “建设平台”,而是 “释放数据价值”。企业需以业务需求为导向,选择能支撑长期战略的平台,同时配套组织流程与管理机制,才能在数字经济时代真正实现 “数据驱动增长”。

    1.6K00编辑于 2025-08-27
领券