- 综合排序
- 最热优先
- 最新优先
- 来自专栏mysql
hhdb数据库介绍(9-5)
使用mysqlbinlog连接远程实例获取binlog文件并解析出其中的SQL语句，然后交由计算节点执行，从而将某个数据库的增量数据导入到计算节点某个逻辑库下。 由于单线程操作且受网络延迟制约，此方式追数据的执行速度会慢于存储节点复制的执行速度，因此不保证计算节点的执行速度能够满足实时追上的要求，有可能存在数据延迟不断增大的现象，此时需要寻找业务低谷重试，或者另外规划方案 提示 如果业务数据没有数据乱码问题，可以考虑split切分文件，并行导入计算节点以加快处理速度。 6.使用mysqlbinlog做增量数据同步。 7.核对数据同步的正确性：此时需要进行必要的短时停服，中断业务系统向数据库的写入操作。通过人工在源端执行一条特殊数据后查看该条数据是否已经同步。 等到确认计算节点已经追完最新数据后，停止mysqlbinlog命令，若需要的话，取消数据库名称映射。
40610编辑于 2025-03-26 - 来自专栏AI机器学习与深度学习算法
机器学习入门 9-5 决策边界
上一小节使用我们自己封装的逻辑回归算法对鸢尾花数据集进行分类实验，实验中的鸢尾花数据集我们只选取了前两个0,1类别（逻辑回归算法只能解决二分类问题），与此同时，只用了样本的前两个特征（为了方便后续的可视化 ），最终模型在测试集上的准确率达到100%，也就是说模型将测试样本全部预测正确，当然这是因为鸢尾花数据集比较简单。 b 绘 制 逻 辑 回 归 的 决 策 边 界 鸢尾花数据集的样本分布如下所示： ▲鸢尾花数据集的样本分布 上面的图示就是鸢尾花数据集中每一个样本在样本空间中的分布（此时的鸢尾花只选取了两个类别的前两个特征 而相对应的x2_plot只需要将x1_plot传入x2函数中即可，与此同时将训练数据集也绘制出来。 前面提到过此时绘制的是训练数据集（绘制训练集，我们可以通过决策边界来看模型是否过拟合）而不是测试数据集，而前面实验中得到的100%分类准确率是在测试数据集上。
3.1K20发布于 2020-02-26 - 来自专栏三掌柜的技术空间
吃透大模型系统：提示工程、符号推理、智能体实战全解
很多人误以为差距在于“会不会用工具”，但其实下半场真正拉开差距的是： 你能不能让 AI 记得住、用得上、越用越好。 作者白钰长期在亚马逊、阿里云做大规模 AI 系统研发与落地，书中传递的核心观点十分明确：这不是教你“怎么跟大模型聊天”，而是教你“怎么搭建一个能跑的 AI 系统”。 ▲上下文工程的 MCP 最佳实现（原书图 9-5） 如果跳过这一步，智能体甚至不知道自己能干什么、该用什么、现在处在什么状态，更谈不上稳定规划和可靠执行。 对模板中声明的宏进行宏展开（拉取资源和工具） 模板不会把内容写死，而是声明“我需要什么”：会话历史、任务状态、工具清单、权限边界、外部数据入口……这些必须在运行时拉齐，不然模型只会盲猜。 3. Part.4 结语 AI 变化太快，天天追新 Prompt 技巧确实很累，而且很难形成真正的护城河。
45411编辑于 2026-03-03 - 来自专栏IT技术圈（CSDN）
浙大版《C语言程序设计（第3版）》题目集 习题9-5 通讯录排序
习题9-5 通讯录排序 输入n个朋友的信息，包括姓名、生日、电话号码，本题要求编写程序，按照年龄从大到小的顺序依次输出通讯录。题目保证所有人的生日均不相同。
1.4K30发布于 2020-09-15 - 来自专栏企鹅号快讯
AI需要大数据，而大数据也需要AI
美国知名AI作家Bernard Marr 说过：“过去，由于有限的数据集、非实时的数据和无法在数秒内分析大量数据，而导致AI发展受阻。 今天，可以实时访问数据和工具，实现快速分析，从而推动了AI和机器学习，并允许向数据优先的方法过渡。我们的技术现在已经足够灵活，可以访问这些庞大的数据集，以快速推进AI和机器学习应用程序。” AI和大数据形成了一种真正的共生关系，彼此需要。 然而，Manchett警告说，AI尚不足以满足非技术业务的需求。“为了实现大数据和AI的目标，你仍然需要理解提取、转换和加载的概念，以及机器学习是什么，可以做什么。” 数据占据了中心位置。 “通过云计算，任何人都可以轻而易举地获得数据，大数据和AI的可能性在我们的生活中变得越来越真实。”然后，AI和机器学习将变得司空见惯。
888100发布于 2018-01-18 - 来自专栏ATYUN订阅号
【观点】AI需要大数据，而大数据也需要AI
AI和大数据已经形成了一种真正的共生关系，彼此需要相得益彰。 美国知名AI作家Bernard Marr 说过：“过去，由于有限的数据集、非实时的数据和无法在数秒内分析大量数据，而导致AI发展受阻。 今天，可以实时访问数据和工具，实现快速分析，从而推动了AI和机器学习，并允许向数据优先的方法过渡。我们的技术现在已经足够灵活，可以访问这些庞大的数据集，以快速推进AI和机器学习应用程序。” AI和大数据形成了一种真正的共生关系，彼此需要。 “通过云计算，任何人都可以轻而易举地获得数据，大数据和AI的可能性在我们的生活中变得越来越真实。”然后，AI和机器学习将变得司空见惯。
59270发布于 2018-03-06 - 来自专栏机器学习与自然语言处理
Stanford机器学习笔记-9. 聚类(Clustering)
显然，现实生活中不是所有数据都带有标记(或者说标记是未知的)。所以我们需要对无标记的训练样本进行学习，来揭示数据的内在性质及规律。 一个非聚类的例子是鸡尾酒会算法，即从带有噪音的数据中找到有效数据(信息)，例如在嘈杂的鸡尾酒会你仍然可以注意到有人叫你。所以鸡尾酒会算法可以用于语音识别(详见wikipedia)。 图9-2 一些聚类的应用 9.2 K-means algorithm 聚类的基本思想是将数据集中的样本划分为若干个通常是不相交的子集，每个子集称为一个"簇"(cluster)。 如图9-5的(1)所示。 但是，通常这条曲线是渐变的，没有很显然的"肘部"。如图9-5的(2)所示。 ? 图9-5 代价J关于簇数K的曲线图 注意：随着K的增加J应该总是减少的，否则，一种出错情况可能是K均值陷入了一个糟糕的局部最优。 一些其他的方法参见wikipedia。
1.7K110发布于 2018-03-13 - 来自专栏全栈程序员必看
体验vSphere 6之7-为虚拟机启用容错
图9-2 故障详细信息 （3）在”选择数据存储”对话框，为辅助虚拟机选择数据存储。在新版本的FT中，主虚拟机与辅助虚拟机可以放置在不同的数据存储中，这进一步提高了”容错”的安全性，如图9-3所示。 图9-3 为辅助虚拟机选择数据存储 （4）在”选择主机”对话框，为辅助虚拟机选择主机，如图9-4所示。辅助虚拟机、主机要运行在不同的主机上。 图9-4 为辅助虚拟机选择主机 （5）在”即将完成”对话框，显示辅助虚拟机详细信息，这包括辅助虚拟机所在主机、配置文件位置、硬盘位置等，如图9-5所示。 图9-5 完成 （6）返回到vSphere Web Client管理控制台，在”近期任务”中会显示为虚拟机打开容错的配置信息，如图9-6所示。
1.6K40编辑于 2021-12-23 - 来自专栏AI系统
【AI系统】数据并行
数据并行是一种广泛应用于分布式 AI 系统中的技术，旨在通过将数据集划分为多个子集并在不同计算节点上并行处理这些子集，以提高计算效率和速度。 分布式数据并行 DDP分布式数据并行（Distributed Data Parallel, DDP）是数据并行的一种高级形式，它综合了多种优化，是当前应用最广的并行算法之一，通常用于大型 NPU AI 集群和 AI 系统中。 在通信的同时也会继续计算梯度，这样就无需等待所有计算完成后再集中进行通信，也不必在计算完成后等待通信完成，从而将通信过程覆盖到计算时间内，充分利用 AI 集群，提高了 AI 集群使用率。 DDP 反向传播中计算与通信的重叠导致无需等待所有计算完成后再集中进行通信，也不必在计算完成后等待通信完成，提高了 AI 集群的使用率。
1.2K10编辑于 2024-12-07 - 来自专栏技术墨客
从数据到AI
一篇关于數據倉庫建設、人工數據分析、AI數據分析的讲义 數據Data&信息Information 信息 信息是一個客觀存在物體的自然表現，比如說“I am a local villain.” 隨著數據的不斷累積和堆積在數據背後發現了驚人的統計規律，隨著這些統計規律的發展漸漸的出現了AI分析和數據分析。 數據&數據分析&AI 如下圖是建立數據分析工程的過程 ? 根據需要訓練AI模型。 數據倉庫的建立 聯機事物型系統&決策分析系統 在數據能力上，通常將系統的數據結構模型分為2類，聯機事物型、決策分析型。 數據倉庫案例展示superset 地址：http://192.168.0.212:8088 賬號：admin 密碼：admin 數據分析到AI訓練 進過大量的數據演練，可以逐漸的發現數據背後的統計規律。
95350发布于 2019-11-21 AI Agent + 数据工程
一位在数据领域深耕多年的创业者告诉我，早期AI在数据工程领域的切入点其实很务实——那些原本需要大量人工的数据治理工作，恰恰是大模型最擅长的地方。 比如从海量数据中提炼关键信息、自动生成数据文档、识别重复和冗余的表结构。这些事情以前要靠专人花时间梳理，现在AI可以快速完成。 但这只是第一步。 更深层的变化在于，数据工程的需求本身正在被AI重塑。 以前的交付物很明确：一张张处理好的数据表，加上一个Dashboard，业务方看数据就够了。 现在呢？业务方不仅看Dashboard，还想直接跟数据对话——问AI一个问题，AI直接给出答案。 好的数据工程，应该配合AI在事中就做好管理和体系搭建。” 这句话背后是一个残酷的现实：以前数据工程师的工作更像是管道工——把数据从A搬到B，分层、清洗、汇总。 现在的要求变成了规划师——不仅要搬数据，还要让数据能被AI正确理解和调用。 这需要的不仅是技术能力，更是思维方式的转变。
40010编辑于 2026-02-28- 来自专栏白话互联
【Claude Code】白话观察 | 9月6日速递
Claude Code领域的重要动态吧，昨天Anthropic重点更新了对国内公司的封锁，这也能说明本周各个claude code的api代理的账号被疯狂的封锁的原因了，国货当自强，Kimi 2 发布9- ❤ Claude Code成为企业AI战略核心 开发者AI产品推动收入增长 Claude Code作为Anthropic专注于开发者的AI产品，已成为公司增长的关键驱动力。 Anthropic安全研究人员报告称，他们最近打断了一个复杂的网络犯罪分子，该犯罪分子使用Claude Code进行大规模盗窃和数据勒索操作。 这一事件引发了关于AI工具安全使用的重要讨论，突显了行业需要加强安全措施的紧迫性。 ❤ AI编码工具市场竞争加剧 多家科技巨头推出竞争产品 随着AI编码工具市场的快速发展，竞争日益激烈。 根据IndexBox平台的数据，AI辅助编码工具的采用率激增，反映了更广泛的行业转型。大型科技公司的高管们也承认了这一转变，这标志着软件工程师正在经历他们曾经对其他行业造成的颠覆。
32110编辑于 2025-09-17 - 来自专栏Coding迪斯尼
用go做个编译器:语法解析树及其实现
语法解析一个非常重要的功能就是要构建一个树形数据结构，也叫语法解析树，无论是解释器执行当前语句还是编译器将语句转换为低级语言，解析树都是一个承上启下的重要结构。 对于算术表达式9-5+2, 由于我们会首先使用list -> list + digit 来进行解析，因此 9-5对应一个list，2对应digit, 因此最终解析完成后，所形成的解析树如下： 使用生产式来定义语法是一件困难的事情 list+list进行解析，一种是使用list->list-list进行解析，如果是后者，那么我们会生成的语法树如下： 这里我们看到两个语法表达式都对应表达式”9-5+2”，但是第一个语法树执行的操作是(9- 对于算术表达式1+2，对应的算术表达式就是1 2 +, 对于表达式(3+4)，对应的后项表达式就是3 4 + , 我们看一个复杂一点的，(9-5)+2 ,首先我们计算(9-5)的后项表达式，也就是9 5
2K50编辑于 2022-03-28 - 来自专栏数据结构与算法
BZOJ1096: [ZJOI2007]仓库建设(dp+斜率优化)
你将得到 以下数据：1：工厂i距离工厂1的距离Xi（其中X1=0）;2：工厂i目前已有成品数量Pi;:3：在工厂i建立仓库的费用 Ci;请你帮助L公司寻找一个仓库建设的方案，使得总的费用（建造费用+运输费用 Sample Input 3 0 5 10 5 3 100 9 6 10 Sample Output 32 HINT 在工厂1和工厂3建立仓库，建立费用为10+10=20，运输费用为(9-5)*3 如果仅在工厂3建立仓库，建立费用为10，运输费用为(9-0)*5+(9-5)*3=57，总费用67，不如前者优。 【数据规模】 对于100%的数据， N ≤1000000。
1.3K50发布于 2018-04-13 openEuler 高效 AI 数据管道
开篇介绍AI训练的瓶颈往往不是模型计算，而是数据预处理。openEuler提供高效的数据处理管道，支持并行加载、GPU预处理、数据增强等优化。今天聊聊如何加速AI数据处理。 数据处理优化：多进程DataLoader并行加载提升5-10倍，DALIGPU预处理释放CPU，预取机制减少等待时间，数据缓存避免重复读取。 存储优化：NVMeSSD提升I/O吞吐，分布式文件系统支持大规模数据集，数据格式优化TFRecord/Parquet提升读取效率。 QPS提升40%，Web服务器并发提升50%，大数据任务快35%。 优化要基于数据驱动，每次都要测试对比，确保有效且稳定。
36610编辑于 2025-12-03- 来自专栏AI
AI中的数据存储
流水线中的数据存储类型和量级 图片 每个AI流水线中都涉及到数据存储 数据源-数据提取过程中涉及到: PB级别的顺序写 数据准备过程中: TB级别的顺序读 模型训练过程中: GB级别的随机读 检查点和恢复过程中 中间采用高性能全闪存,通过是TLC, 弥补机械盘性能, 总容量比HDD少 右边采用对象存储, 存储集群或JBODS, 包含大量机械盘, 总容量占比高 AI集群中的数据移动 图片 1.数据采集阶段，原始数据按顺序写入对象存储层 RAG 还可以创建额外的 I/O 活动 5.归档流程: 模型输入和输出被捕获并写入对象存储层的磁盘 旨在优化 AI 存储效率的产品组合 QLC 提升新型 AI DC(数据中心) 构建的电源效率 每个 DGX 有关建模详细信息，请参阅附录“QLC 功率效率与 HDD” 模型训练与数据存储 AI 数据穿越存储层之旅 最近的检查点基本在SSD上 早期的检查点数据在HDDS AI数据量级和性能 检查点：提高存储容量和吞吐量 Blob 存储层一次性访问可实现高吞吐量 AI负载中的存储扩展性 总结 AI集群流程中的数据存储需要根据实际业务的量级和性能要求做分层存储, 这样成本可控且性能满足需求 AI行业也会带动存储行业发展,
1.9K11编辑于 2024-09-18 转载:【AI系统】数据并行
数据并行是一种广泛应用于分布式 AI 系统中的技术，旨在通过将数据集划分为多个子集并在不同计算节点上并行处理这些子集，以提高计算效率和速度。 分布式数据并行 DDP分布式数据并行（Distributed Data Parallel, DDP）是数据并行的一种高级形式，它综合了多种优化，是当前应用最广的并行算法之一，通常用于大型 NPU AI 集群和 AI 系统中。 在通信的同时也会继续计算梯度，这样就无需等待所有计算完成后再集中进行通信，也不必在计算完成后等待通信完成，从而将通信过程覆盖到计算时间内，充分利用 AI 集群，提高了 AI 集群使用率。 DDP 反向传播中计算与通信的重叠导致无需等待所有计算完成后再集中进行通信，也不必在计算完成后等待通信完成，提高了 AI 集群的使用率。
56810编辑于 2024-12-13AI+Data：AI时代的企业数据治理
随着AI应用对多源异构数据的需求增加，企业对于非结构化数据的价值化需求也在加速释放，而相应的数据治理模块也将获得进一步的关注与优化。 对于部署AI应用的企业来说，数据资源的质量直接决定了AI应用能否成功落地。因此，在推进AI应用的过程中，开展针对性的数据治理工作是首要且必要的步骤。 AI模型对数据高度敏感，低质量的数据会导致“garbage in, garbage out”的问题，即输入数据的缺陷会直接影响到输出结果的质量。 为了确保AI模型的有效性和准确性，必须保证数据的完备性和准确性。有效的数据治理不仅可以为AI模型提供高质量的数据原料，还能提高模型的拟合效果，进而增强AI应用的实际性能。 在金融、医疗、零售、工业以及互联网等数据基础建设较好的行业中，面向AI时代的数据治理正在逐步显现其优势。
1.3K10编辑于 2025-01-03- 来自专栏祝威廉
数据部门如何All In AI
这也是很多大数据部门领导非常焦虑的地方。 那么出路在哪里呢？ All In AI 事实上，真正能帮助业务提高效能，提供创新产品的必然是AI，AI是一种模式的输出。 从上面我们可以看到，数据部门的最大价值，最终会通过AI来进行落地，并且还会给部门/公司提供了极为丰富的想象空间。 如何 All In AI？ 对于这件事情，我们要仔细研究一个核心的东西： 资源。 我们知道，AI平台是基于数据平台的之上的，其结构是一个金字塔形状的。所以第一步你需要有一个良好的数据平台，其次你还需要有一个AI平台，让单一算法落地变得容易。 现阶段，按我的了解，AI平台通常只能做到针对单一算法的自助化。那么为了让组织更加合理高效，重构数据部门团队就很有必要了。 总结 本文我们说了为什么要All In AI，要实现All In AI 不仅仅需要有一个好的平台（数据、算法平台）,也需要有良好的动员人力资源的能力，采用一个合理的算法组织架构充分利用人力资源。
51620发布于 2018-08-27 数据质量决定AI命运
上个月参加一个AI技术沙龙，我问了在座的技术负责人这样一个问题。 原本以为会听到关于算力、算法或者成本的回答，结果大家的答案出奇一致——数据质量。 一个创业公司的CTO感慨地说："我们现在花的钱，80%都在找数据、清洗数据、标注数据，真正的模型训练反而是小头。" 这个回答让我意识到，我们正处在AI发展的一个重要转折点。 解密高质量数据集的三张面孔 很多人对数据集的理解还停留在"图片+标签"的层面，认为只要有数据就能训练AI模型。但实际上，高质量数据集远不止这么简单。 从数据模态来看，现代AI需要的是多维度的数据生态。 2025年，AI智能体和高质量数据集建设的双重推进，将把人工智能带入一个新的发展阶段。这个阶段的特征是数据质量成为决定性因素，技术创新与数据资源同等重要。 数据质量决定AI命运，也决定我们在AI时代的命运。
35410编辑于 2026-02-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号