- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI机器学习与深度学习算法
机器学习入门 4-8 scikit-learn中的scaler
本小节主要介绍在sklearn中使用数据归一化。 01 对测试进行归一化？ ? 前面我们将数据集划分成训练集以及测试集。用训练集来训练模型，测试集来验证模型的性能。 为什么要这样做呢，有下面几个原因： 真实环境很有可能无法得到所有测试数据的均值和方差。我们从原始数据中划分一部分数据作为测试集，对于这一小部分测试集，可以很容易得到样本的均值以及方差。 我们使用在训练集上得到的均值和方差来对这朵鸢尾花特征进行归一化的操作； 对数据进行归一化也是算法的一部分。 可以理解成算法就包括对所有数据 - mean_train / std_train。针对后面来的数据，我们也使用同样的方式进行处理。 具体使用sklearn进行数据归一化操作如下： ? ? ? ? ? 03 创建自己的归一化类 ? ?
1.5K00发布于 2019-11-13 4-8人同服搭建教程详解
本文详解如何通过搭建专属服务器实现4-8人同服联机，涵盖服务器配置要求、活动页选购、防火墙设置及客户端连接配置，帮助玩家突破人数限制，与好友畅享多人联机体验。 1.2 专属服务器的优势 对比维度 内置联机 专属服务器 最大人数 4人 4-8人 稳定性 依赖主机在线 7×24小时运行 参数自定义 不支持 支持经验倍率、捕获率等调整 隐私性 可能遇到陌生人 仅邀请好友加入 ServerPassword 服务器密码 建议设置 AdminPassword 管理员密码 建议设置强密码 PublicPort 游戏端口 默认8211 ServerPlayerMaxNum 最大玩家数 建议设为4- Restart 重启服务器 /Kick [玩家名] 踢出指定玩家 /Ban [玩家名] 禁止指定玩家加入 /adminpassword [密码] 输入管理员密码获取权限 八、总结 《幻兽帕鲁》想要实现4-
1.5K10编辑于 2026-07-20- 来自专栏脑电信号科研科普
theta悖论:4-8 Hz的EEG振荡既反映睡眠压力又体现认知控制
每个块的高度表示数据采集是被试身体位置：躺在床上（短），躺椅（中），桌前（高）。 所有数据由matlab分析，采用Fieldtrip软件包。脑电图数据在0.5～40Hz之间进行滤波，并降采样至250 Hz，人工去伪迹。所有被试超过120个频道中，平均有4±3个频道被删除。 来自STM任务的数据分别根据试验类型进行分析，使用来自整个25分钟记录的数据。每个试验首先被划分为2秒的时间段。排除了含0.25%噪声）的试验。 在通道空间中，出现了两个显著的通道组（图4AI）：额部峰值在ch11；后部峰值在ch75。 sdTheta功率谱有多个峰值基线时的平均theta功率如何更像fmTheta（图4AI），特别是对于游戏，而不是在任务中的sdTheta。
1.1K30编辑于 2023-01-16 - 来自专栏IT技术圈（CSDN）
浙大版《C语言程序设计（第3版）》题目集 习题4-8 高空坠球
习题4-8 高空坠球 皮球从某给定高度自由落下，触地后反弹到原高度的一半，再落下，再反弹，……，如此反复。问皮球在第n次落地时，在空中一共经过多少距离？第n次反弹的高度是多少？
1.7K10发布于 2020-09-15 - 来自专栏企鹅号快讯
AI需要大数据，而大数据也需要AI
美国知名AI作家Bernard Marr 说过：“过去，由于有限的数据集、非实时的数据和无法在数秒内分析大量数据，而导致AI发展受阻。 今天，可以实时访问数据和工具，实现快速分析，从而推动了AI和机器学习，并允许向数据优先的方法过渡。我们的技术现在已经足够灵活，可以访问这些庞大的数据集，以快速推进AI和机器学习应用程序。” AI和大数据形成了一种真正的共生关系，彼此需要。 然而，Manchett警告说，AI尚不足以满足非技术业务的需求。“为了实现大数据和AI的目标，你仍然需要理解提取、转换和加载的概念，以及机器学习是什么，可以做什么。” 数据占据了中心位置。 “通过云计算，任何人都可以轻而易举地获得数据，大数据和AI的可能性在我们的生活中变得越来越真实。”然后，AI和机器学习将变得司空见惯。
888100发布于 2018-01-18 - 来自专栏翩翩白衣少年
字节开源新型文生视频模型：AnimateDiff-Lightning，最少4步即可生成高质量视频！
项目介绍 AnimateDiff-Lightning 是一款基于深度学习的视频生成模型，只需 4-8 步的推理，就能生成出质量极佳的视频，从而引起了广泛关注。 这一突破性进展也为 AI视频生成领域 带来了新的可能性。 尤其是与 Contorlnet 的配合下，视频转绘 的工作流程有望迎来全新的升级。 AnimateDiff-Lightning DEMO体验：https://huggingface.co/spaces/ByteDance/AnimateDiff-Lightning 主要特色功能 • 仅需 4- 总结 总的来说，字节的 AnimateDiff-Lightning 模型为 AI 视频生成领域注入了新的活力，为开发者提供了更多的可能性和工具。 随着技术的不断发展，我们有理由相信 AI 视频生成领域的未来将更加辉煌！
1.6K20编辑于 2024-03-25 - 来自专栏ATYUN订阅号
【观点】AI需要大数据，而大数据也需要AI
AI和大数据已经形成了一种真正的共生关系，彼此需要相得益彰。 美国知名AI作家Bernard Marr 说过：“过去，由于有限的数据集、非实时的数据和无法在数秒内分析大量数据，而导致AI发展受阻。 今天，可以实时访问数据和工具，实现快速分析，从而推动了AI和机器学习，并允许向数据优先的方法过渡。我们的技术现在已经足够灵活，可以访问这些庞大的数据集，以快速推进AI和机器学习应用程序。” AI和大数据形成了一种真正的共生关系，彼此需要。 “通过云计算，任何人都可以轻而易举地获得数据，大数据和AI的可能性在我们的生活中变得越来越真实。”然后，AI和机器学习将变得司空见惯。
59270发布于 2018-03-06 - 来自专栏AI系统
【AI系统】数据并行
数据并行是一种广泛应用于分布式 AI 系统中的技术，旨在通过将数据集划分为多个子集并在不同计算节点上并行处理这些子集，以提高计算效率和速度。 分布式数据并行 DDP分布式数据并行（Distributed Data Parallel, DDP）是数据并行的一种高级形式，它综合了多种优化，是当前应用最广的并行算法之一，通常用于大型 NPU AI 集群和 AI 系统中。 在通信的同时也会继续计算梯度，这样就无需等待所有计算完成后再集中进行通信，也不必在计算完成后等待通信完成，从而将通信过程覆盖到计算时间内，充分利用 AI 集群，提高了 AI 集群使用率。 DDP 反向传播中计算与通信的重叠导致无需等待所有计算完成后再集中进行通信，也不必在计算完成后等待通信完成，提高了 AI 集群的使用率。
1.2K10编辑于 2024-12-07 - 来自专栏技术墨客
从数据到AI
一篇关于數據倉庫建設、人工數據分析、AI數據分析的讲义 數據Data&信息Information 信息 信息是一個客觀存在物體的自然表現，比如說“I am a local villain.” 隨著數據的不斷累積和堆積在數據背後發現了驚人的統計規律，隨著這些統計規律的發展漸漸的出現了AI分析和數據分析。 數據&數據分析&AI 如下圖是建立數據分析工程的過程 ? 根據需要訓練AI模型。 數據倉庫的建立 聯機事物型系統&決策分析系統 在數據能力上，通常將系統的數據結構模型分為2類，聯機事物型、決策分析型。 數據倉庫案例展示superset 地址：http://192.168.0.212:8088 賬號：admin 密碼：admin 數據分析到AI訓練 進過大量的數據演練，可以逐漸的發現數據背後的統計規律。
95350发布于 2019-11-21 AI Agent + 数据工程
一位在数据领域深耕多年的创业者告诉我，早期AI在数据工程领域的切入点其实很务实——那些原本需要大量人工的数据治理工作，恰恰是大模型最擅长的地方。 比如从海量数据中提炼关键信息、自动生成数据文档、识别重复和冗余的表结构。这些事情以前要靠专人花时间梳理，现在AI可以快速完成。 但这只是第一步。 更深层的变化在于，数据工程的需求本身正在被AI重塑。 以前的交付物很明确：一张张处理好的数据表，加上一个Dashboard，业务方看数据就够了。 现在呢？业务方不仅看Dashboard，还想直接跟数据对话——问AI一个问题，AI直接给出答案。 好的数据工程，应该配合AI在事中就做好管理和体系搭建。” 这句话背后是一个残酷的现实：以前数据工程师的工作更像是管道工——把数据从A搬到B，分层、清洗、汇总。 现在的要求变成了规划师——不仅要搬数据，还要让数据能被AI正确理解和调用。 这需要的不仅是技术能力，更是思维方式的转变。
40010编辑于 2026-02-28- 来自专栏AI技术应用
AI私有化部署的费
价格范围： 单台GPU服务器（4-8块高端GPU）的价格可能在数十万到数百万元人民币不等。对于大型AI模型（如大语言模型训练或高并发推理），可能需要搭建GPU集群，总投入可达数百万甚至上亿元。 CPU 服务器： 用于数据预处理、推理服务负载均衡、AI平台管理等。成本相对GPU服务器较低，但也需根据需求配置。 软件更新与维护服务费： 操作系统、数据库、AI框架等软件的商业支持服务续费。 第三方MLOps平台或工具的订阅费或维护费。网络费用： 数据中心接入互联网的带宽费用。 硬件：GPU服务器： 至少需要2-4台配备NVIDIA A100 (80GB) 或 H100 GPU的服务器，每台服务器可能搭载4-8块GPU。 单台服务器价格：~50万 - 150万元人民币。 对于大型企业、对数据安全和性能有极致要求、或拥有长期稳定且高并发的AI工作负载，且具备较强IT运维能力的组织而言，本地化部署可能是值得投资的。
5.6K10编辑于 2025-06-06 - 来自专栏网络时间同步
AI算力：网络数据处理中心ntp时间同步服务技术应用
AI算力：网络数据处理中心ntp时间同步服务技术应用在网络数据处理中心（NDPC）部署NTP时间同步服务，是一项关乎系统可靠性的基础工程，核心在于构建一个分层、高可用且安全的统一时间体系。 网络数据处理中心承载着海量业务，从日志审计、故障溯源，到分布式数据库的一致性、安全认证的有效性，都依赖于所有设备时间的精准统一-1-6。 协议选择：NTP与PTP通常，数据中心内部的时间同步以NTP为主，但在对时间精度有亚毫秒级甚至微秒级要求的场景（如高频交易、5G核心网），会引入PTP（精确时间协议）-4-8。 PTP (Precision Time Protocol)：依赖硬件时间戳，精度可达亚微秒或纳秒级，但要求网络设备（交换机等）硬件支持，部署成本较高-4-8。 最佳实践建议：对于支持PTP的核心网络设备，可以将其作为首选同步协议；而NTP则作为通用的、覆盖全数据中心的基础协议和备份方案-4-8。
11700编辑于 2026-07-30 - 来自专栏低代码平台
传统开发vs低代码：数字化项目交付周期对比，差距到底有多大？
交付周期差距：数据揭示真相1.典型项目周期对比项目类型传统开发周期低代码开发周期周期缩短率人力需求对比简单应用（如表单系统）4-8周1-3天85%-95%3-5人团队→1-2人（可含业务人员）中等复杂度应用 6个月2-6周70%-85%完整开发团队→2-3人（含业务+技术）复杂企业系统（如ERP/MES）6-12个月1-3个月60%-80%多团队协作→3-5人（可减少50%-70%技术人员）定制化集成项目4- 2.开发实现阶段：从"逐行编码"到"配置+AI辅助"传统开发：前端开发（UI+交互）：3-4周后端开发（接口+逻辑）：4-5周数据库设计与开发：1-2周集成开发：2-3周总耗时：10-14周，需专业前后端 关键评估维度开发效率：是否支持可视化拖拽+AI辅助，能否真正降低技术门槛功能深度：表单、流程、报表等设计器是否足够强大，能否满足复杂业务需求集成能力：是否支持多数据源、多系统集成，API能力是否丰富拓展性 ：是否支持代码拓展和个性化定制，能否应对未来业务变化部署方式：是否支持本地化部署，满足数据安全和合规要求AI协同：是否与OpenClaw等AI工具深度集成，实现开发-应用-运维全链路智能结语：数字化速度决定企业竞争力在这个
37111编辑于 2026-04-01 - 来自专栏大数据成长之路
scala快速入门系列【偏函数】
示例二 定义一个列表，包含1-10的数字 请将1-3的数字都转换为[1-3] 请将4-8的数字都转换为[4-8] 将其他的数字转换为(8-*] 参考代码 ? 运行结果: List([1-3], [1-3], [1-3], [4-8], [4-8], [4-8], [4-8], [4-8], (8,*), (8,*)) ---- 本期的内容分享就到这里了
43320发布于 2021-01-26 openEuler 高效 AI 数据管道
开篇介绍AI训练的瓶颈往往不是模型计算，而是数据预处理。openEuler提供高效的数据处理管道，支持并行加载、GPU预处理、数据增强等优化。今天聊聊如何加速AI数据处理。 数据处理优化：多进程DataLoader并行加载提升5-10倍，DALIGPU预处理释放CPU，预取机制减少等待时间，数据缓存避免重复读取。 存储优化：NVMeSSD提升I/O吞吐，分布式文件系统支持大规模数据集，数据格式优化TFRecord/Parquet提升读取效率。 QPS提升40%，Web服务器并发提升50%，大数据任务快35%。 优化要基于数据驱动，每次都要测试对比，确保有效且稳定。
36610编辑于 2025-12-03- 来自专栏AI
AI中的数据存储
流水线中的数据存储类型和量级 图片 每个AI流水线中都涉及到数据存储 数据源-数据提取过程中涉及到: PB级别的顺序写 数据准备过程中: TB级别的顺序读 模型训练过程中: GB级别的随机读 检查点和恢复过程中 中间采用高性能全闪存,通过是TLC, 弥补机械盘性能, 总容量比HDD少 右边采用对象存储, 存储集群或JBODS, 包含大量机械盘, 总容量占比高 AI集群中的数据移动 图片 1.数据采集阶段，原始数据按顺序写入对象存储层 RAG 还可以创建额外的 I/O 活动 5.归档流程: 模型输入和输出被捕获并写入对象存储层的磁盘 旨在优化 AI 存储效率的产品组合 QLC 提升新型 AI DC(数据中心) 构建的电源效率 每个 DGX 有关建模详细信息，请参阅附录“QLC 功率效率与 HDD” 模型训练与数据存储 AI 数据穿越存储层之旅 最近的检查点基本在SSD上 早期的检查点数据在HDDS AI数据量级和性能 检查点：提高存储容量和吞吐量 Blob 存储层一次性访问可实现高吞吐量 AI负载中的存储扩展性 总结 AI集群流程中的数据存储需要根据实际业务的量级和性能要求做分层存储, 这样成本可控且性能满足需求 AI行业也会带动存储行业发展,
1.9K11编辑于 2024-09-18 转载:【AI系统】数据并行
数据并行是一种广泛应用于分布式 AI 系统中的技术，旨在通过将数据集划分为多个子集并在不同计算节点上并行处理这些子集，以提高计算效率和速度。 分布式数据并行 DDP分布式数据并行（Distributed Data Parallel, DDP）是数据并行的一种高级形式，它综合了多种优化，是当前应用最广的并行算法之一，通常用于大型 NPU AI 集群和 AI 系统中。 在通信的同时也会继续计算梯度，这样就无需等待所有计算完成后再集中进行通信，也不必在计算完成后等待通信完成，从而将通信过程覆盖到计算时间内，充分利用 AI 集群，提高了 AI 集群使用率。 DDP 反向传播中计算与通信的重叠导致无需等待所有计算完成后再集中进行通信，也不必在计算完成后等待通信完成，提高了 AI 集群的使用率。
56810编辑于 2024-12-13AI+Data：AI时代的企业数据治理
随着AI应用对多源异构数据的需求增加，企业对于非结构化数据的价值化需求也在加速释放，而相应的数据治理模块也将获得进一步的关注与优化。 对于部署AI应用的企业来说，数据资源的质量直接决定了AI应用能否成功落地。因此，在推进AI应用的过程中，开展针对性的数据治理工作是首要且必要的步骤。 AI模型对数据高度敏感，低质量的数据会导致“garbage in, garbage out”的问题，即输入数据的缺陷会直接影响到输出结果的质量。 为了确保AI模型的有效性和准确性，必须保证数据的完备性和准确性。有效的数据治理不仅可以为AI模型提供高质量的数据原料，还能提高模型的拟合效果，进而增强AI应用的实际性能。 在金融、医疗、零售、工业以及互联网等数据基础建设较好的行业中，面向AI时代的数据治理正在逐步显现其优势。
1.3K10编辑于 2025-01-03- 来自专栏祝威廉
数据部门如何All In AI
这也是很多大数据部门领导非常焦虑的地方。 那么出路在哪里呢？ All In AI 事实上，真正能帮助业务提高效能，提供创新产品的必然是AI，AI是一种模式的输出。 从上面我们可以看到，数据部门的最大价值，最终会通过AI来进行落地，并且还会给部门/公司提供了极为丰富的想象空间。 如何 All In AI？ 对于这件事情，我们要仔细研究一个核心的东西： 资源。 我们知道，AI平台是基于数据平台的之上的，其结构是一个金字塔形状的。所以第一步你需要有一个良好的数据平台，其次你还需要有一个AI平台，让单一算法落地变得容易。 现阶段，按我的了解，AI平台通常只能做到针对单一算法的自助化。那么为了让组织更加合理高效，重构数据部门团队就很有必要了。 总结 本文我们说了为什么要All In AI，要实现All In AI 不仅仅需要有一个好的平台（数据、算法平台）,也需要有良好的动员人力资源的能力，采用一个合理的算法组织架构充分利用人力资源。
51620发布于 2018-08-27 数据质量决定AI命运
上个月参加一个AI技术沙龙，我问了在座的技术负责人这样一个问题。 原本以为会听到关于算力、算法或者成本的回答，结果大家的答案出奇一致——数据质量。 一个创业公司的CTO感慨地说："我们现在花的钱，80%都在找数据、清洗数据、标注数据，真正的模型训练反而是小头。" 这个回答让我意识到，我们正处在AI发展的一个重要转折点。 解密高质量数据集的三张面孔 很多人对数据集的理解还停留在"图片+标签"的层面，认为只要有数据就能训练AI模型。但实际上，高质量数据集远不止这么简单。 从数据模态来看，现代AI需要的是多维度的数据生态。 2025年，AI智能体和高质量数据集建设的双重推进，将把人工智能带入一个新的发展阶段。这个阶段的特征是数据质量成为决定性因素，技术创新与数据资源同等重要。 数据质量决定AI命运，也决定我们在AI时代的命运。
35410编辑于 2026-02-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号