- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI机器学习与深度学习算法
机器学习入门 5-8 实现多元线性回归
封装自己的多元线性回归类 首先在“playML”包下创建一个“LinearRegression.py”文件，此文件存放广义线性模型，也就是支持多元线性回归的方式，当然对于只有一个特征的简单线性回归问题，也可以将数据整理成矩阵的形式也可以传入 接下来再jupyter中使用真实的数据进行测试： ? ? 此时使用多个特征比只使用一个特征效果提升不少，从某种程度上这也印证了，如果我们的数据特征更多的话，并且这些特征真的能非常好的反映最终要预测的指标，此时就是房屋价格这个指标，相应的使用更多特征这样的数据，
57700发布于 2019-11-13 - 来自专栏企鹅号快讯
AI需要大数据，而大数据也需要AI
美国知名AI作家Bernard Marr 说过：“过去，由于有限的数据集、非实时的数据和无法在数秒内分析大量数据，而导致AI发展受阻。 今天，可以实时访问数据和工具，实现快速分析，从而推动了AI和机器学习，并允许向数据优先的方法过渡。我们的技术现在已经足够灵活，可以访问这些庞大的数据集，以快速推进AI和机器学习应用程序。” AI和大数据形成了一种真正的共生关系，彼此需要。 然而，Manchett警告说，AI尚不足以满足非技术业务的需求。“为了实现大数据和AI的目标，你仍然需要理解提取、转换和加载的概念，以及机器学习是什么，可以做什么。” 数据占据了中心位置。 “通过云计算，任何人都可以轻而易举地获得数据，大数据和AI的可能性在我们的生活中变得越来越真实。”然后，AI和机器学习将变得司空见惯。
888100发布于 2018-01-18 设计师如何用 AI 自动管理小红书内容日历：从选题到发文，全程自动化
周五：视觉灵感（审美类，适合周末传播）-周六/周日：不更新，休息请帮我生成未来4周的内容日历，每篇包含：1.标题（要有吸引力，适合小红书风格）2.核心内容要点（3-5条）3.建议配图方向4.话题标签（5- 文案要求：1.标题控制在20字以内，要有吸引力2.正文300-500字，分点排版，善用emoji3.语言风格：专业但不装，接地气，像朋友聊天4.结尾要有互动引导（提问或者征集意见）5.附带5-8个话题标签 \n\n今天拆解3个让空间瞬间高级的灯光技巧"技巧3：话题标签策略话题标签策略（5-8个）：-2个大流量标签：#室内设计#装修灵感-2个精准标签：#餐饮空间设计#商业空间-2个长尾标签：#日料店设计#咖啡馆灯光设计 七、数据复盘（让AI帮你分析）每月让WorkBuddy帮你分析小红书数据：帮我分析本月小红书的数据表现：1.哪篇笔记数据最好？分析为什么2.哪个内容方向的互动率最高？3.最佳发布时间是什么时候？ 八、总结环节手动操作AI自动化选题规划每天纠结提前4周排好文案撰写30-60分钟3分钟审核配图准备找图修图AI辅助找图发布提醒经常忘记定时提醒数据复盘大概看一眼系统化分析核心思路：把「创作」和「发布」拆开
1.1K10编辑于 2026-04-14- 来自专栏ATYUN订阅号
【观点】AI需要大数据，而大数据也需要AI
AI和大数据已经形成了一种真正的共生关系，彼此需要相得益彰。 美国知名AI作家Bernard Marr 说过：“过去，由于有限的数据集、非实时的数据和无法在数秒内分析大量数据，而导致AI发展受阻。 今天，可以实时访问数据和工具，实现快速分析，从而推动了AI和机器学习，并允许向数据优先的方法过渡。我们的技术现在已经足够灵活，可以访问这些庞大的数据集，以快速推进AI和机器学习应用程序。” AI和大数据形成了一种真正的共生关系，彼此需要。 “通过云计算，任何人都可以轻而易举地获得数据，大数据和AI的可能性在我们的生活中变得越来越真实。”然后，AI和机器学习将变得司空见惯。
59270发布于 2018-03-06 - 来自专栏AI系统
【AI系统】数据并行
数据并行是一种广泛应用于分布式 AI 系统中的技术，旨在通过将数据集划分为多个子集并在不同计算节点上并行处理这些子集，以提高计算效率和速度。 分布式数据并行 DDP分布式数据并行（Distributed Data Parallel, DDP）是数据并行的一种高级形式，它综合了多种优化，是当前应用最广的并行算法之一，通常用于大型 NPU AI 集群和 AI 系统中。 在通信的同时也会继续计算梯度，这样就无需等待所有计算完成后再集中进行通信，也不必在计算完成后等待通信完成，从而将通信过程覆盖到计算时间内，充分利用 AI 集群，提高了 AI 集群使用率。 DDP 反向传播中计算与通信的重叠导致无需等待所有计算完成后再集中进行通信，也不必在计算完成后等待通信完成，提高了 AI 集群的使用率。
1.2K10编辑于 2024-12-07 - 来自专栏技术墨客
从数据到AI
一篇关于數據倉庫建設、人工數據分析、AI數據分析的讲义 數據Data&信息Information 信息 信息是一個客觀存在物體的自然表現，比如說“I am a local villain.” 隨著數據的不斷累積和堆積在數據背後發現了驚人的統計規律，隨著這些統計規律的發展漸漸的出現了AI分析和數據分析。 數據&數據分析&AI 如下圖是建立數據分析工程的過程 ? 根據需要訓練AI模型。 數據倉庫的建立 聯機事物型系統&決策分析系統 在數據能力上，通常將系統的數據結構模型分為2類，聯機事物型、決策分析型。 數據倉庫案例展示superset 地址：http://192.168.0.212:8088 賬號：admin 密碼：admin 數據分析到AI訓練 進過大量的數據演練，可以逐漸的發現數據背後的統計規律。
95250发布于 2019-11-21 AI Agent + 数据工程
一位在数据领域深耕多年的创业者告诉我，早期AI在数据工程领域的切入点其实很务实——那些原本需要大量人工的数据治理工作，恰恰是大模型最擅长的地方。 比如从海量数据中提炼关键信息、自动生成数据文档、识别重复和冗余的表结构。这些事情以前要靠专人花时间梳理，现在AI可以快速完成。 但这只是第一步。 更深层的变化在于，数据工程的需求本身正在被AI重塑。 以前的交付物很明确：一张张处理好的数据表，加上一个Dashboard，业务方看数据就够了。 现在呢？业务方不仅看Dashboard，还想直接跟数据对话——问AI一个问题，AI直接给出答案。 好的数据工程，应该配合AI在事中就做好管理和体系搭建。” 这句话背后是一个残酷的现实：以前数据工程师的工作更像是管道工——把数据从A搬到B，分层、清洗、汇总。 现在的要求变成了规划师——不仅要搬数据，还要让数据能被AI正确理解和调用。 这需要的不仅是技术能力，更是思维方式的转变。
40010编辑于 2026-02-28openEuler 高效 AI 数据管道
开篇介绍AI训练的瓶颈往往不是模型计算，而是数据预处理。openEuler提供高效的数据处理管道，支持并行加载、GPU预处理、数据增强等优化。今天聊聊如何加速AI数据处理。 数据处理优化：多进程DataLoader并行加载提升5-10倍，DALIGPU预处理释放CPU，预取机制减少等待时间，数据缓存避免重复读取。 存储优化：NVMeSSD提升I/O吞吐，分布式文件系统支持大规模数据集，数据格式优化TFRecord/Parquet提升读取效率。 QPS提升40%，Web服务器并发提升50%，大数据任务快35%。 优化要基于数据驱动，每次都要测试对比，确保有效且稳定。
36610编辑于 2025-12-03- 来自专栏AI
AI中的数据存储
流水线中的数据存储类型和量级 图片 每个AI流水线中都涉及到数据存储 数据源-数据提取过程中涉及到: PB级别的顺序写 数据准备过程中: TB级别的顺序读 模型训练过程中: GB级别的随机读 检查点和恢复过程中 中间采用高性能全闪存,通过是TLC, 弥补机械盘性能, 总容量比HDD少 右边采用对象存储, 存储集群或JBODS, 包含大量机械盘, 总容量占比高 AI集群中的数据移动 图片 1.数据采集阶段，原始数据按顺序写入对象存储层 RAG 还可以创建额外的 I/O 活动 5.归档流程: 模型输入和输出被捕获并写入对象存储层的磁盘 旨在优化 AI 存储效率的产品组合 QLC 提升新型 AI DC(数据中心) 构建的电源效率 每个 DGX 有关建模详细信息，请参阅附录“QLC 功率效率与 HDD” 模型训练与数据存储 AI 数据穿越存储层之旅 最近的检查点基本在SSD上 早期的检查点数据在HDDS AI数据量级和性能 检查点：提高存储容量和吞吐量 Blob 存储层一次性访问可实现高吞吐量 AI负载中的存储扩展性 总结 AI集群流程中的数据存储需要根据实际业务的量级和性能要求做分层存储, 这样成本可控且性能满足需求 AI行业也会带动存储行业发展,
1.9K11编辑于 2024-09-18 转载:【AI系统】数据并行
数据并行是一种广泛应用于分布式 AI 系统中的技术，旨在通过将数据集划分为多个子集并在不同计算节点上并行处理这些子集，以提高计算效率和速度。 分布式数据并行 DDP分布式数据并行（Distributed Data Parallel, DDP）是数据并行的一种高级形式，它综合了多种优化，是当前应用最广的并行算法之一，通常用于大型 NPU AI 集群和 AI 系统中。 在通信的同时也会继续计算梯度，这样就无需等待所有计算完成后再集中进行通信，也不必在计算完成后等待通信完成，从而将通信过程覆盖到计算时间内，充分利用 AI 集群，提高了 AI 集群使用率。 DDP 反向传播中计算与通信的重叠导致无需等待所有计算完成后再集中进行通信，也不必在计算完成后等待通信完成，提高了 AI 集群的使用率。
56810编辑于 2024-12-13AI+Data：AI时代的企业数据治理
随着AI应用对多源异构数据的需求增加，企业对于非结构化数据的价值化需求也在加速释放，而相应的数据治理模块也将获得进一步的关注与优化。 对于部署AI应用的企业来说，数据资源的质量直接决定了AI应用能否成功落地。因此，在推进AI应用的过程中，开展针对性的数据治理工作是首要且必要的步骤。 AI模型对数据高度敏感，低质量的数据会导致“garbage in, garbage out”的问题，即输入数据的缺陷会直接影响到输出结果的质量。 为了确保AI模型的有效性和准确性，必须保证数据的完备性和准确性。有效的数据治理不仅可以为AI模型提供高质量的数据原料，还能提高模型的拟合效果，进而增强AI应用的实际性能。 在金融、医疗、零售、工业以及互联网等数据基础建设较好的行业中，面向AI时代的数据治理正在逐步显现其优势。
1.3K10编辑于 2025-01-03手搓Clawdbot远程遥控实战，全球A十大风口技术解读，爬取万条招聘数据揭秘行情
手搓Clawdbot远程遥控实战，全球A十大风口技术解读，爬取万条招聘数据揭秘行情当遥控机器人遇上AI浪潮，用数据锚定你的技术职业坐标一、手搓Clawdbot：从零搭建远程遥控系统“手搓”意味着不依赖现成框架 ）机器人+大模型，物理世界交互2-3年3光子计算突破摩尔定律，超低功耗3-5年4卫星物联网全球覆盖，无基站通信1-2年5神经接口（脑机）医疗康复、VR交互5-8年6自主AI Agent任务自动分解与执行已落地 7零信任安全架构云原生时代的安全基石已落地8Web3 去中心化身份数据主权回归用户2-3年9生物打印（3D器官）再生医学突破5-10年10量子机器学习组合优化、药物发现5-8年其中，具身智能 与 Clawdbot 三、爬取万条招聘数据：用 Python 透视就业真相我们爬取了国内主流招聘平台（Boss、猎聘、拉勾）近 30 天内的 10,000+ 技术岗位（已脱敏），聚焦“AI、云原生、机器人、嵌入式、前端”五大方向 数据分析结果（可视化 + 统计）薪资 Top 5 细分方向：具身智能算法工程师：48K/月（平均）云原生架构师：42K/月边缘计算专家：39K/月Rust 系统开发：37K/月AI 编译器工程师：36K
13900编辑于 2026-07-31- 来自专栏祝威廉
数据部门如何All In AI
这也是很多大数据部门领导非常焦虑的地方。 那么出路在哪里呢？ All In AI 事实上，真正能帮助业务提高效能，提供创新产品的必然是AI，AI是一种模式的输出。 从上面我们可以看到，数据部门的最大价值，最终会通过AI来进行落地，并且还会给部门/公司提供了极为丰富的想象空间。 如何 All In AI？ 对于这件事情，我们要仔细研究一个核心的东西： 资源。 我们知道，AI平台是基于数据平台的之上的，其结构是一个金字塔形状的。所以第一步你需要有一个良好的数据平台，其次你还需要有一个AI平台，让单一算法落地变得容易。 现阶段，按我的了解，AI平台通常只能做到针对单一算法的自助化。那么为了让组织更加合理高效，重构数据部门团队就很有必要了。 总结 本文我们说了为什么要All In AI，要实现All In AI 不仅仅需要有一个好的平台（数据、算法平台）,也需要有良好的动员人力资源的能力，采用一个合理的算法组织架构充分利用人力资源。
51620发布于 2018-08-27 数据质量决定AI命运
上个月参加一个AI技术沙龙，我问了在座的技术负责人这样一个问题。 原本以为会听到关于算力、算法或者成本的回答，结果大家的答案出奇一致——数据质量。 一个创业公司的CTO感慨地说："我们现在花的钱，80%都在找数据、清洗数据、标注数据，真正的模型训练反而是小头。" 这个回答让我意识到，我们正处在AI发展的一个重要转折点。 解密高质量数据集的三张面孔 很多人对数据集的理解还停留在"图片+标签"的层面，认为只要有数据就能训练AI模型。但实际上，高质量数据集远不止这么简单。 从数据模态来看，现代AI需要的是多维度的数据生态。 2025年，AI智能体和高质量数据集建设的双重推进，将把人工智能带入一个新的发展阶段。这个阶段的特征是数据质量成为决定性因素，技术创新与数据资源同等重要。 数据质量决定AI命运，也决定我们在AI时代的命运。
35410编辑于 2026-02-02- 来自专栏人工智能LeadAI
数据部门如何All In AI
这也是很多大数据部门领导非常焦虑的地方。 那么出路在哪里呢？ 02 ALL IN AI 事实上，真正能帮助业务提高效能，提供创新产品的必然是AI，AI是一种模式的输出。 从上面我们可以看到，数据部门的最大价值，最终会通过AI来进行落地，并且还会给部门/公司提供了极为丰富的想象空间。 03 如何All In AI？ 我们知道，AI平台是基于数据平台的之上的，其结构是一个金字塔形状的。所以第一步你需要有一个良好的数据平台，其次你还需要有一个AI平台，让单一算法落地变得容易。 现阶段，按我的了解，AI平台通常只能做到针对单一算法的自助化。那么为了让组织更加合理高效，重构数据部门团队就很有必要了。 04 总结 本文我们说了为什么要All In AI，要实现All In AI 不仅仅需要有一个好的平台（数据、算法平台）,也需要有良好的动员人力资源的能力，采用一个合理的算法组织架构充分利用人力资源。
48530发布于 2018-07-30 AI数据采集管理系统
此时，一套基于AI技术的智能数据采集管理系统应运而生，它如同精密运转的数字中枢，将杂乱无章的信息流转化为可挖掘的金矿，为企业数字化转型提供坚实的数据底座。 一、多源异构数据的无缝对接：打破“数据孤岛”壁垒系统具备强大的跨平台、多格式数据接入能力，无论是结构化数据库、半结构化日志文件，还是非结构化的音视频素材，均可通过标准化接口实现统一纳管。 五、自适应迭代优化循环：与企业发展同频共振系统具备自我进化的自适应迭代能力，通过持续收集用户反馈和使用习惯数据，AI引擎会自动调整采集策略优先级。 六、典型应用场景示例：赋能多行业数字化转型AI数据采集管理系统已在多个行业落地应用，创造显著价值：在智能制造领域，系统实时监控生产线参数波动，提前预警设备故障风险，帮助企业将良品率提升15%；智慧城市建设中 八、未来演进方向展望：开启数据智能新篇章随着联邦学习、隐私计算等新技术的成熟，下一代AI数据采集管理系统将实现更多突破：通过联邦学习技术，实现跨组织联合建模而不共享原始数据，打破数据协作的隐私壁垒；采用边缘节点自主决策与云端协同优化模式
53910编辑于 2025-10-16AI将受困于人类数据
划重点：当前大型模型已逼近“人类数据”边界，唯有让智能体通过与环境实时交互来生成可随能力指数级扩张的原生数据，AI 才能迈入“经验时代” 。 以下为演讲全文：从人类数据时代迈向经验时代刚才听了Bengio教授的演讲，现在确实是AI发展的激动人心的时代。我想分享两句引言，它们指向了我今天要表达的两个重要观点。 当时还没有AI这个领域，我认为这是第一次有人在公开场合展示AI。图灵强调的是一台能够从自己的第一人称经验中学习的机器，这就是我们今天真正在谈论的内容。现在，我们正处在人类数据时代。 AI需要一个新的数据源，这个数据源会随着智能体变得更强而增长和改善。任何静态数据集都将是不够的。你可以从经验中获得这种数据，从与世界的第一人称互动中获得。 如果观察控制AI的呼吁和控制人类社会的呼吁，会发现这两者惊人得相似。关于AI，有很多呼吁。有暂停或停止AI研究的呼吁，有限制可以用来制造AI的算力的呼吁，有确保AI安全制造和要求披露的呼吁。
26000编辑于 2025-06-18AI项目卡在数据上？业务数据到AI数据集的治理链路拆解
这篇文章就聊一聊，从业务数据到AI数据集，中间需要补齐哪些治理环节。这里说的"AI数据集"，指的是企业把结构化的业务数据经过治理之后，形成的可供模型训练、分析推理、智能问数等场景使用的数据集合。 产出物是一份数据资产清单，标明每个数据资源的来源系统、业务归属和基本状态。2. 来源筛选做什么：围绕明确的AI应用场景，判断哪些数据值得纳入AI数据集，哪些数据与场景无关或质量过低不值得投入。 为什么重要：不是所有数据都值得喂给AI。低质量、低相关性的数据只会增加噪音和治理成本。筛选的标准是"这个数据集对AI应用场景有没有直接价值"。 AI数据集的治理不是凭空创造一套新规则，而是将成熟的数据管理实践聚焦到AI这一特定消费场景上。从多数项目的实践经验来看，在核心数据域完成基础治理后再启动AI应用，比"边用边治"更可控。 数据治理的深度，直接决定了AI数据集的最终可信度。
3010编辑于 2026-08-17- 来自专栏AI 办公实战手册
我做了一个提示词生成器，帮不懂AI的同事5分钟找到工作突破口
提示词内嵌"参考案例库"生成的提示词里内置了4个经过验证的真实AI落地案例（数据报表自动化、群机器人、系统操作录制回放、复杂业务逻辑自动化）。 第四步：带着AI回答问题AI会按照提示词设定的流程，先做首轮分析，然后逐个提问。关键：一定要坚持回答完所有问题，通常5-8轮，约15-20分钟。 你实际使用时，把复制好的提示词发给 WorkBuddy 或任意 AI 对话工具，坚持回答完 5-8 轮提问，就能拿到自己岗位的专属方案。 五、收益数据对比维度用生成器前用生成器后同事描述工作的字数平均15字平均80字+AI首次分析的有效信息20%（大量泛泛而谈）75%（针对具体环节）AI给出可执行方案偶尔，多为方向性建议每次都有，含工具+ 适用人群：任何想用AI优化工作但不知道从何下手的职场人，尤其适合制造业、供应链、数据分析等"流程明确但步骤繁"的岗位。
16620编辑于 2026-08-09 - 来自专栏Prompt Engineering
试试这个结构化AI指令
上周和做新媒体的朋友聊天，他说团队每天要产出5-8条抖音内容，光是写脚本就要耗掉半天时间。内容创作这件事，靠灵感太不稳定，但完全不走心又没效果。 这让我想起最近在用的一个AI指令模板——专门用来生成抖音短视频脚本的。它不是那种"帮我写个搞笑视频"然后AI胡编乱造的玩法，而是把短视频创作的底层逻辑拆解成结构化输入，让AI按照专业框架来辅助创作。 视频标签建议- 推荐5-8个精准标签，包含热门话题和垂直领域标签### 6. 拍摄要点提示- 关键镜头的拍摄技巧- 需要准备的道具或场景- 特别注意事项## 创作原则1. 数据驱动优化发布后观察完播率、点赞率等数据，反向优化脚本结构。完播率低说明节奏有问题，点赞率低说明情绪价值不够。 合规提醒使用AI辅助创作时需要注意：内容真实性：AI生成的内容可能包含事实错误，技术类内容尤其要人工核查版权问题：不要让AI模仿特定创作者的风格或抄袭他人创意平台规范：确保内容符合抖音社区规范，不触碰红线数据安全
4.4K10编辑于 2025-10-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号