- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI机器学习与深度学习算法
机器学习入门 5-9 使用sklearn解决回归问题
从上面看到的系数和截距和前面得到的结果不一致，这是因为在前面使用sklearn封装好的train_test_split函数下进行测试数据集的分割在算法上和我们自己实现的train_test_split函数稍有不同
93720发布于 2019-11-13 - 来自专栏石云升
人生九段算法：用算法经营自己的人生（5-9段）
如果把个人比作一家公司。那么你自己就是这家公司的CEO。对个体而言，最重要的增长不在于工资，而在于能力的提升和个人网络的建立，以及未来赚钱的能力。
74420编辑于 2022-08-25 - 来自专栏白话互联
AI 时代的开发行业洗牌：为何“中产开发者”最先感受到危机？
中坚力量（5-9 年）：认知溢出的“舒适区陷阱” 最核心的观察在于：工作 5-9 年的开发者，正处于一个危险的认知高地。 当 AI 能够完成他们引以为傲的 80% 的代码工作时，他们可能会从防御的角度去审视 AI，甚至因为对旧逻辑的依赖而导致上手 AI 的速度变慢。 调查数据暗示，高级开发者在理解 AI 局限性方面的速度极快。他们并不迷信代码本身，而是更看重逻辑、架构和解决问题的效率。 一旦他们意识到 AI 能极大释放生产力，其深厚的底层知识能让他们更精准地纠正 AI 的错误。这种“高级经验+AI 效率”的组合，让他们在 AI 时代依然稳如磐石。 中腰部开发者（5-9 年）如果继续沉溺于过往的经验，固守“我很强”的认知假象，最容易被 AI 驱动的高效率新人替代，或被掌握了 AI 的资深架构师所淘汰。
22710编辑于 2025-12-30 - 来自专栏机器之心
比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了
他是斯坦福大学博士生，还是 Together.AI 首席科学家，并将于 2024 年 9 月开始任职普林斯顿大学计算机科学助理教授。
1.9K50编辑于 2023-08-08 - 来自专栏Dance with GenAI
AI网络爬虫：用deepseek批量提取gptstore.ai上的gpts数据
网站首页：https://gptstore.ai/gpts/categories/finance 翻页规律如下： https://gptstore.ai/_next/data/S9vKNrHo4K82xWjuXpw-O slug=finance&page=2 https://gptstore.ai/_next/data/S9vKNrHo4K82xWjuXpw-O/en/gpts/categories/finance.json ； 获取json数据中"gpts"键的值，这是一个json数据； 提取每个json数据中所有键的名称，写入Excel文件的表头，所有键对应的值，写入Excel文件的数据列； 保存Excel文件； 注意： 每一步都输出信息到屏幕； 每爬取1页数据后暂停5-9秒； 需要对 JSON 数据进行预处理，将嵌套的字典和列表转换成适合写入 Excel 的格式，比如将嵌套的字典转换为字符串； 在较新的Pandas版本中 pd.DataFrame([flat_item])], ignore_index=True) else: print(f"请求失败，状态码: {response.status_code}") # 随机暂停5-
53910编辑于 2024-06-24 - 来自专栏Dance with GenAI
AI网络爬虫：用deepseek批量提取gptstore.ai上的gpts数据
网站首页：https://gptstore.ai/gpts/categories/finance翻页规律如下：https://gptstore.ai/_next/data/S9vKNrHo4K82xWjuXpw-O slug=finance&page=2https://gptstore.ai/_next/data/S9vKNrHo4K82xWjuXpw-O/en/gpts/categories/finance.json 获取json数据中"gpts"键的值，这是一个json数据；提取每个json数据中所有键的名称，写入Excel文件的表头，所有键对应的值，写入Excel文件的数据列；保存Excel文件；注意：每一步都输出信息到屏幕 ；每爬取1页数据后暂停5-9秒；需要对 JSON 数据进行预处理，将嵌套的字典和列表转换成适合写入 Excel 的格式，比如将嵌套的字典转换为字符串；在较新的Pandas版本中，append方法已被弃用 [df, pd.DataFrame(flat_item)], ignore_index=True)else:print(f"请求失败，状态码: {response.status_code}")随机暂停5-
73100编辑于 2024-06-23 - 来自专栏Dance with GenAI
AI网络爬虫：批量爬取AI导航网站Futurepedia数据
Futurepedia致力于使AI技术对各行各业的专业人士更加可理解和实用，提供全面的AI网站和工具目录、易于遵循的指南、每周新闻通讯和信息丰富的YouTube频道，简化AI在专业实践中的整合。 如何把Futurepedia上的全部AI网站数据爬取下来呢？ 网站一页有12个AI工具介绍，根据网站说明：We've categorized 5571 AI tools into 10 categories.，估计一共有465页。 ：每一步都输出信息到屏幕； 每爬取1页数据后暂停5-9秒； 需要对 JSON 数据进行预处理，将嵌套的字典和列表转换成适合写入 Excel 的格式，比如将嵌套的字典转换为字符串。 # 随机暂停 5-9 秒 sleep_time = random.randint(5, 9) print(f"暂停 {sleep_time} 秒...") time.sleep(sleep_time)
57210编辑于 2024-06-24 - 来自专栏企鹅号快讯
AI需要大数据，而大数据也需要AI
美国知名AI作家Bernard Marr 说过：“过去，由于有限的数据集、非实时的数据和无法在数秒内分析大量数据，而导致AI发展受阻。 今天，可以实时访问数据和工具，实现快速分析，从而推动了AI和机器学习，并允许向数据优先的方法过渡。我们的技术现在已经足够灵活，可以访问这些庞大的数据集，以快速推进AI和机器学习应用程序。” AI和大数据形成了一种真正的共生关系，彼此需要。 然而，Manchett警告说，AI尚不足以满足非技术业务的需求。“为了实现大数据和AI的目标，你仍然需要理解提取、转换和加载的概念，以及机器学习是什么，可以做什么。” 数据占据了中心位置。 “通过云计算，任何人都可以轻而易举地获得数据，大数据和AI的可能性在我们的生活中变得越来越真实。”然后，AI和机器学习将变得司空见惯。
904100发布于 2018-01-18 - 来自专栏Dance with GenAI
AI网络爬虫：用deepseek批量提取天工AI的智能体数据
天工AI的智能体首页： F12查看真实网址和响应数据： 翻页规律： https://work.tiangong.cn/agents_api/square/sq_list_by_category? , "icon": "https://static-recommend-img.tiangong.cn/ai-text-gen-image/agent-backgroud_9783755_1803007243774124032 ； 获取json数据中"data"键的值，然后获取其中"agents"键的值，这是一个json数据； 提取每个json数据中所有键的名称，写入Excel文件的表头，所有键对应的值，写入Excel文件的数据列 ； 保存Excel文件； 注意：每一步都输出信息到屏幕； 每爬取1页数据后暂停5-9秒； 需要对 JSON 数据进行预处理，将嵌套的字典和列表转换成适合写入 Excel 的格式，比如将嵌套的字典转换为字符串 pd.DataFrame([flat_agent])], ignore_index=True) else: print(f"请求失败，状态码: {response.status_code}") # 随机暂停5-
79510编辑于 2024-07-10 - 来自专栏ATYUN订阅号
【观点】AI需要大数据，而大数据也需要AI
AI和大数据已经形成了一种真正的共生关系，彼此需要相得益彰。 美国知名AI作家Bernard Marr 说过：“过去，由于有限的数据集、非实时的数据和无法在数秒内分析大量数据，而导致AI发展受阻。 今天，可以实时访问数据和工具，实现快速分析，从而推动了AI和机器学习，并允许向数据优先的方法过渡。我们的技术现在已经足够灵活，可以访问这些庞大的数据集，以快速推进AI和机器学习应用程序。” AI和大数据形成了一种真正的共生关系，彼此需要。 “通过云计算，任何人都可以轻而易举地获得数据，大数据和AI的可能性在我们的生活中变得越来越真实。”然后，AI和机器学习将变得司空见惯。
59870发布于 2018-03-06 - 来自专栏Dance with GenAI
AI网络爬虫：批量获取post请求动态加载的json数据
网站https://www.futurepedia.io/ai-innovations的数据是通过post请求动态加载的： 查看几页的请求载荷： {"companies":[],"startDate": shortDescription": "Automates data ingestion and transformation processes", "longDescription": "Provides AI-driven 文件； 注意：每一步都输出信息到屏幕； 每爬取1页数据后暂停5-9秒； 需要对 JSON 数据进行预处理，将嵌套的字典和列表转换成适合写入 Excel 的格式，比如将嵌套的字典转换为字符串。 Origin': 'https://www.futurepedia.io', 'Priority': 'u=1, i', 'Referer': 'https://www.futurepedia.io/ai-innovations # 随机暂停 5-9 秒 sleep_time = random.randint(5, 9) print(f"暂停 {sleep_time} 秒...") time.sleep(sleep_time)
1.3K10编辑于 2024-06-24 - 来自专栏木头编程 - moTzxx
手机号段正则表达式 (2019-01 最新)
198 146(物联网) 166 1410(物联网) 199 ✎ 正则表达式 如果根据上文的手机号段，进行严谨的规则匹配，那么得到的结果为： /^[1](([3][0-9])|([4][5- 9])|([5][0-3,5-9])|([6][5,6])|([7][0-8])|([8][0-9])|([9][1,8,9]))[0-9]{8}$/ 如果觉得太过严谨，可以考虑使用 /^[1]([3- 9])[0-9]{9}$/ 举例，在 js 代码中进行应用的一种写法： var telStr = /^[1](([3][0-9])|([4][5-9])|([5][0-3,5-9])|([6][ ➷ 参考博客 【三大运营商手机号段正则表达式】 【最新手机号段归属地数据库(2018年11月) 415806行】
19.7K60发布于 2019-01-03 - 来自专栏AI系统
【AI系统】数据并行
数据并行是一种广泛应用于分布式 AI 系统中的技术，旨在通过将数据集划分为多个子集并在不同计算节点上并行处理这些子集，以提高计算效率和速度。 分布式数据并行 DDP分布式数据并行（Distributed Data Parallel, DDP）是数据并行的一种高级形式，它综合了多种优化，是当前应用最广的并行算法之一，通常用于大型 NPU AI 集群和 AI 系统中。 在通信的同时也会继续计算梯度，这样就无需等待所有计算完成后再集中进行通信，也不必在计算完成后等待通信完成，从而将通信过程覆盖到计算时间内，充分利用 AI 集群，提高了 AI 集群使用率。 DDP 反向传播中计算与通信的重叠导致无需等待所有计算完成后再集中进行通信，也不必在计算完成后等待通信完成，提高了 AI 集群的使用率。
1.3K10编辑于 2024-12-07 - 来自专栏技术墨客
从数据到AI
一篇关于數據倉庫建設、人工數據分析、AI數據分析的讲义 數據Data&信息Information 信息 信息是一個客觀存在物體的自然表現，比如說“I am a local villain.” 隨著數據的不斷累積和堆積在數據背後發現了驚人的統計規律，隨著這些統計規律的發展漸漸的出現了AI分析和數據分析。 數據&數據分析&AI 如下圖是建立數據分析工程的過程 ? 根據需要訓練AI模型。 數據倉庫的建立 聯機事物型系統&決策分析系統 在數據能力上，通常將系統的數據結構模型分為2類，聯機事物型、決策分析型。 數據倉庫案例展示superset 地址：http://192.168.0.212:8088 賬號：admin 密碼：admin 數據分析到AI訓練 進過大量的數據演練，可以逐漸的發現數據背後的統計規律。
1K50发布于 2019-11-21 AI Agent + 数据工程
一位在数据领域深耕多年的创业者告诉我，早期AI在数据工程领域的切入点其实很务实——那些原本需要大量人工的数据治理工作，恰恰是大模型最擅长的地方。 比如从海量数据中提炼关键信息、自动生成数据文档、识别重复和冗余的表结构。这些事情以前要靠专人花时间梳理，现在AI可以快速完成。 但这只是第一步。 更深层的变化在于，数据工程的需求本身正在被AI重塑。 以前的交付物很明确：一张张处理好的数据表，加上一个Dashboard，业务方看数据就够了。 现在呢？业务方不仅看Dashboard，还想直接跟数据对话——问AI一个问题，AI直接给出答案。 好的数据工程，应该配合AI在事中就做好管理和体系搭建。” 这句话背后是一个残酷的现实：以前数据工程师的工作更像是管道工——把数据从A搬到B，分层、清洗、汇总。 现在的要求变成了规划师——不仅要搬数据，还要让数据能被AI正确理解和调用。 这需要的不仅是技术能力，更是思维方式的转变。
42910编辑于 2026-02-28彻底读懂AI-Native原生组织（下篇）
反观AI时代，全网长期缺一套公认的AI原生组织判定标准。结果就是概念泛滥、转型造假：公司全员用上AI写周报，就敢自称AI原生；给老流程加了个AI对话框，也敢叫AI-First。 要素2：显式声明人机依赖（对标：依赖管理）所有业务工作流，显式声明全部依赖项：模型、知识库、工具Skill、权限范围、人工评审节点、数据资源。 要素12：智能化统一运维治理（对标：管理进程）企业运维、数据治理、规则迭代、批量优化、问题排查，全部复用人机协同底座，没有独立的纯人工治理流程。管理类工作同样AI原生。 很简单，逐条对照打分：5-9条AI-First10-12条AI-Native"/>满足0-4条→AI-Enabled（工具外挂阶段）AI只是员工个人工具，没有流程重构、没有企业级沉淀、没有自动化协作，组织完全是传统形态 满足5-9条→AI-First（流程重构稳态）完成人机流程重构，企业级资产沉淀完善，拥有完整人工兜底链路，效率大幅提升。这是绝大多数企业长期稳态的最优选择。
41910编辑于 2026-08-10openEuler 高效 AI 数据管道
开篇介绍AI训练的瓶颈往往不是模型计算，而是数据预处理。openEuler提供高效的数据处理管道，支持并行加载、GPU预处理、数据增强等优化。今天聊聊如何加速AI数据处理。 数据处理优化：多进程DataLoader并行加载提升5-10倍，DALIGPU预处理释放CPU，预取机制减少等待时间，数据缓存避免重复读取。 存储优化：NVMeSSD提升I/O吞吐，分布式文件系统支持大规模数据集，数据格式优化TFRecord/Parquet提升读取效率。 QPS提升40%，Web服务器并发提升50%，大数据任务快35%。 优化要基于数据驱动，每次都要测试对比，确保有效且稳定。
40310编辑于 2025-12-03转载:【AI系统】数据并行
数据并行是一种广泛应用于分布式 AI 系统中的技术，旨在通过将数据集划分为多个子集并在不同计算节点上并行处理这些子集，以提高计算效率和速度。 分布式数据并行 DDP分布式数据并行（Distributed Data Parallel, DDP）是数据并行的一种高级形式，它综合了多种优化，是当前应用最广的并行算法之一，通常用于大型 NPU AI 集群和 AI 系统中。 在通信的同时也会继续计算梯度，这样就无需等待所有计算完成后再集中进行通信，也不必在计算完成后等待通信完成，从而将通信过程覆盖到计算时间内，充分利用 AI 集群，提高了 AI 集群使用率。 DDP 反向传播中计算与通信的重叠导致无需等待所有计算完成后再集中进行通信，也不必在计算完成后等待通信完成，提高了 AI 集群的使用率。
62810编辑于 2024-12-13- 来自专栏AI
AI中的数据存储
流水线中的数据存储类型和量级 图片 每个AI流水线中都涉及到数据存储 数据源-数据提取过程中涉及到: PB级别的顺序写 数据准备过程中: TB级别的顺序读 模型训练过程中: GB级别的随机读 检查点和恢复过程中 中间采用高性能全闪存,通过是TLC, 弥补机械盘性能, 总容量比HDD少 右边采用对象存储, 存储集群或JBODS, 包含大量机械盘, 总容量占比高 AI集群中的数据移动 图片 1.数据采集阶段，原始数据按顺序写入对象存储层 RAG 还可以创建额外的 I/O 活动 5.归档流程: 模型输入和输出被捕获并写入对象存储层的磁盘 旨在优化 AI 存储效率的产品组合 QLC 提升新型 AI DC(数据中心) 构建的电源效率 每个 DGX 有关建模详细信息，请参阅附录“QLC 功率效率与 HDD” 模型训练与数据存储 AI 数据穿越存储层之旅 最近的检查点基本在SSD上 早期的检查点数据在HDDS AI数据量级和性能 检查点：提高存储容量和吞吐量 Blob 存储层一次性访问可实现高吞吐量 AI负载中的存储扩展性 总结 AI集群流程中的数据存储需要根据实际业务的量级和性能要求做分层存储, 这样成本可控且性能满足需求 AI行业也会带动存储行业发展,
2K11编辑于 2024-09-18 AI+Data：AI时代的企业数据治理
随着AI应用对多源异构数据的需求增加，企业对于非结构化数据的价值化需求也在加速释放，而相应的数据治理模块也将获得进一步的关注与优化。 对于部署AI应用的企业来说，数据资源的质量直接决定了AI应用能否成功落地。因此，在推进AI应用的过程中，开展针对性的数据治理工作是首要且必要的步骤。 AI模型对数据高度敏感，低质量的数据会导致“garbage in, garbage out”的问题，即输入数据的缺陷会直接影响到输出结果的质量。 为了确保AI模型的有效性和准确性，必须保证数据的完备性和准确性。有效的数据治理不仅可以为AI模型提供高质量的数据原料，还能提高模型的拟合效果，进而增强AI应用的实际性能。 在金融、医疗、零售、工业以及互联网等数据基础建设较好的行业中，面向AI时代的数据治理正在逐步显现其优势。
1.4K10编辑于 2025-01-03
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号