- 综合排序
- 最热优先
- 最新优先
- 来自专栏CSDN技术头条
未来5-10年，NLP将走向成熟
对话即平台 “对话即平台”英文叫做“Conversation as a Platform （CaaP）”。 而于微软而言，我们作为一个平台公司，希望把自己的能力释放出来，让全世界的开发者，甚至普通的学生就能开发出自己喜欢的Bot，形成一个生态的平台，生态的环境。 无论是小冰这种闲聊，还是小娜这种注重任务执行的技术，其实背后单元处理引擎无外乎就三层技术： 通用聊天，需要掌握沟通技巧、通用聊天数据、主题聊天数据，还要知道用户画像，投其所好。 未来5-10年，NLP将走向成熟 最后，再介绍一下我对自然语言处理目前存在的问题以及未来的研究方向的一些考虑，供大家参考。 最后，我认为也是非常关键的，通过无监督学习充分利用未标注数据。现在都依赖于带标注的数据，没有带标注的数据没有办法利用。但是很多场景下，标注数据不够，你找人工标注代价又极大。
1.4K71发布于 2018-02-12 - 来自专栏人工智能头条
未来5-10年，自然语言处理将走向成熟
对话即平台 “对话即平台”英文叫做“Conversation as a Platform （CaaP）”。 而于微软而言，我们作为一个平台公司，希望把自己的能力释放出来，让全世界的开发者，甚至普通的学生就能开发出自己喜欢的Bot，形成一个生态的平台，生态的环境。 无论是小冰这种闲聊，还是小娜这种注重任务执行的技术，其实背后单元处理引擎无外乎就三层技术： ● 通用聊天，需要掌握沟通技巧、通用聊天数据、主题聊天数据，还要知道用户画像，投其所好。 未来5-10年，NLP将走向成熟 最后，再介绍一下我对自然语言处理目前存在的问题以及未来的研究方向的一些考虑，供大家参考。 6.最后，我认为也是非常关键的，通过无监督学习充分利用未标注数据。现在都依赖于带标注的数据，没有带标注的数据没有办法利用。但是很多场景下，标注数据不够，你找人工标注代价又极大。
83330发布于 2018-07-20 - 来自专栏AI机器学习与深度学习算法
机器学习入门 5-10 线性回归的可解释性
线性回归的可解释性 下面先使用sklearn封装好的线性模型在整个数据集上进行拟合： ? ? 即使你的数据使用线性回归法预测的结果不够好，但是我们通过这样的方式，首先看一看数据特征和预测目标的线性关系，相应的系数有多大，这样做也是非常有意义的。 所以从某种角度上来讲，我们拿到一组数据之后，先使用线性的方式试试看，总之是没有坏处的。 线性回归总结 当然线性回归算法在预测模型的时候同样需要使用测试集，用训练数据集训练出模型，不同于前面介绍的kNN算法，此时的模型是一个实实在在的模型，所谓的模型就可以写成y = θTx，有了这个模型之后就可以基于这个模型对测试数据集进行预测 这里需要注意的是在使用线性回归算法的时候，对数据是有一个假设的：数据和最终的输出结果之间有一定的线性关系，这个线性关系越强，线性回归算法得到的结果相应的也就越好。
1.5K00发布于 2019-11-13 - 来自专栏算法修养
pta习题集 5-10 切分表达式——写个tokenizer吧
[先说点出题背景] 这个题是为低年级同学、学C语言的同学准备的，因为，对这部分同学，这个题目编写起来略有一点复杂。如果是高年级、学过了正则表达式（Regular Expression）的同学或者学过了Java等OO语言的同学做这个题，应当发现这题比较简单吧。哦，对了，什么是tokenizer？请自行查询解决。反正在此处不应翻译成“令牌解析器”。 [正题] 四则运算表达式由运算数（必定包含数字，可能包含正或负符号、小数点）、运算符（包括+、-、*、/）以及小括号（(和)）组成，每个运算数、运算符和括号
1.2K60发布于 2018-04-27 - 来自专栏ET
什么是数据集成平台?数据集成平台推荐
数据集成平台的基础知识1. 什么是数据集成平台？数据集成平台是一种用于管理和协调数据流动的软件工具或服务。它的主要目标是将来自多个不同数据源的数据整合到一个统一的、易于访问和分析的数据存储库中。 数据集成平台的主要组件数据集成平台通常包括以下主要组件：连接器 连接器是用于与不同数据源通信的组件。每个数据源都有其自己的连接器，用于确保数据的顺利流动。 数据集成平台与ETL的区别数据集成平台和ETL（提取、转换、加载）是数据管理领域中的两个不同概念，它们虽然有一些重叠之处，但也存在一些关键区别。 数据集成平台则更加通用，可以应对多种不同的数据集成需求，包括批处理和实时数据处理。数据集成平台工具介绍选择适合企业需求的数据集成平台至关重要。以下是一些推荐的数据集成平台1. (数据集成工作流界面)(数据集成监控功能)市面还有很多其他数据集成平台，企业可以根据自身的需求选择不同的数据集成平台工具。
5.3K30编辑于 2023-09-19 - 来自专栏NLP/KG
数据开发平台
1 特征平台 2.DeepInsight
5.4K40编辑于 2023-03-17 - 来自专栏数据社
小米数据平台
作者 | 勇幸，小米计算平台负责人 导读： 业界一直希望统一元数据，从而实现多产品间的一致体验：无论是数据开发、数据消费还是数据治理，所有用户都能基于一套元数据体系，采用相同的资源描述方式，这无疑能极大地提升用户体验 得益于开源与组织时机，小米基于 HMS 与 Metacat 实现了元数据的统一，也借此实现了将 7 个数据平台统一为 1 个平台。 Gravitino 在小米数据平台中的位置 下图中 Gravitino 具有以下我们需要的特性（以绿色和黄色突出显示）： 统一的元数据湖：作为一个统一的数据目录，它支持多种数据源、计算引擎和数据平台，用于数据开发 我们期望通过利用 Gravitino 在我们的数据平台上实现这一点。 多系统集成的统一认证挑战 为了为用户提供无缝的数据开发体验，数据平台通常需要与各种存储和计算系统集成。 为了解决这个问题，简化不同账户系统的复杂性并建立统一的授权框架是构建一站式数据开发平台的关键一步，以提高数据开发的效率。
1.2K10编辑于 2024-04-10 - 来自专栏Java架构师必看
数据运营平台-数据采集
今天说一说数据运营平台-数据采集[通俗易懂],希望能够帮助大家进步!!! 目录 行为数据采集 业务数据采集与转换 第三方系统API对接 用户数据关联 人工数据采集 数据输出 ---- 行为数据采集 1.埋点采集 ①跨平台打通 确定性方法识别 利用用户帐号体系中，可以是系统生成的 ，不计入平台数据统计 2：打开 Debug 模式，该模式下发送的数据可计入平台数据统计 iOS环境 AnalysysAgent setDebugMode:AnalysysDebugButTrack AnalysysDebugOff 数据管理 A.业务数据检查 接口应提供业务数据检查功能，即对接收的数据进行合法性检查，对非法数据和错误数据则拒绝接收，以防止外来数据非法入侵，减轻应用支撑平台系统主机处理负荷。 主要通过实现数据导入工具，来实现对人工处理数据的采集；比如定制好数据模板，当人工填写数据模板后，在数据工具中导入上传，再进入大数据平台的文件自动处理机制流程中。
6.3K31编辑于 2022-07-06 - 来自专栏腾讯云原生团队
ImageApparate(幻影)镜像加速服务让镜像分发效率提升 5-10 倍
ImageApparate(幻影) 为了解决这个问题，腾讯云容器服务 TKE 团队开发了下一代镜像分发方案ImageApparate(幻影), 将大规模大镜像分发的速度提升 5-10倍。 ? 如上所述，相比于传统的下载全部镜像的方式，ImageApparate 在容器全部启动时间上都有 5-10倍 的提升。 镜像本地缓存由不同的IAS附加存储插件自身实现，目前 CFS 实现使用了 FScache 框架作为本地缓存可以自动按页缓存访问过的在远端存储上的部分数据，根据当前磁盘通过本地缓存能力，有效提升镜像数据重复访问的性能和稳定性 Apparate-snapshotter 主要负责解析记录在镜像层中的IAS信息，从而拿到另外数据存储地址，接下来 Apparate-snapshotter 会去数据存储服务中加载远程数据，并在本地提供访问的 比如在 CFS 场景下，会把远端数据 mount 到本地，并把挂载点作为接下来本地访问的入口。当需要使用远端数据时便由 snapshotter 或内核来提供按需加载的能力。
1.7K10发布于 2021-02-25 - 来自专栏企鹅号快讯
Hinton：5-10年内深度学习取代放射科医生
他们使用这一数据集创建了图像库，并将其作为原始像素提供给算法，每个像素都带有标签，描述了相关疾病的附加数据。 为了测试算法的性能，研究人员找来斯坦福医学院的21名皮肤科医生。 对于每一个案例，至少有20名医生提供了一个在线平台，列出排名前三名的诊断。 医生们给出正确的诊断结果正确率在72％，而应用程序则为34％。 2017，新智元见证人工智能成为时代主流，中国企业成为全球互联网主角，新智元平台也实现超35万平台用户产业链互联。与掌握AI技术的智者同行，是新智元之幸。 2018，我们不忘初心再出发，一起构建AI开放平台，助力中国智能+ 最后，祝愿新智元的朋友们能够利用AI工具赋能社会、赋能人类。 2018，加入新智元社群，一起构建AI开放平台，助力中国智能+
1.6K60发布于 2018-01-05 - 来自专栏大数据开发
大数据平台架构：数据平台建设的几种方案
随着大数据在越来越多的企业当中落地，企业要开展大数据相关的业务，那么首先要搭建起自身的数据平台。而企业搭建大数据平台，往往需要结合成本、业务、人员等各方面的因素，来规划数据平台建设方案。 今天我们就来聊聊数据平台建设的几种方案。 9.jpg 数据平台其实在企业当中一直都是存在的，但是进入到数据爆发式增长的大数据时代，传统的企业级数据库，在满足数据管理应用上，并不能完全满足各项需求。 对于企业而言，基于大数据背景下的企业数据管理应用，也需要更加符合需求的数据平台建设方案。 主流数据平台建设方案 从市场主流选择来看，企业数据平台建设方案，目前大致有以下几种： 1、常规数据仓库 数据仓库的重点，是对数据进行整合，同时也是对业务逻辑的一个梳理。 15.jpg 关于大数据平台架构，数据平台建设的几种方案，以上就为大家做了一个简单的介绍了。
3.4K51发布于 2020-10-14 【能力比对】K8S数据平台VS数据平台
AllData大数据产品是可定义数据中台，以数据平台为底座，以数据中台为桥梁，以机器学习平台为中层框架，以大模型应用为上游产品，提供全链路数字化解决方案。 一、K8S数据平台VS数据平台能力对比 1.1 K8S数据平台（CloudEon）-功能描述 K8S数据平台基于开源项目CloudEon建设，简化Kubernetes上大数据集群的运维管理，一款基于Kubernetes 的开源大数据平台，旨在为用户提供一种简单、高效、可扩展的大数据解决方案。 K8S数据平台（CloudEon）将基于 Kubernetes 的资源安装部署开源大数据组件，实现开源大数据平台的容器化运行，可减少对于底层资源的运维关注。 四、 K8S数据平台VS数据平台-应用场景适配K8S数据平台（CloudEon）高实时性、弹性需求行业：互联网用户行为分析、金融反欺诈、AI模型推理等场景需支撑千万级QPS查询与GPU资源动态调度，其流批一体计算引擎
76410编辑于 2025-05-07什么是数据集成平台？数据集成平台有哪些功能？
简单来说，数据集成平台就是一种专门用来收集、整合和管理来自不同源头的数据的工具。那么，数据集成平台究竟能干啥？它具体有什么本事？别急，咱们今天就一层层把它拆开讲清楚。 没有集成平台的时候，店长想决定该进多少货，可能得手动去比对这三套数据，费时费力还可能出错。但有了数据集成平台呢？平台就能自动地把销售数据、当前的库存情况、会员的消费习惯这些信息整合到一起。 二、 数据集成平台的主要功能数据集成平台的能耐，实实在在地体现在这四个核心功能上：1. 数据抽取这是第一步，好比是准备原材料。 这时候增量抽取就太有用了，平台只需要抽取当天的订单数据，同步到数据仓库或者分析平台，后面的分析用起来就顺手多了。2. 而数据仓库是个“大仓库”，核心工作是存储和管理这些被集成平台处理好的、规整的历史数据，主要服务于查询和分析。你可以理解为，集成平台是给数据仓库“备料”的前道工序。
2K10编辑于 2025-07-02- 来自专栏大数据开发
大数据平台搭建：基于Hadoop的数据分析平台
15.jpg 企业要进行大规模的数据分析，基于开源的Hadoop及其生态圈来搭建起大数据系统平台，无疑是一种低成本高效率的选择。 Hadoop大数据平台 Hadoop在大数据技术生态圈，经过这么多年的发展，基础核心架构的地位，依然稳固。 针对不同的具体需求，采用不同的数据分析架构和框架组件来解决实际问题。 大数据分析平台需求规划 按照数据分析的时效性需求，大数据分析可分为实时数据分析和离线数据分析两种。 对于大多数反馈时间要求不是那么严苛的应用，比如离线统计分析、机器学习、搜索引擎的反向索引计算、推荐引擎的计算等，可采用离线分析的方式，通过数据采集工具将日志数据导入专用的分析平台。 9.jpg 关于大数据平台搭建，基于Hadoop的数据分析平台，以上就是今天的分享内容了。
2.5K1410发布于 2020-10-10 - 来自专栏祝威廉
运维=平台+数据
运维现有发展方向的问题 运维也越来越朝着平台化，自动化，自助化方向发展。这种发展方式虽然可以解决问题，但是会导致碎片化以及难以标准化，不可复制，对生态也是不利的。 运维发展新方向 之前我写过一篇文章，谈及如何用大数据思维做运维，当然这篇文章有他自己的局限性，只是谈及了运维监控，灌输一种 data based 的理念。 随着分布式相关应用慢慢成熟，尤其是大数据的崛起，对服务器有了更多的需求，以资源为粒度的管理需求也变得更加迫切，于是有了Google Borg,开源的则有Mesos,Yarn等。 前面讲的是基础平台层面的，我们其实更多的是要对应用进行更细致的观察。在Borg之上的应用可以是非常复杂的，应用的关联也是非常复杂的，微服务的兴起导致链路非常长，所以我们有了全链路追踪的需求。 一切服务都是为了帮助数据进行流转和变换，服务的状态也都反应在数据流上，这种瞬态和终态的量是非常大的，所以我们需要借助大数据的思维去做处理。 到这里就可以参考大数据思维做运维灌输的概念了。
4.5K50发布于 2018-08-27 - 来自专栏啄木鸟软件测试
大数据平台测试
来源：http://www.uml.org.cn 一.大数据平台测试简述 大数据平台测试包括2部分：基础能力测试和性能测试 Ⅰ).基础能力测试 大数据平台的基本功能和数据的导入导出对SQL任务、NoSQL b).是否能够进行细粒度的权限管理 c).是否能够提供审计和数据加密功能 大数据平台是否具备高可用的机制，防止机器的失效带来的任务失败以及数据丢失 大数据平台是否能够支持机器快速平滑地扩展和缩容时带来线性的计算能力 Ⅲ).测试指标 主要从性能、能耗、性价比和可用性4个维度来测试对比平台性能 ? 三.大数据平台测试工具 Ⅰ).平台单组件测试 测试应用单一、效率高、成本低，但无法全面衡量大数据平台性能 ? Ⅱ).综合平台测试 覆盖面广，可以较全面测试衡量大数据平台不同类型任务的性能，通用性好 ? ：结构化、半结构化、非结构化 四.大数据平台测试用例 Ⅰ).平台基准测试用例 主要是从性能的角度衡量大数据平台，包括数据生成、负载选择和明确测试指标等内容 ?
2.2K30发布于 2020-11-03 光照计算 采用手动优化重写，通常能获得5-10倍的性能提升
物理碰撞检测光照计算 采用手动优化重写，通常能获得5-10倍的性能提升第三阶段：内存优化通过JavaScript特有的内存管理技术：代码语言：javascript代码运行次数：0运行AI代码解释// 使用对象池减少
21410编辑于 2025-07-19- 来自专栏鸿的学习笔记
现代元数据平台
此时就需要一个现代元数据平台去管理现代数据技术栈，以防止公司的数据生态系统由于分散和增长而变成笨重的野兽。 领英希望 WhereHows 能够更加通用化，成为一个真正的元数据平台。 它是一个平台，可大规模集成、处理和提供丰富的元数据，以应对许多复杂的组织数据挑战。 为什么需要现代元数据平台？ “为什么传统的元数据管理解决方案不够好？” 那么，为什么需要现代元数据平台呢？因为您的元数据可能与您的数据一样大和一样复杂，因此应该受到同样的尊重。 如何构建出色的现代元数据平台？ 简而言之，一个优秀的元数据平台看起来与一个优秀的数据平台非常相似。
96631编辑于 2022-03-11 - 来自专栏全栈程序员必看
大数据平台建设
数据仓库平台Hive Hive详细介绍 Hive是一个基于Hadoop的数据仓库平台。通过hive，我们可以方便地进行ETL的工作。 大规模数据分析平台Pig Pig详细介绍 Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的 Impala采用与Hive相同的元数据、SQL语法、ODBC驱动程序和用户接口(Hue Beeswax)，这样在使用CDH产品时，批处理和实时查询的平台是统一的。 目前已经有包括阿里百度在内的数家大型互联网公司在使用该平台。 现在Kubenetes着重于不间断的服务状态（比如web服务器或者缓存服务器）和原生云平台应用（Nosql）,在不久的将来会支持各种生产云平台中的各种服务，例如，分批，工作流，以及传统数据库。
1.6K40编辑于 2022-08-12 数据治理平台有哪些:2025 年数据治理平台深度解析
然而，当前市场上的数据治理平台功能参差不齐，有的侧重技术架构，有的聚焦行业场景，如何在纷繁复杂的选项中找到适配自身需求的平台，成为企业数字化转型的关键课题。 信创与合规深度绑定：超过 85% 的央国企将 “信创适配能力” 列为数据治理平台选型的首要指标，要求平台从底层数据库到上层应用全面兼容国产化软硬件体系，同时满足等保 2.0、数据分类分级等合规要求。 四、如何选择最适合的平台？5 步落地选型方法论数据治理平台的选型不是 “选最好的”，而是 “选最对的”。结合 2025 年市场特点，建议按以下 5 步推进：1. 六、总结：2025 年数据治理平台选型的核心逻辑随着数据成为企业核心资产，数据治理平台已从 “可选工具” 变为 “必备基础设施”。在 2025 年的市场环境中，选型的核心逻辑可总结为：1. 最终，数据治理的目标不是 “建设平台”，而是 “释放数据价值”。企业需以业务需求为导向，选择能支撑长期战略的平台，同时配套组织流程与管理机制，才能在数字经济时代真正实现 “数据驱动增长”。
1.6K00编辑于 2025-08-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号