> x <- data.frame(v1=1:5,v2=6:10,v3=11:15) > x v1 v2 v3 1 1 6 11 2 2 7 12 3 3 8 13 4 4 9 14 5 5 10 15 > x$v3[c(2,4)] <- NA > x v1 v2 v3 1 1 6 11 2 2 7 NA 3 3 8 13 4 4 9 NA 5 5 10 15 > #找出第2列 > x[,2] [1] 6 7 8 9 10 > x[,"v2"] [1] 6 7 8 9 10 > x[
熟悉Python语言的都知道Python自带的数据类型List列表也可以表示一维数组以及多维数组,下面就说一说List相比于NumPy模块中的数组的缺点。 首先创建一个List列表生成式: ? ,但是不论是一维数组还是二维数组,list和array都没有把数据看成是向量或者是矩阵,相应的也就没有为这些运算配备和向量以及矩阵相关的运算,这使得机器学习算法中使用比list高效的array还是不方便 因此NumPy解决了list的效率问题,只能存储同一种数据类型,并且把数组看成是矩阵或者向量,并提供了很多相应的矩阵和向量的运算,这就解决了list和array不能进行科学计算的问题。 当然由于numpy数组同样只能存储一种数据类型,所以使用字符串修改元素值会抛出异常: ? 由于numpy数组只存放唯一数据类型的元素,所以我们可以通过dtype属性来查看numpy数组的数据类型,即数组中元素类型: ?
3-3 SQL Server 2005数据库优化 了解数据库引擎优化顾问基本内容 掌握数据库引擎优化顾问的使用 掌握通过命令行的方式进行索引的优化——DTA 一个数据库系统的性能依赖于组成这些系统的数据库中物理设计结构的有效配置 SQL Server 2005提供了一套综合的工具,用于优化物理数据库的设计,其中数据库引擎优化顾问,是分析一个或多个数据库上工作负荷(对要做出优化的数据库而编写的一组T-SQL语名句)的性能效果的工具 本节主要介绍数据库引擎优化顾问的使用。 3-3-1 数据库引擎优化顾问概述 数据库引擎优化顾问是一种工具,用于分析在一个或多个数据库中运行的工作负荷的性能效果。 工作负荷是对在优化的数据库招待的一组T-SQL语句。分析数据库的工作负荷效果后,数据库引擎优化顾问会提供在SQL Server 2005 数据库中添加、删除或修改物理设计结构的建议。 随后启动数据库引擎优化顾问,如图3-10所示。数据库引擎优化顾问主要用于优化数据库以及查看优化的建议和报告的单独图形化用户界面。 ?
NuGet安装Microsoft.Extensions.Logging及Microsoft.Extensions.Logging.Consloe
注册中心返回服务提供者地址列表给消费者,如果有变更,注册中心将基于长连接推送变更数据给消费者。 服务消费者和提供者,在内存中累计调用次数和调用时间,定时每分钟发送一次统计数据到监控中心。 Dubbo 架构具有以下几个特点,分别是连通性、健壮性、伸缩性、以及向未来架构的升级性。 dubbo:protocol org.apache.dubbo.config.ProtocolConfig, 指定服务在进行数据传输所使用的协议。 category=routers 表示该数据为动态配置类型,必填。 dynamic : 是否为持久数据,当指定服务重启时是否继续生效。必填。 RecordTable /** * 一种类似表格的数据接口,类似 Map<A, Map<B,C>>类型。
最大公因子,指两个或多个整数共有约数中最大的一个 private static int gc(int a, int b) { if(b==0){ return a; } if(a<b){ int temp=a; a=b; b=temp; } return gc(b,a%b); }
[root@node1 ~]# ansible ha -m shell -a 'service NetworkManager stop'
文本文件是我们接触频繁的一类文件,记事本程序经常操作的文件就是文本文件,很多应用程序会保存一些记录到日志文件里,这种日志文件也可以是文本文件。通过本小节的学习,可以掌握对文本文件的简单读写方法。
代码清单3-3 for(answer[0] = 0; answer[0] < total[number[0]]; answer[0]++) for(answer[1] = 0; answer
《React:Table 那些事》系列文章,会逐渐给大家呈现一个基于 React 的 Table 组件的定义、设计、开发过程。每篇文章都会针对 Table 的某个具体功能展开分析:
分组 这里根据业务数据的含义,可取组距为500,则组数如下所示。 组数=极差/组距=3915/500=7.83≈8 3. 决定分点 分布区间如表3-3所示。 ▲表3-3 分布区间 4. ▲图3-3 季度销售额频率分布直方图 02 定性数据的分布分析 对于定性变量,常常根据变量的分类类型来分组,可以采用饼图和条形图来描述定性变量的分布,如代码清单3-4所示。 ▲图3‑4 菜品销售量分布(饼图) ▲图3‑5 菜品销售量分布(条形图) 关于作者:张良均,资深大数据挖掘与分析专家、模式识别专家、AI技术专家。 有10余年大数据挖掘与分析经验,擅长Python、R、Hadoop、Matlab等技术实现的数据挖掘与分析,对机器学习等AI技术驱动的数据分析也有深入研究。 PPT | 读书 | 书单 | 硬核 | 干货 | 讲明白 大数据 | 云计算 | 数据库 | Python | 可视化 | 神操作 AI | 人工智能 | 机器学习 | 深度学习 | 神经网络
分组 这里根据业务数据的含义,可取组距为500,则组数如下所示。 组数=极差/组距=3915/500=7.83≈8 3. 决定分点 分布区间如表3-3所示。 ? ▲表3-3 分布区间 4. 绘制频率分布直方图 若以2014年第二季度“捞起生鱼片”这道菜每天的销售额组段为横轴,以各组段的频率密度(频率与组距之比)为纵轴,表3-4中的数据可绘制成频率分布直方图,如代码清单3-3所示。 ▲图3-3 季度销售额频率分布直方图 02 定性数据的分布分析 对于定性变量,常常根据变量的分类类型来分组,可以采用饼图和条形图来描述定性变量的分布,如代码清单3-4所示。 ▲图3‑5 菜品销售量分布(条形图) 关于作者:张良均,资深大数据挖掘与分析专家、模式识别专家、AI技术专家。 有10余年大数据挖掘与分析经验,擅长Python、R、Hadoop、Matlab等技术实现的数据挖掘与分析,对机器学习等AI技术驱动的数据分析也有深入研究。
RabbitMQ是一个开源的消息代理的队列服务器,用来通过普通协议在完全不同的应用之间共享数据。 RabbitMQ是使用Erlang语言来编写的,并且RabbitMQ是基于AMQP协议的。 Erlang语言在数据交互方面性能优秀,有着和原生Socket一样的延迟,这也是RabbitMQ高性能的原因所在。可谓“人如其名”,RabbitMQ像兔子一样迅速。 第4章RabbitMQ进阶 提升数据可靠性有以下一些途径:设置mandatory参数或者备份交换器(immediate参数已被淘汰):设置publisher confrm机制或者事务机制:设置交换器、队列和消息都为持久化 本章不仅介绍了数据可靠性的一些细节, 还展示了RabbitMQ 的几种已具备或者衍生的高级特性,包括TIL、死信队列、延迟队列、优先级队列、RPC功能等,这些功能在实际使用中可以让相应应用的实现变得事半功倍 镜像队列的引入可以极大地提升RabbitMQ的可用性及可靠性,提供了数据冗余备份、避免单点故障的功能,强烈建议在实际应用中为每个重要的队列都配置镜像。
美国知名AI作家Bernard Marr 说过:“过去,由于有限的数据集、非实时的数据和无法在数秒内分析大量数据,而导致AI发展受阻。 今天,可以实时访问数据和工具,实现快速分析,从而推动了AI和机器学习,并允许向数据优先的方法过渡。我们的技术现在已经足够灵活,可以访问这些庞大的数据集,以快速推进AI和机器学习应用程序。” AI和大数据形成了一种真正的共生关系,彼此需要。 然而,Manchett警告说,AI尚不足以满足非技术业务的需求。“为了实现大数据和AI的目标,你仍然需要理解提取、转换和加载的概念,以及机器学习是什么,可以做什么。” 数据占据了中心位置。 “通过云计算,任何人都可以轻而易举地获得数据,大数据和AI的可能性在我们的生活中变得越来越真实。”然后,AI和机器学习将变得司空见惯。
习题3-3 出租车计价 本题要求根据某城市普通出租车收费标准编写程序进行车费计算。
AI和大数据已经形成了一种真正的共生关系,彼此需要相得益彰。 美国知名AI作家Bernard Marr 说过:“过去,由于有限的数据集、非实时的数据和无法在数秒内分析大量数据,而导致AI发展受阻。 今天,可以实时访问数据和工具,实现快速分析,从而推动了AI和机器学习,并允许向数据优先的方法过渡。我们的技术现在已经足够灵活,可以访问这些庞大的数据集,以快速推进AI和机器学习应用程序。” AI和大数据形成了一种真正的共生关系,彼此需要。 “通过云计算,任何人都可以轻而易举地获得数据,大数据和AI的可能性在我们的生活中变得越来越真实。”然后,AI和机器学习将变得司空见惯。
数据并行是一种广泛应用于分布式 AI 系统中的技术,旨在通过将数据集划分为多个子集并在不同计算节点上并行处理这些子集,以提高计算效率和速度。 分布式数据并行 DDP分布式数据并行(Distributed Data Parallel, DDP)是数据并行的一种高级形式,它综合了多种优化,是当前应用最广的并行算法之一,通常用于大型 NPU AI 集群和 AI 系统中。 在通信的同时也会继续计算梯度,这样就无需等待所有计算完成后再集中进行通信,也不必在计算完成后等待通信完成,从而将通信过程覆盖到计算时间内,充分利用 AI 集群,提高了 AI 集群使用率。 DDP 反向传播中计算与通信的重叠导致无需等待所有计算完成后再集中进行通信,也不必在计算完成后等待通信完成,提高了 AI 集群的使用率。
一篇关于數據倉庫建設、人工數據分析、AI數據分析的讲义 數據Data&信息Information 信息 信息是一個客觀存在物體的自然表現,比如說“I am a local villain.” 隨著數據的不斷累積和堆積在數據背後發現了驚人的統計規律,隨著這些統計規律的發展漸漸的出現了AI分析和數據分析。 數據&數據分析&AI 如下圖是建立數據分析工程的過程 ? 根據需要訓練AI模型。 數據倉庫的建立 聯機事物型系統&決策分析系統 在數據能力上,通常將系統的數據結構模型分為2類,聯機事物型、決策分析型。 數據倉庫案例展示superset 地址:http://192.168.0.212:8088 賬號:admin 密碼:admin 數據分析到AI訓練 進過大量的數據演練,可以逐漸的發現數據背後的統計規律。
一位在数据领域深耕多年的创业者告诉我,早期AI在数据工程领域的切入点其实很务实——那些原本需要大量人工的数据治理工作,恰恰是大模型最擅长的地方。 比如从海量数据中提炼关键信息、自动生成数据文档、识别重复和冗余的表结构。这些事情以前要靠专人花时间梳理,现在AI可以快速完成。 但这只是第一步。 更深层的变化在于,数据工程的需求本身正在被AI重塑。 以前的交付物很明确:一张张处理好的数据表,加上一个Dashboard,业务方看数据就够了。 现在呢?业务方不仅看Dashboard,还想直接跟数据对话——问AI一个问题,AI直接给出答案。 好的数据工程,应该配合AI在事中就做好管理和体系搭建。” 这句话背后是一个残酷的现实:以前数据工程师的工作更像是管道工——把数据从A搬到B,分层、清洗、汇总。 现在的要求变成了规划师——不仅要搬数据,还要让数据能被AI正确理解和调用。 这需要的不仅是技术能力,更是思维方式的转变。
1.数据的中心化 所谓数据的中心化是指数据集中的各项数据减去数据集的均值。 例如有数据集1, 2, 3, 6, 3,其均值为3,那么中心化之后的数据集为1-3,2-3,3-3,6-3,3-3,即:-2,-1,0,3,0 2.数据的标准化 所谓数据的标准化是指中心化之后的数据在除以数据集的标准差 ,即数据集中的各项数据减去数据集的均值再除以数据集的标准差。 例如有数据集1, 2, 3, 6, 3,其均值为3,其标准差为1.87,那么标准化之后的数据集为(1-3)/1.87,(2-3)/1.87,(3-3)/1.87,(6-3)/1.87,(3-3)/1.87 ,即:-1.069,-0.535,0,1.604,0 数据中心化和标准化的意义是一样的,为了消除量纲对数据结构的影响。