- 综合排序
- 最热优先
- 最新优先
- 来自专栏锦小年的博客
Python数据分析(4)-numpy矩阵的操作
在Python中，使用io之后需要关闭他们以释放内存，例如读取或者写入文件。 凡是调用open()后必须调用close()来关闭，但是这样比较繁琐，Python提供了with关键词来方便用户编写程序并且能够合理的管理内存。
85760发布于 2018-01-02 - 来自专栏Python数据科学
Python数据分析实战基础 | 清洗常用4板斧
☞500g+超全学习资源免费领取 这是Python数据分析实战基础的第三篇内容，主要对前两篇进行补充，把实际数据清洗场景下常用但零散的方法，按增、删、查、分四板斧的逻辑进行归类，以减少记忆成本，提升学习和使用效率 01 增——拓展数据维度 1.1 纵向合并 这三个sheet的数据，维度完全一致（每列数据都是一样），纵向合并起来分析十分方便。 1.2 横向合并 横向合并涉及到连接问题，为方便理解，我们构造一些更有代表性的数据集练手： 两个DataFrame是两张成绩表，h1是5位同学的数学、英语、语文成绩，h2是4位同学的篮球和舞蹈成绩，现在想找到并合并两张表同时出现的同学及其成绩 02 删——删空去重 2.1 删空 在一些场景，源数据的缺失（空值）对于分析来说是干扰项，需要系统的删除。 2.2 去重 说是讲去重，但是案例数据比较干净，没有两行数据是完全一样的，所以我们要制造点困难，增加几行重复值： 把源数据重复两遍，赋值给repeat，这样每一行数据都有重复的数据。
2.8K21发布于 2019-11-21 - 来自专栏锦小年的博客
Python数据分析(4)-numpy数组的属性操作
ndarray有两个属性：维度（ndim）和每个维度的大小shape（也就是每个维度元素的个数） import numpy as np a = np.arange(24) a.shape=(2,3,4) print('数组为：', a) print('数组的维度：', a.ndim) print('数组维度的大小',a.shape) 输出： 数组为： [[[ 0 1 2 3] [ 4 5 6 7] [ 8 9 10 11]] [[12 13 14 15] [16 17 18 19] [20 21 22 23]]] 数组的维度： 3 数组维度的大小 (2, 3, 4) # a.shape=(4,6),直接对a进行操作 a.shape = (4,6) print('a:',a) #a.reshape(3,8)是返回一个修改后维度大小的新数组，不会修改原来的数组a 修改属性的时候，属性元素之和一定要等于数组的元素之和，例如原数组有24个元素，则属性只能修改为：一维：（24,）二维：（2，12）、（3，8）、（4，6），三维：（2，3，4），四维：（2，3，2，2）
1.6K30发布于 2019-05-26 - 来自专栏算法channel
Kaggle影评数据集，Python数据分析小例子1-4
1 了解数据 数据来自kaggle，共包括三个文件： movies.dat ratings.dat users.dat movies.dat包括三个字段：['Movie ID', 'Movie Title /data/movietweetings/movies.dat', delimiter='::', engine='python', header=None, names = ['Movie ID', 依次导入其他两个数据文件 users.dat: users = pd.read_csv('. /data/movietweetings/ratings.dat', delimiter='::', engine='python', header=None, names = ['User ID', 4 提取目标行记录 得到掩码mask后，pandas非常方便地能提取出目标记录： comedy = movies[mask] comdey_ids = comedy['Movie ID'] 以上，在pandas
2K11发布于 2020-02-13 - 来自专栏python前行者
《python数据分析与挖掘实战》笔记第4章
因此，在Python的Scipy库中，只提 供了拉格朗日插值法的函数(因为实现上比较容易)，如果需要牛顿插值法，则需要自行编写 代码清单4-1，用拉格朗日法进行插补 # -*- coding:utf-8 使用主成分分析降维的程序如代码清单4-6所示。 4.5、Python主要数据预处理函数 表4-7 Python主要数据预处理函数 函数名 函数功能 所属扩展库 interpolate 一维、高维数据插值 Scipy unique 去除数据中的重复元素 (4) random 1 ) 功能：random是Numpy的一个子库(Python本身也自带了 random,但Numpy的更加强大)，可以用该库下的各种函数生成服从特定分布的随机矩阵，抽样时可使用。 3 ) 实例：使用PCA()对一个10x4维的随机矩阵进行主成分分析。
2.2K20发布于 2021-03-03 - 来自专栏c/c++的学习笔记
python数据分析——Python数据分析模块
Python数据分析模块 前言 在当今数字化时代，数据分析已经变得不可或缺。而Python，作为一种通用编程语言，其丰富的库和强大的功能使得它成为数据分析领域的佼佼者。 Python数据分析模块，正是这一领域的核心组成部分，为数据科学家和工程师提供了强大的武器库。 Python数据分析模块的核心库主要包括NumPy、Pandas和Matplotlib。 在医疗研究中，Python数据分析模块可以帮助我们分析病人的医疗数据、基因数据等，从而推动医学的进步。 无论是数据科学家、工程师还是其他领域的专业人士，都可以通过学习和掌握Python数据分析模块来提高工作效率、提升数据分析能力。随着大数据时代的到来，Python数据分析模块的应用前景将更加广阔。 二、Pandas模块 Pandas是Python环境下非常重要的数据分析库。当使用Python进行数据分析时,通常都指的是使用Pandas库作为分析工具对数据进行处理和分析。
1.3K10编辑于 2024-03-20 - 来自专栏人生代码
利用Python进行数据分析(4) NumPy基础: ndarray简单介绍
一、NumPy 是什么 NumPy 是 Python 科学计算的基础包，它专为进行严格的数字处理而产生。在之前的随笔里已有更加详细的介绍，这里不再赘述。 利用Python进行数据分析(1) 简单介绍 二、ndarray 是什么 ndarray 是一个多维的数组对象，具有矢量算术运算能力和复杂的广播能力，并具有执行速度快和节省空间的特点。 arange() 函数 这个函数是 Python 内置函数 range 的数组版，使用方法： ? 四、ndarray 的数据类型 在创建 ndarray 数组的时候可以指定元素的数据类型，例如： 所支持的数据类型包括整数、浮点数、复数、布尔值、字符串或是普通的 Python 对象（object）。 在创建 ndarray 数组的时候，如未显示指定类型，它会尝试推断出一个合适的数据类型。
1.3K20发布于 2019-09-29 - 来自专栏Python in AI-IOT
Python数据分析---性能分析
从上亿条的工业物联网数据中快速检索所需要的数据进行算法分析以及可视化，需要大量的科学运算，为了保证整个过程在用户可以忍受的等待时间内(10s)，需要在代码中找到影响性能瓶颈的代码或函数，然后对其优化 下面介绍自己日常经常使用的性能分析手段： 一般上我写代码没有使用Pycharm等高级IDE，而是在Python自带的IDE中编写。 image.png 利用jupyter的%time，%timeit image.png image.png image.png image.png 利用%run -p和%run -t来分析性能和执行时间 需要文件本身是从上到下执行的语句，如果是模块，为其编写main函数 image.png image.png image.png 使用python -m cProfile youcode.py 来对代码进行性能分析,也可以用python -m cProfile youcode.py -o youcode.prof将分析结果保存在文件中 image.png
1.1K20发布于 2020-05-13 - 来自专栏好奇心Log
Python数据分析 | 相关分析
目前手上有两本书，一本《利用Python进行数据分析》，一本《Python数据科学》。 对于学习什么东西，都有它的「道」和「术」。「道」即原理，「术」即技巧。 它并不会真正的教你如何去分析数据，适合查阅。 而后者呢，更注重数据分析的原理，教我们如何去剖析数据，得到我们想要的结果。 所以接下来会以后者作为学习的方向，不能仅仅停留在描述性数据分析上(数据可视化)。 更应该多花时间在预测性数据分析上(建立数据模型预测)。 另外上期的送书活动已结束，两位小伙伴也联系我了。 / 01 / 前言 说实话，《Python数据科学》这本书是真的不错。 它不仅提供了大量的专业术语的解释，还有各式各样通俗易懂的案例。 非常适合新手学习，后期一定也给大家争取争取一下送书的福利！ 所以在每篇的前言，我会摘要一些《Python数据科学》的相关内容。 一方面，加深自己对相关知识的印象。 另一方面，也分享给大家，补充一下专业知识。
89950发布于 2021-11-10 - 来自专栏数据山谷
Python数据分析
Python数据分析 工欲善其事，必先利其器“，Python是目前为止做数据分析最常用的编程语言，我们可以站在巨人的肩膀上，高效完成数据分析。 从Python的受欢迎程度上看，一直呈上升趋势 ? 我们现在要使用Python来做数据分析，主要从两个方面来考虑问题： 第一：选择什么开发工具。 第二：学习哪些知识来解决数据分析的问题。 本公众号中有详细的anaconda的安装流程，文章链接如下： anaconda安装流程 大斌哥，公众号：数据山谷Python之Anaconda安装 数据分析使用Python中的知识点和常见的科学计算库也需要给大家列举出来 Python做数据分析主要是解决数据清洗及数据可视化的问题，掌握Python基本的语法规则，会调用第三方模块对于提高数据分析能力非常重要。 而NumPy和Pandas就是数据清洗最好用的工具，Matplotlib和Seaborn是解决数据可视化的工具包。我们可以从实用的角度来学习Python，提高数据分析的能力和效率。
93310发布于 2020-11-12 - 来自专栏R语言数据分析
表达芯片数据分析4——复杂数据及其分析（多分组数据）
多分组数据示例：GSE474练习：GSE106191一般有一个对照组，多个实验组或者两两差异比较。 (patchwork)g[[3]]+g[[4]]ggsave("enrich.png",width = 12,height = 7)多分组数据---title: "GSE474"output: html_documenteditor_options 4.tinyarray的简化操作多分组的数据，get_deg_all仍然可以帮你简化操作，目前是三分组就两两差异分析，四个或五个分组的数据是后面几个组与第一个组差异分析，暂不支持其他的做法和更多的分组。 Group,ids,logFC_cutoff = 0.585,entriz = F)dcp$plotsggplot2::ggsave("deg.png",width = 15,height = 10)图片富集分析富集分析的输入数据是差异基因名字 :4]library(patchwork)g[[3]]+g[[4]]ggplot2::ggsave("enrich.png",width = 12,height = 7)
90450编辑于 2023-10-06 - 来自专栏全栈程序员必看
Python文本情感分析_Python数据分析实战
然后才是如何进行情感分析。 强大的snowNLP 其实就在今天，我发现了snowNLP这个Python的三方库，它可以方便的处理中文文本的内容，它有以下功能： 中文分词 词性标注 情感分析 文本分类 文本转拼音 繁体转简体 提取文本关键词 纵观这么多的功能真是让人眼花缭乱，其实这个题目只需要情感分析这一个功能就够了，情感分析的功能是：你给它一个句子，它给你一个positive值。 setup.py build和python setup.py install，等待完成即可。 就在我满心欢喜的认为这次终于轻松加愉快地完成了任务的时候，positive当即给了我一jio，我测试了几组常见的语句，发现函数返回的positive值和现实差了八万十千里，在一阵慌乱中查阅了资料，发现原本的库训练的数据主要是买卖东西时的评价
2.1K20编辑于 2022-09-23 - 来自专栏PPV课数据科学社区
数据分析&数据挖掘入门知识分享（4）
编者按：本文为 数据分析&数据挖掘入门知识分享（3）的连载，还有一部分待上传，欢迎小伙伴们关注学习，若对您有帮助请分享至朋友圈，让更多人学习！ 以下图片点击横屏观看效果更佳
96250发布于 2018-04-24 Python数据挖掘编程基础4
2.1.2 判断与循环a.判断和循环是所有编程语言的基本命令，Python的判断语句格式如下。 if 条件句1:语句1elif 条件2:语句2else:语句3b.需要特别指出的是，Python一般不使用花括号({}），也没有end语句，可使用缩进对齐作为语句的层次标记。 c.Python中有for循环和while循环两种，如代码清单2-10所示。
20010编辑于 2025-05-09- 来自专栏为学
Python SDK入门（4）—— 记录数据
Python SDK入门（4）—— 记录数据 对于NAO来说，记录下它众多传感器的数据是很容易的。 让我们来看一个简单的例子吧： # -*- UTF-8 -*- """记录下一些传感器的数据，并将它们写入到一个文本中""" # MEMORY_VALUE_NAMES 是我们想要存储的ALMemory的值的列表 import os import sys import time from naoqi import ALProxy def recordData(nao_ip): """记录ALMemory中的数据 但是不要尝试更高的频率去获取数据，这会给NAO的CPU带来很大的负担！
68610发布于 2019-12-17 - 来自专栏阿黎逸阳的代码
Python数据分析—数据更新
在对海量数据进行分析的过程中，可能需要增加行和列，也可能会删除一些行和列。 今天介绍数据分析的第五课，教大家如何在python中对数据框进行一些更新操作。 本文目录 在数据框最后追加一行 在数据框中插入一列 删除数据框中的行 删除数据框中的列 删除满足某种条件的行 注意：本文沿用数据分析第一课【Python数据分析—数据建立】里的数据框date_frame 接着来看下删除第一行和第五行的具体代码： date_frame.drop([0,4]) 得到结果如下： ? .drop([0,4])表示删除索引号为0和4的行，实际代表第一行和第五行。 4 删除数据框中的列 同样可以用drop函数来删除列。 至此，在python中对数据框进行更改操作已介绍完毕，大家可以动手练习一下，思考一下还可不可以对数据框进行别的操作
1.3K20发布于 2020-11-24 - 来自专栏c/c++的学习笔记
python数据分析——大数据伦理风险分析
前言 大数据伦理风险分析在当前数字化快速发展的背景下显得尤为重要。随着大数据技术的广泛应用，企业、政府以及个人都在不断地产生、收集和分析海量数据。 然而，这些数据的利用也带来了诸多伦理风险，如隐私泄露、数据滥用、算法偏见等。因此，对大数据伦理风险进行深入分析，并采取相应的防范措施，对于保障数据安全、维护社会公平正义具有重要意义。 首先，大数据的收集和处理过程中存在着隐私泄露的风险。在未经用户同意的情况下，部分企业和机构可能会收集用户的个人信息，如浏览记录、购物习惯等，进而进行精准营销或数据分析。 一些机构可能会利用手中的大数据资源，对用户进行过度分析或不当利用，如歧视性定价、不公平竞争等。这种滥用数据的行为不仅违反了市场公平竞争的原则，也损害了消费者的权益。 在对大数据多源数据进行综合分析,可以挖掘出更多的个人信息,加剧了个人信息泄露的风险。"匿名化”的可信度? 大数据技技术安全漏洞,导致数据泄露、伪造和失真等问题。
75410编辑于 2024-03-20 - 来自专栏阿黎逸阳的代码
Python数据分析—数据排序
在对海量数据进行分析的过程中，可能需要对数据进行排序操作。 本节教大家如何在python中对数据框进行一些排序操作。 本文目录 总结sort_values函数的用法 按年龄对行进行升序排列 按年龄对行进行降序排列 按年龄升序身高降序排列数据框 对列进行排序 注意：本文沿用数据分析第一课【Python数据分析—数据建立 1 总结sort_values函数的用法 python中默认按行索引号进行排序，如果要自定义数据框的排序，可以用sort_values函数进行重定义排序。 4 按年龄升序身高降序排列数据框 若想按年龄升序身高降序排列数据框，可在python中输入如下语句： date_frame.sort_values(by = ['age','height'], ascending 至此，在python中对数据框进行排序操作已介绍完毕，大家可以动手练习一下，思考一下还可不可以对数据框进行别的操作 ? 。
2.6K20发布于 2020-12-11 - 来自专栏阿黎逸阳的代码
Python数据分析—数据建立
再比如信贷领域，可以通过分析申请人的征信数据，建模计算出申请人逾期的可能性大小，决定是否放贷，从而提高公司资金的使用价值。 在数据分析越来越热门的今天，学会数据分析，就是你升职加薪的重要砝码。 从今天开始，本公众号会出一系列数据分析和建模的免费教程。帮助大家快速入门数据分析，领悟python的魅力。 本文是数据分析的第一课，教大家如何在python中手动建立数据框，这个是数据分析的基础，也是数据测试常用的一个工具。 3 建立以上数据框的python代码 把以上表格用python中的字典表示出来，并用pd.DataFrame函数把该字典转成数据框。 18], 'hegth':[1.78, 1.68, 1.62, 1.73, 175, 160, 1.82, 180] } date_frame = pd.DataFrame(date) 4
94820发布于 2020-11-24 - 来自专栏数据STUDIO
Python数据分析之数据探索分析(EDA)
---- 本期Python数据分析实战将详细介绍日常工作中所常用的数据探索分析方法与技巧，将从数据质量分析和数据特征分析两大方面进行刨析。 数据质量分析 在做数据质量分析之前需要正确理解业务需要，从一定的渠道正确获取适量的数据。 接下来利用Python进行数据分析时，需要根据所获得数据的具体特征，选用合适的数据读取方法和工具，数据获取三大招将帮助读者快速理解并选择合适并适合的方法，便于后续数据探索工作。 数据特征分析 对数据进行质量分析后，通过绘制图表、计算某些特征量等手段进行数据的特征分析。 从五个角度出发，利用统计指标对定量数据进行统计描述。 ，可用于定量数据和定性数据的分析，且有着不同的分析策略。
4.9K60发布于 2021-06-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号