首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏锦小年的博客

    Python数据分析(9)-numpy文件读写

    numpy提供两种格式的文件读写,分别是npy和txt,前者是numpy自有的一种文件格式,后者是txt格式支持。对应函数:

    1.3K20发布于 2019-05-26
  • 来自专栏python3

    我的Python分析成长之路9

    pandas入门 统计分析数据分析的重要组成部分,它几乎贯穿整个数据分析的流程。运用统计方法,将定量与定性结合,进行的研究活动叫做统计分析。而pandas是统计分析的重要库。 1.pandas数据结构     在pandas中,有两个常用的数据结构:Series和Dataframe  为大多数应用提供了一个有效、易用的基础。      axis:表示要操作的轴,inplace:表示操作是否对原数据生效 2.描述性统计分析     描述性统计是用来概括、表述事物的整体状况,以及事物间关联、类属关系的统计方法。 通过几个统计值可简捷地表达地表示一组数据的集中趋势和离散程度。      )) View Code 3.数据分析中的分组聚合、转化操作     1.使用groupby方法分组     DataFrame.groupby(by=None,axis=0,level=None

    3.1K11发布于 2020-02-10
  • 来自专栏Corley的开发笔记

    商业数据分析从入门到入职(9Python网络数据获取

    、R、python等任一种专业数据分析工具,有Hadoop、Hive、Spark等使用经验者优先。 query=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90&page=2 parseing page 「全国数据分析招聘」-2020年全国数据分析最新人才招聘信息 - BOSS query=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90&page=3 parseing page 「全国数据分析招聘」-2020年全国数据分析最新人才招聘信息 - BOSS query=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90&page=4 parseing page 「全国数据分析招聘」-2020年全国数据分析最新人才招聘信息 - BOSS /R等),提取、加工相关的业务数据2、应用Excel/Python以及一些可视化工具进行数据可视化的相关分析3、撰写分析报告,给出相关的分析结论。

    3.6K30发布于 2020-10-09
  • 来自专栏数据科学(冷冻工厂)

    Python网络数据抓取(9):XPath

    因此,你可以自由地命名标签,而且 XML 现在通常用于在不同的网络服务之间传输数据,这是 XML 的一个主要应用场景。 如果用树状图来表示,我们可以看到:电影数据库是一个根标签,它下面可以挂载多部电影。每部电影作为一个节点,进一步包含了如标题、年份等信息。

    83210编辑于 2024-06-18
  • 来自专栏生信小驿站

    R语言meta分析9)连续数据的meta分析

    R语言meta分析(6)一文解决诊断性meta分析(第一章) R语言meta分析(7)诊断性meta分析(meta4diag包) R语言meta分析(8)基于生存数据的meta分析 R语言meta分析9)连续数据的meta分析 本文将介绍用R软件的meta数据包介绍连续数据资料的Meta分析。 meta数据包提供分析连续数据的命令是: metacont(),能够计算连续型资料的固定效应值或随机效应值,命令提供了SMD和MD两种方法。 .csv',header=T) colnames(data) library(ggplot2) library(meta) str(data) data.frame': 19 obs. of 9 variables: $ study : Factor w/ 19 levels "GSE102286","GSE114711",..: 3 4 5 6 7 8 9 10 11 12

    6.3K22发布于 2020-06-12
  • 来自专栏c/c++的学习笔记

    python数据分析——Python数据分析模块

    Python数据分析模块 前言 在当今数字化时代,数据分析已经变得不可或缺。而Python,作为一种通用编程语言,其丰富的库和强大的功能使得它成为数据分析领域的佼佼者。 Python数据分析模块,正是这一领域的核心组成部分,为数据科学家和工程师提供了强大的武器库。 Python数据分析模块的核心库主要包括NumPy、Pandas和Matplotlib。 在医疗研究中,Python数据分析模块可以帮助我们分析病人的医疗数据、基因数据等,从而推动医学的进步。 无论是数据科学家、工程师还是其他领域的专业人士,都可以通过学习和掌握Python数据分析模块来提高工作效率、提升数据分析能力。随着大数据时代的到来,Python数据分析模块的应用前景将更加广阔。 二、Pandas模块 Pandas是Python环境下非常重要的数据分析库。当使用Python进行数据分析时,通常都指的是使用Pandas库作为分析工具对数据进行处理和分析

    1.3K10编辑于 2024-03-20
  • 来自专栏生信宝典

    生信分析Python实战练习 9 | 视频27

    生信专用简明 Python 文字和视频教程 源码在:https://github.com/Tong-Chen/Bioinfo_course_python Reference 一些练习题 给定FASTA int转换为整数,float转换为浮点数 用到的知识点 写程序 transferMultipleColumToMatrix.py 将文件(multipleColExpr.txt)中基因在多个组织中的表达数据转换为矩阵形式 (2分) reverse list(seq) 用到的知识点 写程序 collapsemiRNAreads.py转换smRNA-Seq的测序数据

    33141编辑于 2023-09-22
  • 来自专栏人生代码

    利用Python进行数据分析(9) pandas基础: 汇总统计和计算

    利用Python进行数据分析(9) pandas基础: 汇总统计和计算 pandas 对象拥有一些常用的数学和统计方法。 方法传入 axis=1 指定为横向汇总,即行小计: idxmax() 获取最大值对应的索引: 还有一种汇总是累计型的,cumsum(),比较它和 sum() 的区别: unique() 方法用于返回数据里的唯一值

    94730发布于 2019-10-15
  • 来自专栏张俊红

    9种最常用数据分析方法,解决90%分析难题

    分享九个数据分析的方法。”  一、关联分析  关联分析,也叫作“购物篮分析”,是一种通过研究用户消费数据,将不同商品之间进行关联,并挖掘二者之间联系的分析方法。 二、对比分析  对比法就是用两组或两组以上的数据进行比较。对比法是一种挖掘数据规律的思维,能够和任何技巧结合,一次合格的分析一定要用到N次对比。 三、聚类分析  聚类分析属于探索性的数据分析方法。 而在数据分析中,这句话可以理解为20%的数据产生了80%的效果,需要围绕找到的20%有效数据进行挖掘,使之产生更大的效果。 六、象限分析  象限法是通过对两种及以上维度的划分,运用坐标的方式,人工对数据进行划分,从而传递数据价值,将之转变为策略。

    1.1K31编辑于 2022-09-22
  • 来自专栏单细胞天地

    OSCA单细胞数据分析笔记9—Clustering

    分群是我们分析scRNA-seq的一个工具,是真正开始结合生物学背景知识的开始。我们可以灵活采用不同的算法、分辨率获得我们“满意”的分群结果。 二、基于图聚类的分群 ? 2.2 scran包分群实操 示例数据 sce.pbmc #来源参考原教程 ? 虽然进行生物水平的可解释性不高,但可实现从所有细胞中,抽取k个有代表性表达情况的细胞的目的,用于某些特定的分析场景。 例如 clusterRows {bluster}提供一种联合图聚类与k-均值聚类的方法,可明显的优势是相对于单纯图聚类大大提高了分析速度。 针对大的scRNA-seq数据集,推荐使用approxSilhouette()函数采用近似的方法计算所有细胞的轮廓系数。

    2.8K21发布于 2021-07-02
  • 来自专栏啄木鸟软件测试

    机器学习测试笔记(9)——数据分析

    1数据分析步骤 2数据分析方法 3数据分析工具 4机器学习分类 监督学习:有标签 无监督学习:没标签 5 数据分析库 6训练方式与预测方式 7机器学习三要素 7.1模型 7.2策略 7.2.1目标函数 目标函数:f(x) 7.2.2损失函数 目标函数:f(x) Y:真实值 L(Y,f(x)]) =(Y-f(x))2 损失函数值越小,效果越好 7.2.3欠拟合、过拟合 训练数据集上 测试数据集上 拟合

    51630发布于 2021-01-04
  • 来自专栏Python in AI-IOT

    Python数据分析---性能分析

    从上亿条的工业物联网数据中快速检索所需要的数据进行算法分析以及可视化,需要大量的科学运算,为了保证整个过程在用户可以忍受的等待时间内(10s),需要在代码中找到影响性能瓶颈的代码或函数,然后对其优化 下面介绍自己日常经常使用的性能分析手段: 一般上我写代码没有使用Pycharm等高级IDE,而是在Python自带的IDE中编写。 image.png 利用jupyter的%time,%timeit image.png image.png image.png image.png 利用%run -p和%run -t来分析性能和执行时间 需要文件本身是从上到下执行的语句,如果是模块,为其编写main函数 image.png image.png image.png 使用python -m cProfile youcode.py 来对代码进行性能分析,也可以用python -m cProfile youcode.py -o youcode.prof将分析结果保存在文件中 image.png

    1.1K20发布于 2020-05-13
  • 来自专栏好奇心Log

    Python数据分析 | 相关分析

    目前手上有两本书,一本《利用Python进行数据分析》,一本《Python数据科学》。 对于学习什么东西,都有它的「道」和「术」。「道」即原理,「术」即技巧。 它并不会真正的教你如何去分析数据,适合查阅。 而后者呢,更注重数据分析的原理,教我们如何去剖析数据,得到我们想要的结果。 所以接下来会以后者作为学习的方向,不能仅仅停留在描述性数据分析上(数据可视化)。 更应该多花时间在预测性数据分析上(建立数据模型预测)。 另外上期的送书活动已结束,两位小伙伴也联系我了。 / 01 / 前言 说实话,《Python数据科学》这本书是真的不错。 它不仅提供了大量的专业术语的解释,还有各式各样通俗易懂的案例。 非常适合新手学习,后期一定也给大家争取争取一下送书的福利! 所以在每篇的前言,我会摘要一些《Python数据科学》的相关内容。 一方面,加深自己对相关知识的印象。 另一方面,也分享给大家,补充一下专业知识。

    89950发布于 2021-11-10
  • 来自专栏数据山谷

    Python数据分析

    Python数据分析 工欲善其事,必先利其器“,Python是目前为止做数据分析最常用的编程语言,我们可以站在巨人的肩膀上,高效完成数据分析。 从Python的受欢迎程度上看,一直呈上升趋势 ? 我们现在要使用Python来做数据分析,主要从两个方面来考虑问题: 第一:选择什么开发工具。 第二:学习哪些知识来解决数据分析的问题。 本公众号中有详细的anaconda的安装流程,文章链接如下: anaconda安装流程 大斌哥,公众号:数据山谷Python之Anaconda安装 数据分析使用Python中的知识点和常见的科学计算库也需要给大家列举出来 Python数据分析主要是解决数据清洗及数据可视化的问题,掌握Python基本的语法规则,会调用第三方模块对于提高数据分析能力非常重要。 而NumPy和Pandas就是数据清洗最好用的工具,Matplotlib和Seaborn是解决数据可视化的工具包。我们可以从实用的角度来学习Python,提高数据分析的能力和效率。

    93310发布于 2020-11-12
  • 来自专栏全栈程序员必看

    Python文本情感分析_Python数据分析实战

    然后才是如何进行情感分析。 强大的snowNLP 其实就在今天,我发现了snowNLP这个Python的三方库,它可以方便的处理中文文本的内容,它有以下功能: 中文分词 词性标注 情感分析 文本分类 文本转拼音 繁体转简体 提取文本关键词 纵观这么多的功能真是让人眼花缭乱,其实这个题目只需要情感分析这一个功能就够了,情感分析的功能是:你给它一个句子,它给你一个positive值。 setup.py build和python setup.py install,等待完成即可。 就在我满心欢喜的认为这次终于轻松加愉快地完成了任务的时候,positive当即给了我一jio,我测试了几组常见的语句,发现函数返回的positive值和现实差了八万十千里,在一阵慌乱中查阅了资料,发现原本的库训练的数据主要是买卖东西时的评价

    2.1K20编辑于 2022-09-23
  • 来自专栏Java架构师必看

    spring源码分析9

    spring源码分析9 强烈推介IDEA2020.2破解激活,IntelliJ

    47420发布于 2021-04-13
  • 来自专栏python知识

    python练习9

    1.程序分析:用i控制行,j来控制列,根据i+j的和的变化来控制输出黑方格,还是白方格。

    54320发布于 2021-05-24
  • 来自专栏学习笔记ol

    框架分析9)-Hibernate

    框架分析9)-Hibernate 主要对目前市面上常见的框架进行分析和总结,希望有兴趣的小伙伴们可以看一下,会持续更新的。希望各位可以监督我,我们一起学习进步。 Hibernate Hibernate是一个开源的Java持久化框架,它提供了一种将Java对象映射到数据库表的方法,使得开发人员可以使用面向对象的方式来操作数据库。 数据库连接和事务管理 Hibernate提供了连接池管理和事务管理的功能,开发人员可以通过配置文件或者代码来配置数据库连接和事务管理,从而简化了数据库操作的过程。 这样可以提高系统的性能,避免不必要的数据库访问。 事务管理 Hibernate提供了事务管理的功能,可以保证对数据库的操作是原子性、一致性、隔离性和持久性。 这大大简化了数据库操作的过程,提高了开发效率。 跨数据库平台 Hibernate可以在不同的数据库平台上运行,它提供了数据库无关性的特性。

    55820编辑于 2023-10-11
  • 来自专栏阿黎逸阳的代码

    Python数据分析数据更新

    在对海量数据进行分析的过程中,可能需要增加行和列,也可能会删除一些行和列。 今天介绍数据分析的第五课,教大家如何在python中对数据框进行一些更新操作。 本文目录 在数据框最后追加一行 在数据框中插入一列 删除数据框中的行 删除数据框中的列 删除满足某种条件的行 注意:本文沿用数据分析第一课【Python数据分析数据建立】里的数据框date_frame 比如我想在数据框的第一列插入新的列,可以在python中运行如下语句: date_frame.insert(0, 'calss', ['class1','class1','class1','class1 5 删除满足某种条件的行 假设要删除所有年龄大于18岁的记录,可以在python中输入如下语句: date_frame.drop(index = (date_frame.loc[(date_frame.age 至此,在python中对数据框进行更改操作已介绍完毕,大家可以动手练习一下,思考一下还可不可以对数据框进行别的操作

    1.3K20发布于 2020-11-24
  • 来自专栏c/c++的学习笔记

    python数据分析——大数据伦理风险分析

    前言 大数据伦理风险分析在当前数字化快速发展的背景下显得尤为重要。随着大数据技术的广泛应用,企业、政府以及个人都在不断地产生、收集和分析海量数据。 然而,这些数据的利用也带来了诸多伦理风险,如隐私泄露、数据滥用、算法偏见等。因此,对大数据伦理风险进行深入分析,并采取相应的防范措施,对于保障数据安全、维护社会公平正义具有重要意义。 首先,大数据的收集和处理过程中存在着隐私泄露的风险。在未经用户同意的情况下,部分企业和机构可能会收集用户的个人信息,如浏览记录、购物习惯等,进而进行精准营销或数据分析。 一些机构可能会利用手中的大数据资源,对用户进行过度分析或不当利用,如歧视性定价、不公平竞争等。这种滥用数据的行为不仅违反了市场公平竞争的原则,也损害了消费者的权益。 在对大数据多源数据进行综合分析,可以挖掘出更多的个人信息,加剧了个人信息泄露的风险。"匿名化”的可信度? 大数据技技术安全漏洞,导致数据泄露、伪造和失真等问题。

    75410编辑于 2024-03-20
领券