首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏PPV课数据科学社区

    【数据科学】R语言连接数据库

    数据是关系数据库系统中存储的统一化格式。 因此,实施我们需要非常先进和复杂的SQL查询统计计算。 但是R能够轻松地连接到诸如MySql, Oracle, Sql server等多种关系数据库并且可以从它们的记录转为R中的数据帧。 在本教程中,我们将使用 MySQL 作为参考数据库,用于连接到 R 中。 RMySQL 软件包 R有一个名为“RMySQL”它提供了与 MySQL 数据库之间的本地连接的内置软件包。 install.packages("RMySQL") 连接R到MySql 一旦软件包安装,我们创建 R 的连接对象连接到数据库。这需要用户名,密码,数据库名和主机名作为输入。 我们可以把 MySql 数据库这个表删除,通过 DROP TABLE 语句发送到 dbSendQuery(),与之前从表查询数据的方式相同。

    1.8K50发布于 2018-04-23
  • YashanDB数据库与数据科学的应用实例分析

    在现代数据驱动的业务环境中,数据库技术的性能优化和数据管理能力直接影响数据科学项目的效率和成效。如何提升数据库查询速度和并发处理能力,是影响大数据分析、机器学习训练及实时决策的关键问题。 本文以YashanDB数据库为分析对象,深入探讨其体系架构、核心技术以及功能优势,解析其在数据科学领域的应用潜力与实践路径。 存储引擎与存储对象的技术特点存储引擎是保证数据库性能的基础。 结论本文基于YashanDB数据库的体系架构、存储引擎、SQL执行优化、事务机制、高可用体系和安全管理等方面,深度剖析了其技术特点及在数据科学中的应用优势。 建议数据科学项目充分利用YashanDB的技术能力,结合具体业务场景实施索引优化、查询调优、并发控制和安全策略,实现数据驱动的科学决策与创新。

    12310编辑于 2025-07-03
  • YashanDB数据库与数据科学的结合点

    传统数据库在面对日益增长的数据量和复杂的查询时,往往会遇到性能瓶颈和数据一致性问题。这就需要一个高效、灵活且可扩展的数据库解决方案来应对数据科学的需求。 YashanDB作为一款现代化的数据库,结合了高性能和多样化的存储方式,为数据科学提供了良好的支撑环境。 本文旨在深入探讨YashanDB在数据科学中的应用价值和优势,旨在增强读者对YashanDB技术的理解。1. 这一设计显著提升了数据科学工作流中的数据可靠性和查询性能。4. 高性能数据分析功能随着数据规模的不断扩大,数据科学家在进行数据挖掘、机器学习和大数据分析时,往往需要用到高性能的数据库。 YashanDB还支持基于SQL的复杂查询、大数据分析、报表生成等日常的数据操作,提升了数据科学过程中的数据处理能力。5. 安全与审计功能在数据科学过程中,数据的安全性和合规性是至关重要的。

    24610编辑于 2025-09-02
  • 来自专栏AustinDatabases

    数据库的使用是一门综合的科学

    ​最近思索数据库在使用中有什么问题,数据库到底在应用程序设计起到什么作用。 如一个应用只有一个数据库,那维护的成本是多少, 如果一个应用有 N个数据库为了弥补某些数据库本身的缺陷,那维护的成本是多少。 数据库与软件架构的设计,会导致后面程序好用不好用,数据库性能出不出问题,都是前期设计定下的,并且和你的硬件水平,等等都有的关系,光弄懂数据库,或者光弄懂程序架构设计,或许都不是特别难的事情,而要明确这些东西之间的关系 ,如何互相协同,或者互相妥协才是一门科学数据库的使用应该是一门综合的学科,光考虑数据库本身不去了解数据库本身承载的业务, 以及承载数据库的系统软件和硬件,会陷入自己的小圈子。

    36340发布于 2021-01-22
  • 用YashanDB数据库增强业务决策的科学

    数据库系统作为支撑数据存储、管理和分析的基础平台,其性能瓶颈、数据一致性、扩展性等方面的限制,直接影响到决策的科学性和时效性。 本文将从核心技术层面解析YashanDB如何有效增强企业业务决策的科学性,适合数据库管理员、数据分析师及企业IT架构师阅读。 整体SQL处理能力的提升,使复杂的业务分析查询和数据挖掘任务能够在合理时间窗口内完成,提高决策的实时性和科学性。 这种先进的事务管理技术保证了数据库操作的原子性和一致性,为业务系统的稳定性提供了坚实保障。 结论与未来展望YashanDB凭借其多样化、高效稳定的存储架构,灵活的部署方案,先进的SQL优化执行引擎以及完善的事务和安全机制,为企业业务决策提供了科学、可靠的数据支撑基础。

    20810编辑于 2025-09-21
  • 来自专栏AustinDatabases

    数据库的使用是一门综合的科学

    最近思索数据库在使用中有什么问题,数据库到底在应用程序设计起到什么作用。 如一个应用只有一个数据库,那维护的成本是多少, 如果一个应用有 N个数据库为了弥补某些数据库本身的缺陷,那维护的成本是多少。 数据库与软件架构的设计,会导致后面程序好用不好用,数据库性能出不出问题,都是前期设计定下的,并且和你的硬件水平,等等都有的关系,光弄懂数据库,或者光弄懂程序架构设计,或许都不是特别难的事情,而要明确这些东西之间的关系 ,如何互相协同,或者互相妥协才是一门科学数据库的使用应该是一门综合的学科,光考虑数据库本身不去了解数据库本身承载的业务, 以及承载数据库的系统软件和硬件,会陷入自己的小圈子。

    35310发布于 2021-01-28
  • 来自专栏数据科学与人工智能

    【数据科学】数据科学家与数据科学

    数据库和软件工程师,领域专家,策展人和标注专家,图书管理员,档案员等数字数据管理收集者都以可成为数据科学家。 数据科学并不局限于大数据,但是数据量的扩大诚然使得数据科学的地位越发重要。 数据科学的从业者被称为数据科学家。数据科学家通过精深的专业知识在某些科学学科解决复杂的数据问题。 数据科学家是具有极强分析能力和对统计和数学有很深研究的数据工程师。他们能从商业信息等其他复杂且海量的数据库中洞察新趋势。 Monica Rogati, LinkedIn资深数据科学家。 判别分析等) * 定量方法(时间轴分析、概率模型、优化) * 决策分析(多目的决策分析、决策树、影响图、敏感性分析) * 树立竞争优势的分析(通过项目和成功案例学习基本的分析理念) (2) 冬学期 * 数据库入门 (数据模型、数据库设计) * 预测分析(时间轴分析、主成分分析、非参数回归、统计流程控制) * 数据管理(ETL(Extract、Transform、Load)、数据治理、管理责任、元数据) * 优化与启发

    1.4K90发布于 2018-02-26
  • 来自专栏FreeBuf

    走近科学:隐藏在图像数据库中的安全问题

    此外,新技术的应用效果经常难以预测,例如本文介绍的图像数据库——一项越来越受欢迎的数据库科技。本文探索了图像数据库的价值以及调查了其中一些数据库的安全与隐私问题。 太字节级关系型数据库在大型企业集团中已是司空见惯。常用的数据库软件有Oracle、SQL Server等。 非关系型数据库 非关系型数据库(NoSQL = Not Only SQL)意即“不仅仅是SQL”,是一项全新的数据库革命性运动,早期就有人提出,发展至2009年趋势越发高涨。 ) 图形数据库(Graph Database) 图像数据库(Graph Database) 图形数据库是一种非关系型数据库,它应用图形理论存储实体之间的关系信息。 这也适用于许多领域,像是神经科学。 当前维护网络安全的最佳实践通常建议在研究其安全性和隐私性的漏洞时对系统进行快照,以获得证明系统“安全性”的证明。

    1.3K100发布于 2018-02-06
  • 来自专栏数据科学与人工智能

    【数据科学】数据科学入门指南

    数据科学虽然刚刚兴起,却发展迅速。 只要有数据的地方,就需要数据科学团队来分析、挖掘数据。 因而,在各个行业都需要大量的数据科学家。 所以我并不建议从最基础的数学理论开始学习数据科学。 下面的这些建议会告诉你如何高效、快速的入门数据科学 ? 数据科学知识体系图 1. 随着你获取的数据量的增长,你会考虑的数据存取的问题,这个时候你就需要学习数据库方面的知识了。 这种边做边学的模式会带你避开那些冗杂的细节,并且在这个过程中,你会学会如何真正的做数据科学。 3. 数据科学是一座高山,停止学习意味着你永远无法到达顶点。 但是,养成这些良好的习惯,你会很自然的成为以为数据科学专家。 掌握正确的方法和习惯,任何人都可以掌握这门科学

    1K90发布于 2018-02-26
  • 来自专栏数据科学与人工智能

    【数据科学】如何学习数据科学

    研究小组有5名成员,但最后只有2个人选择去更深入地研究这个领域(数据科学并不适合每一个人)。 解决一些好玩的小问题:好奇心是数据科学的关键。如果你对国家的经济问题,犯罪统计,体育成绩等感兴趣的话,去收集数据并开始回答你的问题吧。 有很多的培训材料可以在网上找到: 统计202 加州理工学院的数据科学课程 Coursera:数据科学,机器学习,数据分析,数据分析计算 加州大学伯克利分校 - 数据科学 骑士新闻中心的课程:资讯图像和数据可视化 关注业内领袖:网络中有很多厉害的数据科学家,关注这些人可以得到很好的启发。 3、有用的数据科学读物 数据挖掘导论 果壳中的R 数据之魅 可视化之美 查看更多的数据科学的书籍:O'Reilly,Manning 4、对我感觉没多大用的东西 学习多个统计工具:一年前,我开始有一些

    987100发布于 2018-02-27
  • 来自专栏数据科学与人工智能

    【数据科学】什么是数据科学家与数据科学

    数据库和软件工程师,领域专家,策展人和标注专家,图书管理员,档案员等数字数据管理收集者都以可成为数据科学家。 数据科学并不局限于大数据,但是数据量的扩大诚然使得数据科学的地位越发重要。 数据科学的从业者被称为数据科学家。数据科学家通过精深的专业知识在某些科学学科解决复杂的数据问题。 数据科学家是具有极强分析能力和对统计和数学有很深研究的数据工程师。他们能从商业信息等其他复杂且海量的数据库中洞察新趋势。 Monica Rogati, LinkedIn资深数据科学家。 判别分析等) * 定量方法(时间轴分析、概率模型、优化) * 决策分析(多目的决策分析、决策树、影响图、敏感性分析) * 树立竞争优势的分析(通过项目和成功案例学习基本的分析理念) (2) 冬学期 * 数据库入门 (数据模型、数据库设计) * 预测分析(时间轴分析、主成分分析、非参数回归、统计流程控制) * 数据管理(ETL(Extract、Transform、Load)、数据治理、管理责任、元数据) * 优化与启发

    1.9K60发布于 2018-02-27
  • 来自专栏数据科学与人工智能

    【数据科学】数据科学可以做什么

    机器学习是数据科学的发动机。每种机器学习方法(也称为算法)获取数据,反复咀嚼,输出结果。机器学习算法负责数据科学里最难以解释又最有趣的部分。数学的魔法在此发生。 许多数据科学问题看起来是这种形式,或者可以被组织成这种形式。这是最简单也最常提到的数据科学问题。几个典型的例子: 这名顾客会不会继续订阅? 这图片上是一只猫还是一只狗? 这名顾客会不会点击顶部链接? 无监督学习和增强学习的算法家族则有完全不同的数据科学问题。 数据是如何构成? 有关数据如何构成的问题属于无监督学习。有许多技术试图提炼数据的结构。

    1.4K100发布于 2018-02-27
  • 来自专栏数据科学与人工智能

    【数据科学】数据科学的教育体系

    (2)计算机科学的基本知识,如计算机语言、数据库、数据结构、可视化技术等。 (3)算法方面的基本知识,包括数值代数、函数逼近、优化、蒙特卡洛方法、网络算法、计算几何等等。 结语 大数据给科学和教育事业的发展提供了前所未有的机会,同时也提出了前所未有的挑战。它将对现有的科研和教学体制带来大幅度的变革,对科学与产业之间的关系、科学与社会之间的关系带来大幅度的变革。 首先是数据科学将成为科研体系中的重要部分,并逐渐达到与包括物理、化学、生命科学等学科在内的自然科学分庭抗礼的地位。未来的科研和教育体制应该由两条主线组成:一条是以基本原理为主线。 现在的物理学、化学、机械工程等学科,以及生命科学、材料科学、天体物理、地球科学等学科的大部分都是沿着这样一条主线展开的。另一条是以数据为主线。 数据科学的兴起,将极大地推动许多社会科学学科朝着量化的方向发展,使他们逐步由经验性的模式转变成科学性的模式。

    83170发布于 2018-02-27
  • 来自专栏用户画像

    数据科学

    https://blog.csdn.net/jxq0816/article/details/82823331 数据科学:如何从实际的生活中提取数据,然后利用计算机的运算能力和模型算法从这些数据中找出一些有价值的内容 1、数据科学在工程上的挑战可以大致分为3类:特征提取、矩阵运算和分布式机器学习。 (1)一个建模项目的成功很大程度上依赖于建模前期的特征提取。它包含数据清洗、数据整合、变量归一化等。 2、模型搭建的挑战 数据科学对模型搭建的要求也可以总结为3点:模型预测效果好、模型参数是稳定且“正确”的、模型结果容易解释。 (1)模型的预测效果好,这是数据科学成功的关键。 (3)数据科学家将模型搭建好了,并不是一个数据科学项目的终点。为了充分发挥数据的价值,需要将模型结果应用到实际的生产中,参与这个过程的不仅有懂模型的数据科学家,还有更多非技术的业务人员。

    66320发布于 2018-09-29
  • 来自专栏数据科学与人工智能

    【数据科学】教你成为数据科学“大咖”!

    以往高等学府才能接触到的计算机科学和数据科学,也随着这次风潮来到了公众面前。OSDSM,即数据科学开源课程,能够从理论和技术两方面,帮助人们学习有效利用数据的核心技能。 二、学习数据科学的动力 现在数据科学家岗位面临极大的缺口。所谓数据科学家,就是同时掌握统计学 知识与程序设计技巧,能够服务大数据开发的技术专家。成为一名数据科学家,就有了大数据时代互联网行业的通行证。 数据科学的平台和工具正通过开源得到了极大丰富,大数据时代的数据科学家也通过开源不断增加。 此外,还有另一项趋势可以缓解现在的人才缺口:数据科学民主化。 四、从这里开始:数据科学的课程表 这些数据科学的开源课程,从数学、编程等几个方面塑造数据科学“大咖”。这不是为了重温大学课程,而是以问题导向准备知识。 数据库部分,推荐斯坦福大学的在线课程《Introduction to Databases》,SQLSchool Mode Analytics 网站的教程或SQL Tutorials SQLZO网站的教程

    1.4K40发布于 2018-02-28
  • 来自专栏探物及理

    科学写作

    1|33. Method 理论:推导过程 实证:调查方法,数据处理 工程应用:理论->实践 提供足够的、准确的,技术细节 包括:架设、数学推导、验证、实验设备

    88920发布于 2020-08-25
  • 来自专栏数据科学学习手札

    (数据科学学习手札51)用pymysql来操控MySQL数据库

    一、简介   pymysql是Python中专门用来操控MySQL数据库的模块,通过pymysql,可以编写简短的脚本来方便快捷地操控MySQL数据库,本文就将针对pymysql的基本功能进行介绍; 二 、操控数据库 2.1 连接数据库   利用pymysql.connect(host,user,password,port,db)来实现对已知MySQL数据库的连接,其中各参数分别对应着目标数据库的各项属性 ,db用于指定要连接的database的名称,下面是一个示例:   要连接的数据库: import pymysql '''连接数据库''' try: print('-'*200) print : '''提交结果''' db.commit() 在navicat中再次查询得到想要的结果: 2.3 查询数据   查询功能是数据库中核心功能之一,查询取数也是数据分析人员在数据库上最常用的操作,在pymysql ,与上面类似,只是涉及到更改数据库中数据时,不要忘记commit(); 2.4 关闭数据库   在完成需要的操作后,不要忘记断开与数据库间的连接: db.close()   以上就是本文的全部内容,如有笔误

    71040发布于 2018-10-26
  • 来自专栏数据科学与人工智能

    【数据科学】数据科学中的 Spark 入门

    Apache Spark 为数据科学提供了许多有价值的工具。 随着 Apache Spark 1.3.1 技术预览版的发布,强大的 Data Frame API 也可以在 HDP 上使用数据科学家使用数据挖掘和可视化来帮助构造问题架构并对学习进行微调。 我们将通过一系列的博客文章来描述如何结合使用 Zeppelin、Spark SQL 和 MLLib 来使探索性数据科学简单化。 总结 数据科学家们使用许多种工具进行工作。Zeppelin 为他们提供了一个新工具来构建出更好的问题。 在下一篇文章中,我们将深入讨论一个具体的数据科学问题,并展示如何使用 Zeppelin、Spark SQL 和 MLLib 来创建一个使用 HDP、Spark 和 Zeppelin 的数据科学项目。

    1.9K60发布于 2018-02-26
  • 来自专栏PPV课数据科学社区

    【推荐】数据科学家与数据科学

    数据库和软件工程师,领域专家,策展人和标注专家,图书管理员,档案员等数字数据管理收集者都以可成为数据科学家。 数据科学并不局限于大数据,但是数据量的扩大诚然使得数据科学的地位越发重要。 数据科学的从业者被称为数据科学家。数据科学家通过精深的专业知识在某些科学学科解决复杂的数据问题。 数据科学家是具有极强分析能力和对统计和数学有很深研究的数据工程师。他们能从商业信息等其他复杂且海量的数据库中洞察新趋势。 · Monica Rogati, LinkedIn资深数据科学家。 判别分析等) * 定量方法(时间轴分析、概率模型、优化) * 决策分析(多目的决策分析、决策树、影响图、敏感性分析) * 树立竞争优势的分析(通过项目和成功案例学习基本的分析理念) (2) 冬学期 * 数据库入门 (数据模型、数据库设计) * 预测分析(时间轴分析、主成分分析、非参数回归、统计流程控制) * 数据管理(ETL(Extract、Transform、Load)、数据治理、管理责任、元数据) * 优化与启发

    93160发布于 2018-04-20
  • 来自专栏数据科学与人工智能

    【数据科学】数据科学的整合与细分

    自从大数据这个词出来以后,数据已经成为一个非常明确的科学领域。在这当中很少有人详细地探讨数据科学的结构和它面临的问题,包括我们行业面临的问题。 数据科学有三个非常重要的层次:数据的获取、数据的描述和数据的分析,这三件事是不同的,不要把它混淆了。 1.数据的获取 ? 以前数据的稀缺导致行业内出现非常大的非良性循环。 ? ? 现在数据科学有七大危险趋势: ? ? ? ? ? ? ? 3.数据的分析 以上七个危险趋势将直接导致数据分析中的危险,什么是数据分析?我先从最简单的案例说起。 案例一:简单表格的危险 ? ?

    1.1K80发布于 2018-02-27
领券