- 综合排序
- 最热优先
- 最新优先
- 来自专栏全栈程序员必看
数据同步工具
公司要搞数据平台，首当其冲的是把旧库的数据导入到新库中，原本各种数据库大部分都提供了导入导出的工具，但是数据存储到各个地方，mongdb,hbase,mysql,oracle等各种各样的不同数据库，同步起来头都大了 因此最近使用了一些数据同步工具，记录下来： 离线导入导出 DataX 阿里的Datax是比较优秀的产品，基于python，提供各种数据村塾的读写插件，多线程执行，使用起来也很简单，定义好配置json文件执行脚本就可以了 在数据库的支持的丰富性上不如DataX，但是如果你用hadoop，用sqoop是更好的选择，因为做Apache的顶级项目，他背后的支持远远比阿里一家公司靠谱的多 Sqoop(发音：skup)是一款开源的工具 Kettle Kettle作为传统ETL工具，目前也都已经有了nosql数据库的支持，而且kettle还有图形界面可以用，使用起来简单多了。 Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。
3.5K20编辑于 2022-09-13 - 来自专栏idba
Redis 数据迁移工具
一 简介 Redis Input/Output Tools (RIOT) 工具是一款支持 Redis 和文件，数据库之间进行数据同步的工具，支持全量和增量同步。 RIOT 工具的增量功能是基于 Redis 的键空间消息提醒（keyspace notification）功能，通过监听 源数据库的键值数据变化事件并解析该事件为对应的命令动作，在目标端执行该命令，以便达到增量迁移 /riot --help 2.3 迁移命令 RIOT 工具支持 Redis 到 Redis ，文件和 Redis， 数据库和 Redis 之间进行数据同步迁移，本文只基于 Redis 之间的数据迁移功能 四 小结 RIOT 工具为二进制包，唯一依赖安装机器需要安装 java-1.8.0 软件，总体安装实施门槛非常低。 RIOT 工具支持作为从库实时同步数据，迁移速度还是非常快的，现有的测试环境中迁移速度可达 3w/s ，具体涉及到客户的环境，需要注意出口带宽，避免带宽比较小，导致迁移延迟。
2.1K21编辑于 2023-09-04 - 来自专栏Linux云运维
Rsync数据备份工具
Rsync数据备份工具 1、Rsync基本概述 rsync是一款开源的备份工具，可以在不同主机之间进行同步（windows和Linux之间 Mac和 Linux Linux和Linux），可实现全量备份与增量备份 增量备份 基于上一次备份,新增部分的数据备份 示例： 假设客户端上有file1 file2 file3文件，服务端上有file1文件，现要将客户端上的数据备份至服务端 完全备份，将客户端所有的数据内容 (上传) 所有主机推送本地数据至Rsync备份服务器，这样会导致数据同步缓慢(适合少量数据备份) 2.2 数据拉取（下载） rsync备份服务端拉取所有主机上的数据，这样操作会导致备份服务器压力比较大 # 模块的描述信息 path = /backup # 数据存放目录 # 3.创建用户以及数据存放目录 [root@server ~]# useradd -r -M - Rsync备份服务器 客户端只保留最近七天的备份数据，避免浪费磁盘空间 服务端需求 服务端部署rsync服务，用于接收用户的备份数据 服务端每天校验客户端推送过来的数据是否完整，并将结果以邮件的方式发送给管理员
1.5K10编辑于 2022-09-28 - 来自专栏又见苍岚
Rsync 数据同步工具
Rsync 是一款开源的，快速的，多功能的，可实现全量及增量（差异化备份）的本地或远程数据同步备份的优秀工具。本文记录相关内容。 与其他文件传输工具（如 FTP 或 scp）不同，rsync 的最大特点是会检查发送方和接收方已有的文件，仅传输有变动的部分（默认规则是文件大小或修改时间有变动）。 它也可以当作文件复制工具，替代cp和mv命令。 可以实现增量同步，即只同步发生变化的数据，因此数据传输的效率很高，tar -N. 工具安装 # Debian sudo apt-get install rsync # Red Hat sudo yum install rsync 注意: 传输的双方都必须安装 rsync。
3.8K30编辑于 2022-08-06 - 来自专栏大数据与微服务架构
数据迁移工具Sqoop
Sqoop 是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，它是Hadoop环境下连接关系数据库与Hadoop存储系统的桥梁，支持多种关系型数据源和Hive、HDFS、Hbase的相互导入 2、可以自动地完成数据类型映射与转换。导入的数据是有类型的，它可以自动根据数据库中的类型转换到Hadoop中，当然也可以自定义他们的映射关系。 Sqoop主要通过jdbc连接关系型数据库，理论上只有关系型数据库支持JDBC都可以使用Sqoop与HDFS进行数据交互。 Map任务，并行地从HDFS中读取数据文件，将这个数据复制到数据库中。 Sqoop不仅可以用于关系型数据库与HDFS文件系统之间进行数据转换，也可以将数据从关系型数据库传输至Hive或Hbase，而对于数据从Hive或者Hbase 传输到关系型数据库来说，则可以从Hive或者
3.2K20发布于 2020-04-11 - 来自专栏OY_学习记录
Canal数据同步工具
一、Canal介绍 1、应用场景 Canal就是一个很好的数据库同步工具。canal是阿里巴巴旗下的一款开源项目，纯Java开发。 基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL。 表示该功能已开启 20210406172241.png （3）在mysql里面添加以下的相关用户和权限 （参考） 判断是否需要配置，先检查一下的MySQL是否支持远程连接，测试很容易可以使用第三方工具 =guli.member 注： mysql 数据解析关注的表，Perl正则表达式. ： 虚拟机数据库： 20210406203916.png window本地数据库： image.png 以上效果，则表示测试成功！！！
2.3K20编辑于 2022-03-18 数据展现工具对比
开源数据展现工具主要分为两类：一类是给业务人员用的BI平台（拖拽式报表），另一类是给开发者用的可视化库（代码嵌入）。结合你所在的上海技术环境，我为你梳理了目前主流工具的选型对比。 一、核心选型速览工具名称类型核心标签上手难度适用场景ApacheSupersetBI平台企业级、功能最强、支持大数据中高（需SQL）数据团队、替代Tableau、复杂分析MetabaseBI平台极简 ，首选这类工具。 劣势：更像一个“可视化查询工具”，而非完整的BI平台，仪表盘功能相对较弱。 看数据规模：TB级数据建议Superset+大数据引擎（如ClickHouse）；GB级数据Metabase足够。
18510编辑于 2026-04-30- 来自专栏cwl_Java
Java工具集-数据库工具类
import java.util.List; import java.util.Properties; /** * @program: simple_tools * @description: 数据库工具类 ChenWenLong * @create: 2019-12-31 10:29 **/ public class DataBaseUtils { /** * 功能描述: * 〈获取数据库连接 return DriverManager.getConnection(db.getUrl(),props); } /** * 功能描述: * 〈获取数据库列表 31 */ public static List<String> getSchemas(DataBase db) throws Exception { //1.获取元数据 = getConnection(db); DatabaseMetaData metaData = connection.getMetaData(); //2.获取所有数据库列表
1.3K20发布于 2020-02-11 - 来自专栏好奇心Log
工具推荐｜MATLAB气候数据工具箱
Climate Data Tools 是面向 MATLAB 用户的气候数据工具箱，提供了大量的函数，包括气候指数计算、描述性统计、空间模式、时间序列、不确定性量化、绘图函数等，详细的分类可以参考下图或前往官方网站查看 mltbx安装步骤 关于工具包中的函数说明可以前往官方文档进行查看（扫描前面的二维码），或者在命令窗口输入 cdt 进行查看。
1.1K10发布于 2021-03-25 - 来自专栏气象杂货铺
工具推荐｜MATLAB气候数据工具箱
Climate Data Tools 是面向 MATLAB 用户的气候数据工具箱，提供了大量的函数，包括气候指数计算、描述性统计、空间模式、时间序列、不确定性量化、绘图函数等，详细的分类可以参考下图或前往官方网站查看 mltbx安装步骤 关于工具包中的函数说明可以前往官方文档进行查看（扫描前面的二维码），或者在命令窗口输入 cdt 进行查看。 扫描二维码查看帮助 扫描二维码获取安装包 end
1.2K10编辑于 2022-09-23 - 来自专栏PPV课数据科学社区
【数据工具】对比Pig、Hive和SQL，浅谈大数据工具差异
而用户在进行数据分析的时候使用这些工具可以避免Java编码，但在使用之前很重要的一点是了解工具之间的区别以便在不同的用例中使用最优化的工具。 在现在的大数据时代，开发人员有不少的查询工具可供选择。 只有在处理速度和使用门槛上下功夫大数据分析才能得到更广泛的使用。 谈到大数据，Apache Pig、Apache Hive和SQL是目前比较主流的工具，三者在合适的情况下都能体现出自己的优势。 通过本文，笔者希望能够为大家提供一些选择工具和语言的技巧。在此之前我们也会对三者做些简要介绍。 SQL SQL陪伴程序员们已经几十年了，几乎已经成为了提取数据的标准方法。 ２．什么时候用Apache Hive 有时我们需要收集一段时间的数据来进行分析，而Hive就是分析历史数据绝佳的工具。要注意的是数据必须有一定的结构才能充分发挥Hive的功能。 显然不同的数据没有一个所有情况都适用的查询工具，根据自己的需求来选择不同工具才是正确的方法。
1K70发布于 2018-04-23 - 来自专栏网罗开发
数据分析工具篇——数据读写
本文基于数据分析的基本流程，整理了SQL、pandas、pyspark、EXCEL（本文暂不涉及数据建模、分类模拟等算法思路）在分析流程中的组合应用，希望对大家有所助益。 1、数据导入 将数据导入到python的环境中相对比较简单，只是工作中些许细节，如果知道可以事半功倍： 1.1、导入Excel/csv文件： # 个人公众号：livandata import pandas if not lines: break 读取数据主要有两个： 1） r：覆盖式读取； 2） r+：追加式读取； 1.3、读入mysql中的数据： import sqlalchemy ，例如：txt、csv、json以及sql数据，可惜的是pyspark没有提供读取excel的api，如果有excel的数据，需要用pandas读取，然后转化成sparkDataFrame使用。 2、分批读取数据： 遇到数据量较大时，我们往往需要分批读取数据，等第一批数据处理完了，再读入下一批数据，python也提供了对应的方法，思路是可行的，但是使用过程中会遇到一些意想不到的问题，例如：数据多批导入过程中
4.2K30发布于 2021-04-07 - 来自专栏.net core新时代
数据字典生成工具之旅(2)：数据字典生成工具及文档工具作用介绍
回到顶部 工具全景图 1.数据字典生成工具 第一步：在EXECL，PowerDesign，Word中设计好表结构（特别注意：EXECL，WORD表的格式要固定成和模版一致才能正确生成 重新使用工具，切换到修改模式生成（特别提醒：修改模式是需要连接数据库的，需要进行对比找出新增的字段）。可以看到找出了刚才新增的Grade字段了，现在在数据库里面执行。 首先我们通过在EXECL或者WORD里面添加学生信息表，然后通过数据字典生成工具生成了该表的创建语句，模拟了需求修改需要加字段的场景。 后续则是需要传递信息了，这个时候文档生成工具就派上用场了，通过文档工具可以生成WORD或者HTML版的数据库结构设计说明书，是不是传递更加方便了呢。 回到顶部 工具源代码下载 目前总共有经过了七个版本的升级，现在提供最新版本的下载地址 数据字典生成工具V2.0安装程序 最新安装程序 数据字典生成工具源代码 最新源代码 http://code.taobao.org
2.3K50发布于 2018-01-05 - 来自专栏RelaxHeart网聊聊Java
大数据工具：IKAnalyzer分词工具介绍与使用
简介 ---- 为什么要分词呢，当大数据处理中要提取语句的特征值，进行向量计算。所有我们要用开源分词工具把语句中的关键词提取出来。 IK Analyzer是什么呢，就是我们需要的这个工具，是基于java开发的轻量级的中文分词工具包。它是以开源项目Luence为主体的，结合词典分词和文法分析算法的中文分词组件。 我们为什么选择IK作为我们的分词工具呢，这里我们简单介绍一下。这里我们采用了网上的一些介绍。 1、IK才用了特有的“正向迭代最细粒度切分算法”，支持细粒度和智能分词两种切分模式。
2.3K00发布于 2019-06-23 - 来自专栏小锋学长生活大爆炸
【工具】旋转图片-数据集制作工具, 开源!
小锋学长生活大爆炸[xfxuezhang.cn] Github：https://github.com/1061700625/small_tools_v2 之前做了一个下载百度的旋转图片验证码的工具 (多进程下载百度旋转验证码图片-制作数据集)，那么拿到了图片数据，就需要手动校正调整来制作数据集，所以出了这个工具。
74930编辑于 2023-11-09 - 来自专栏Java架构师必看
大数据采集工具，除了Flume，还有什么工具？
今天说一说大数据采集工具，除了Flume，还有什么工具？,希望能够帮助大家进步!!! 随着大数据越来越被重视，数据采集的挑战变的尤为突出。 ： 数据采集-->数据存储-->数据处理-->数据展现(可视化，报表和监控) 其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。 这其中包括： 数据源多种多样 数据量大 变化快 如何保证数据采集的可靠性的性能 如何避免重复数据 如何保证数据的质量 我们今天就来看看当前可用的六款数据采集的产品，重点关注它们是如何做到高可靠，高性能和高扩展 在商业化的大数据平台产品中，Splunk提供完整的数据采金，数据存储，数据分析和处理，以及数据展现的能力。 在Splunk提供的软件仓库里有很多成熟的数据采集应用，例如AWS，数据库(DBConnect)等等，可以方便的从云或者是数据库中获取数据进入Splunk的数据平台做分析。
3.2K20编辑于 2022-07-06 - 来自专栏米扑专栏
开源的数据挖掘工具
此外，对开源的数据挖掘工具有兴趣的同仁，可以关注以下OSDM09这个workshop，它会在PAKDD'09上同时进行，主要讨论的就是开源数据挖掘工具的议题。 尽管开源的数据挖掘工具在稳定性和成熟性上可能都无法跟商用数据挖掘软件相比（IDMer：而且开源数据挖掘工具在性能上和售后支持上也无法提供让商业用户放心的保证），但有些开源工具还是做得不错的，用户可以选择它来做一些相对不那么重要的分析挖掘工作 本文对开源数据挖掘工具的演进过程进行了简单回顾，并挑选了一些比较优秀的开源挖掘工具，供大家选择。 命令行界面让用户很难对数据进行交互式分析，而且文本格式的输出也不够直观。数据挖掘工具接下来的发展，就是内置数据可视化并强化交互功能。 开源数据挖掘工具箱－期望的功能 提供一组基本的统计工具，用于对数据进行常规探索； 多种数据可视化技术，例如histograms, scatterplots, distribution charts,
1.9K30发布于 2019-02-18 - 来自专栏马超的博客
Graphene图数据建模工具
@TOC[1] Here's the table of contents: Graphene图数据建模工具 •一、Graphene是什么？•二、谁可以使用它？•三、为什么需要这样的工具？ Graphene[2]是一个可视化WEB端工具，主要做属性图数据建模、图结构设计。 Graphene工具本身的迭代也会持续推进，欢迎提Issues[3]。 二、谁可以使用它？ 1.图数据工程师2.算法工程师3.数据内容工程师4.其它需要用图的思维模式来做事情的小伙伴！ 三、为什么需要这样的工具？ •图数据建模复杂！？•属性太多！？•数据版本需要迭代！？•数据模型多人对接，协作设计只能画白板！？•同构图还是异构图！？•超级节点结构建模该如何搞！？•我不会建模！ 图数据平台的设计、图数据生产、图数据应用等多个环节都需要这样的工具支持。针对图的，类似Graphene的工具，我相信未来会越来越多。也希望更多有兴趣的朋友加入一起开发这样的开源小工具。
1.1K20编辑于 2022-09-02 - 来自专栏漫流砂
Metagoofil 元数据收集工具
Metagoofil是一个信息收集工具用于提取目标公司元数据的公共文档(pdf、doc、xls、ppt、docx、pptx、xlsx) 这个工具会搜索谷歌，之后识别并且下载这些数据到本地，之后识别不同的 指定文件类型（pdf,doc,xls,ppt,odp,ods,docx,xlsx,pptx） -l 搜索结果的数量 -n 下载文件数量 -o 工作目录，就是保存结果的文件夹 -f 输出文件名 由于这个工具会搜索 从而我们还可以得到一些关于主营业务的信息（虽然我们早就知道人家是卖电脑及周边的） 这样关于metagoofil 这个工具也就讲完了，你得到知识了吗？
1.7K10发布于 2020-08-19 - 来自专栏FreeBuf
Python工具分析风险数据
小安前言 随着网络安全信息数据大规模的增长，应用数据分析技术进行网络安全分析成为业界研究热点，小安在这次小讲堂中带大家用Python工具对风险数据作简单分析，主要是分析蜜罐日志数据，来看看一般大家都使用代理 数据分析工具介绍 工欲善其事，必先利其器，在此小安向大家介绍一些Python数据分析的“神兵利器“。 Python中著名的数据分析库Panda Pandas库是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建，也是围绕着 Series 和 DataFrame 两个核心数据结构展开的，其中Series 我们有了这些“神兵利器“在手，下面小安将带大家用Python这些工具对蜜罐代理数据作一个走马观花式的分析介绍。 1 引入工具–加载数据分析包 启动IPython notebook，加载运行环境： ? 当然了用Pandas提供的IO工具你也可以将大文件分块读取，再此小安测试了一下性能，完整加载约21530000万条数据也大概只需要90秒左右，性能还是相当不错。
2.3K90发布于 2018-02-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号