- 综合排序
- 最热优先
- 最新优先
- 来自专栏F12sec
工具分享 | FoFa采集工具
本工具来自公众号bgbing安全 工具github地址： https://github.com/bgbing/bgbingfofa 以下为bgbing安全原文： 前言：今天闲来无事，想写一个fofa采集工具 ，好用并且容易操作的工具，于是就有了bgbingfofa工具 写到后面发现自己的正则匹配并不熟悉，于是联系了刘念大佬 大佬二话不说，直接就把代码甩我脸上 然后再次请教大佬 从这一段，你们就能知道我的技术有多菜 当然最后工具还是做出来了 使用例子 如何使用？
2.3K10编辑于 2022-09-29 - 来自专栏大数据与微服务架构
日志采集工具Flume
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 5. Channel ：连接 sources 和 sinks ，这个有点像一个队列。 6. Events：可以是日志记录、 avro 对象等。 Flume以agent为最小的独立运行单位。
1K10发布于 2020-04-11 - 来自专栏msray
全网URL采集工具，支持关键词采集，域名采集，联系人采集
**今天介绍的这款全网URL采集工具可以运用于全网域名/网址/IP信息检索、指定关键词批量数据采集、SEO、网络推广分析、内容源收集，以及为各种大数据分析等提供数据支撑。 访问状态等..进行自定义过滤图片3: 灵活的推送方案软件不仅支持将结果保存在本地，而且还支持远程的数据推送，可以和自己内部的业务系统相结合，便于数据的再次利用分析，核心功能1： 关键词采集根据提供的关键词采集全网的数据 图片2： URL采集根据提供的URL数据批量采集全网被收录的数据，重复判断：可以选择根据域名或者网址进行重复判断，支持线程数自定义，可根据自己机器配置调整最优采集字段包括域名，网址，IP地址，IP 电话，qq，邮箱等远程结果推送支持：可将结果推送到远程的服务器**创建联系任务**图片URL采集工具可以帮助我们进行数据**抓取、处理、分析，挖掘**。 URL采集工具帮助我们灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。这样可以保证，数据的完整性，时效性，特征性，提高分析的准确性。
3.8K11编辑于 2022-10-17 - 来自专栏tianfang
PHP采集工具之Querylist
ph好用的采集类最近有个朋友需要我帮他用php采集一些东西,这里我就不得不提很强大的:querylist官网:http://www.querylist.cc/简单的介绍一下：QueryList不依赖任何框架和架构 ，它可以单独使用也可以引入到任意的PHP开发框架中去使用，如：Laravel、ThinkPHP；你可以使用它来构建简单的采集系统，也可以用它才构建高可用的分布式采集系统。 ()->getData();//打印结果print_r($data->all());/** * 在线测试采集并查看采集结果:http://querylist.cc/querylist-test */进阶上面的采集结果有很多 ;//需要采集的目标页面$page = 'http://cms.querylist.cc/news/566.html';//采集规则$reg = [ //采集文章标题 'title' => $img->src; $localSrc = 'image/'.md5($src).'.jpg'; $stream = file_get_contents($src); file_put_contents
2.6K30编辑于 2022-09-14 - 来自专栏白安全组
Google的url采集工具
这里花了一点时间去写了一个Google的url采集工具，目前仅有谷歌，后面会增添更多的渠道，支持代理设置，可以增加代理池，可以用于快速挖洞 项目地址： https://github.com/baianquanzu url.go 直接使用exe文件： 直接找到文件存储目录运行cmd输入：Google_searchurl.exe 这里可以设置你的爬取数量和代理，这里代理默认是http的，也可以设置socks5
69410编辑于 2024-05-08 - 来自专栏tianfang
PHP采集工具之Querylist
ph好用的采集类 最近有个朋友需要我帮他用php采集一些东西,这里我就不得不提很强大的:querylist 官网:http://www.querylist.cc/ 简单的介绍一下：QueryList不依赖任何框架和架构 ，它可以单独使用也可以引入到任意的PHP开发框架中去使用，如：Laravel、ThinkPHP；你可以使用它来构建简单的采集系统，也可以用它才构建高可用的分布式采集系统。 ->find('img')->attrs('src'); //打印结果 print_r($data->all()); //采集某页面所有的超链接和超链接文本内容 //可以先手动获取要采集的页面源码 $ QL\QueryList; //需要采集的目标页面 $page = 'http://cms.querylist.cc/news/566.html'; //采集规则 $reg = [ //采集文章标题 $img->src; $localSrc = 'image/'.md5($src).'.jpg'; $stream = file_get_contents($src);
1.8K51编辑于 2022-08-30 - 来自专栏智能大数据分析
【数据采集与预处理】流数据采集工具Flume
（一）Flume定义 Apache Flume是一种分布式、具有高可靠和高可用性的数据采集系统，可从多个不同类型、不同来源的数据流汇集到集中式数据存储系统中。 （二）Flume作用 Flume最主要的作用就是，实时读取服务器本地磁盘的数据，可将日志采集后传输到HDFS、Hive、HBase、Kafka等大数据组件。 5、Event 传输单元，Flume 数据传输的基本单元，以事件的形式将数据从源头送至目的地。 （二）使用Flume作为Spark Streaming数据源 Flume是非常流行的日志采集系统，可以作为Spark Streaming的高级数据源。
3.2K10编辑于 2025-01-22 - 来自专栏msray
多搜索引擎关键词采集域名采集URL采集联系信息采集工具
多搜索引擎关键词采集域名采集URL采集联系信息采集工具图片Msray-plus，是一款采用GO语言开发的企业级综合性爬虫/采集软件。 同时支持存储域名、根网址、网址(url)、IP、IP所属国家、标题、描述、访问状态等多种数据，主要运用于全网域名/网址/采集、行业市场研究分析、指定类型网站采集与分析、网络推广分析以及为各种大数据分析等提供数据支撑 3：联系信息采集任务引擎企业推广销售最重要的环节就是获取客户资源。 联系信息采集任务模块，支持批量采集导入的URL种子文件中的每个网站的联系信息。包括电话、手机号、QQ、微信、邮箱、facebook账号、twitter账号等。 支持自动保存采集进度，可停止后下次接着采集；同时支持自定义导出字段内容与自定义导出格式；同时支持导出结果文件下载到本地，以及导出保存到服务器目录；同时支持导出单条信息与多条。
2.1K20编辑于 2022-10-18 - 来自专栏ytkah
finecms5采集接口下载
哪里有finecms采集接口可以下载？ 我们在用finecms建站时比较纠结的是要如何采集文章，finecms商城是有售卖采集插件，价格是50元，有些朋友感觉比较贵，不太愿意买，我们也是比较权衡了才很久决定买下来，有需要的朋友可以联系ytkah 进行了解，价格比官方美丽很多，加微信咨询吧 finecms采集接口插件使用方法：联系ytkah咨询下载finecms采集插件 1、覆盖到根目录 2、 finecms5.wpm 文件为火车头发布模块 3、本采集接口支持全部自定义字段， data[status] 为内容状态，1为待审，9为通过 xiazai = 1 下载附件配置 ，1为下载，0为不下载 多文件字段发布标签如下： 多文件字段的文件 data
1.3K40发布于 2018-03-06 - 来自专栏数据库相关
vector 数据采集工具的使用
under-the-hood/architecture/ 生产级别大规模的数据处理流： json文件 --> vector 1 --> kafka --> vector 2 --> es 小规模的数据采集 时候做了点自定义配置 #1、移除我用不到的字段 #2、加了个washer_ts 字段，值为当前时间戳，便于评估vector数据清洗链路的耗时 #3、加了个agent_id字段，用于标识这个日志是从哪个机器采集的 # 当vector写ES失败是，在本机开辟有512MB磁盘空间用以缓存待发送的数据 when_full = "block" # 当512MB空间写满后，vector处于阻塞状态，也就是不继续采集下游的原始日志 configuration √ Health check "es_cluster" -------------------------------- Validated 5 从kibana界面上查到的最后一条记录的入库时间 12:40:36 可以粗略估算 vector从采集到入库耗时为 12:40:36 - 12:40:15 = 21秒 可以看到 vector 的性能还是很强的
3K10编辑于 2023-12-19 - 来自专栏Java架构师必看
大数据采集工具，除了Flume，还有什么工具？
今天说一说大数据采集工具，除了Flume，还有什么工具？,希望能够帮助大家进步!!! 随着大数据越来越被重视，数据采集的挑战变的尤为突出。 今天为大家介绍几款数据采集平台： Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder 大数据平台与数据采集 任何完整的大数据平台，一般包括以下的几个过程 ： 数据采集-->数据存储-->数据处理-->数据展现(可视化，报表和监控) 其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。 这其中包括： 数据源多种多样 数据量大 变化快 如何保证数据采集的可靠性的性能 如何避免重复数据 如何保证数据的质量 我们今天就来看看当前可用的六款数据采集的产品，重点关注它们是如何做到高可靠，高性能和高扩展 5、Scribe 代码托管：https://github.com/facebookarchive/scribe Scribe是Facebook开发的数据(日志)收集系统。
3.3K20编辑于 2022-07-06 - 来自专栏工程监测
工程监测NLM5无线中继采集发送仪使用$SETPTool 工具读写参数
工程监测NLM5无线中继采集发送仪使用$SETPTool 工具读写参数图片$SETPTool 是通用的设备测试、参数读写工具，适用于稳控科技绝大部分设备机器。 如果要编写自己的测试工具，可参考“2.通讯协议” 章节说明。$SETPTool For NLM5xx 的主界面如下图所示。 关于$SETPTool 更加详细的使用说明，详见“通用参数配置工具 SETPTool 使用说明.pdf”文件。 注意： NLM5xx 会在无操作数秒后进入休眠状态，处于休眠状态时可能对首个 UART 指令不响应，在进行参数读取、修改操作时，应注意观察界面左侧的实时信息，必要时需要重复点击指令按钮方可生效。
25920编辑于 2023-05-12 - 来自专栏二爷记
站长工具关键词挖掘采集，Python关键词批量挖掘采集工具
站长工具无疑是老牌的seo工具平台，虽然广为人吐槽，但它重要性和功能应该没有人质疑吧！ 目标网址： http://stool.chinaz.com/baidu/words.aspx ? 几个关键点： 1.考虑到某些关键词可能在站长工具里查询不到相关关键词，所以这里首先做了下过滤！ 2.关键数据数据的处理，应用了切片工具 Python可切片对象的索引方式 包括：正索引和负索引两部分， 如下图所示，以list对象a = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]为例 案例应用： overall_indexs = keyword_all_datas[0::5] # 整体指数 pc_indexs = keyword_all_datas[1::5] # pc指数 mobile_indexs ) print('站长工具关键词挖掘采集工具-by huguo002\n') print('默认开启批量采集模式，需满足两个条件：') print('1.运行目录存在 search_keyword.txt
1.9K11发布于 2020-07-22 - 来自专栏逸鹏说道
.net采集网页方法大全（5种）
(); } //} //catch //{ //} return html; } 第5种
1.4K170发布于 2018-04-11 - 来自专栏Python使用工具
Socks5隧道实现高效采集
然而，当我们需要采集大量的数据时，如何才能高效、稳定地获得目标网站的信息呢？本文将为大家分享使用Socks5代理的技巧和方法，帮助你轻松地进行数据采集。 与HTTP代理相比，Socks5代理具有更高的性能和灵活性，适用于各种数据采集需求。第二步：选择合适的Socks5代理服务提供商在使用Socks5代理之前，我们需要选择一个可靠的代理服务提供商。 第三步：配置Socks5代理一旦选择了合适的代理服务商，下一步是配置Socks5代理。不同的操作系统和软件工具有不同的配置方法，但大体上分为两类：全局代理和应用程序级别代理。 这种方式适用于有特定需求的数据采集任务，提高了灵活性和效率。第四步：合理使用Socks5代理无论你采用全局代理还是应用程序级别代理，合理使用Socks5代理都是至关重要的。 检测代理服务器的可用性：定期检测代理服务器的可用性，排查无效或低质量的代理，确保采集过程的稳定性。通过合理使用Socks5代理，你可以轻松实现高效的数据采集。
46260编辑于 2023-08-11 淘宝店铺采集工具，采集淘宝卖家商家，python代码框架
code=JCnzE 提取密码：1199这个淘宝店铺采集工具包含三个主要模块：主爬虫程序、代理管理模块和数据分析模块。主程序实现了店铺搜索、详情采集和数据存储功能，使用多线程提高采集效率。 writer.writerows(data) def crawl_shops_by_keyword(self, keyword, max_pages=5) : all_shops = [] for page in range(1, max_pages + 1): print(f"正在采集第 {page} 页 if not shops: break with ThreadPoolExecutor(max_workers=5) self.df['rating_描述相符'].mean(), 'top_locations': self.df['location'].value_counts().head(5)
54910编辑于 2025-07-10- 来自专栏Ms08067安全实验室
GetInfo windows应急响应信息采集工具
GetInfo介绍 快速收集 Windows 相关信息，为应急响应争取更多的时间 Windows Emergency Response （应急响应信息采集） Windows information Prefetch文件 ✔️USB使用信息 ✔️共享资源 ✔️用户信息及SID ✔️IP信息 ✔️近三天内修改的文件 使用说明 文件输出为Output文件夹 声明 本项目仅供学习使用，勿做它用 注意事项: 该工具需要电脑安装
1.5K40编辑于 2022-09-26 - 来自专栏释然IT杂谈
【工具】Windows应急响应信息采集工具，附下载链接。
一、工具说明： 系统应急工具，导出计算机日志工具。 1、导出计算机的日记 2、每个日志分类 二、工具运行截图： 三、工具导出的信息分类： 四、工具获取链接： 链接：https://pan.baidu.com/s/1IAEHIzs0u9SupRe0nXvJ6g
1.1K10编辑于 2022-10-27 - 来自专栏wujunmin
Power BI SVG坐标采集工具升级
SVG图片用作Power BI空间可视化时可能需要采集每个位置的坐标，例如在地图上确定数据标签位置： 本文所有地图为虚拟空间，仅供个人学习 确定气泡位置： 箭头位置： 月初我分享的《Power BI SVG 空间坐标采集工具》可以解决这一问题。 首先，SVG图片预览空间（宽度）放大，便于用户采集较大尺寸图片的坐标；其次，右侧的采集表格增加了滚动条，当采集位置过多时，滚动条会自动定位到最后一行，方便用户修改坐标名称。 访问以下网址，选择“Power BI SVG空间坐标采集”即可免费使用。 https://junminwu.github.io/ 该工具更多应用可以查看：Power BI DAX+SVG地图可视化入门
29400编辑于 2025-05-26 - 来自专栏漫流砂
自研安全工具之URL采集
作为Web渗透的人员，掌握以上两款工具的使用是必须的 ---- 任何一款大型工具都是由细小的功能组成的，这次我打算从头写一款自己的web渗透的工具 一般人都会先做一个思维导图，之后按部就班，我的性格比较随性 ---- 我觉得渗透第一步是应该有渗透测试的目标，所以今天就来做一个URL采集的工具，搜索引擎使用的是百度的，编程语言是Python3 这种从百度搜索结果中获取URL肯定有前人写过啦，所以我们先百度搜索一下 从此才是正文，首先我们应该思考一下URL采集的过程 百度搜索关键字 获取返回的页面 筛选出URL地址 其实这其中还是有一些细节的，我们接着说 代码首先定义好我们要保存结果的文件 之后定义一个队列来确保搜索结果每一页有序执行 此时我们再写一个批量脚本可能就可以筛选出这些结果中的存在漏洞的站点，之后批量获取shell了 最后附上文件 链接: https://pan.baidu.com/s/1m13WilN9xtRvvk6MdwiMOw 密码: di5c 这样一个URL采集工具就写好了，至于接下来写点什么，看心情吧！
1.3K30发布于 2020-08-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号