- 综合排序
- 最热优先
- 最新优先
- 来自专栏F12sec
工具分享 | FoFa采集工具
本工具来自公众号bgbing安全 工具github地址： https://github.com/bgbing/bgbingfofa 以下为bgbing安全原文： 前言：今天闲来无事，想写一个fofa采集工具 ，好用并且容易操作的工具，于是就有了bgbingfofa工具 写到后面发现自己的正则匹配并不熟悉，于是联系了刘念大佬 大佬二话不说，直接就把代码甩我脸上 然后再次请教大佬 从这一段，你们就能知道我的技术有多菜 当然最后工具还是做出来了 使用例子 如何使用？
2.2K10编辑于 2022-09-29 - 来自专栏大数据与微服务架构
日志采集工具Flume
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。
1K10发布于 2020-04-11 - 来自专栏msray
全网URL采集工具，支持关键词采集，域名采集，联系人采集
**今天介绍的这款全网URL采集工具可以运用于全网域名/网址/IP信息检索、指定关键词批量数据采集、SEO、网络推广分析、内容源收集，以及为各种大数据分析等提供数据支撑。 访问状态等..进行自定义过滤图片3: 灵活的推送方案软件不仅支持将结果保存在本地，而且还支持远程的数据推送，可以和自己内部的业务系统相结合，便于数据的再次利用分析，核心功能1： 关键词采集根据提供的关键词采集全网的数据 图片2： URL采集根据提供的URL数据批量采集全网被收录的数据，重复判断：可以选择根据域名或者网址进行重复判断，支持线程数自定义，可根据自己机器配置调整最优采集字段包括域名，网址，IP地址，IP 电话，qq，邮箱等远程结果推送支持：可将结果推送到远程的服务器**创建联系任务**图片URL采集工具可以帮助我们进行数据**抓取、处理、分析，挖掘**。 URL采集工具帮助我们灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。这样可以保证，数据的完整性，时效性，特征性，提高分析的准确性。
3.8K11编辑于 2022-10-17 - 来自专栏tianfang
PHP采集工具之Querylist
ph好用的采集类最近有个朋友需要我帮他用php采集一些东西,这里我就不得不提很强大的:querylist官网:http://www.querylist.cc/简单的介绍一下：QueryList不依赖任何框架和架构 ，它可以单独使用也可以引入到任意的PHP开发框架中去使用，如：Laravel、ThinkPHP；你可以使用它来构建简单的采集系统，也可以用它才构建高可用的分布式采集系统。 // 采集所有a标签的href属性 'link' => ['a','href'], // 采集所有a标签的文本内容 'text' => ['a','text']])->query ()->getData();//打印结果print_r($data->all());/** * 在线测试采集并查看采集结果:http://querylist.cc/querylist-test */进阶上面的采集结果有很多 ;//需要采集的目标页面$page = 'http://cms.querylist.cc/news/566.html';//采集规则$reg = [ //采集文章标题 'title' =>
2.6K30编辑于 2022-09-14 - 来自专栏白安全组
Google的url采集工具
这里花了一点时间去写了一个Google的url采集工具，目前仅有谷歌，后面会增添更多的渠道，支持代理设置，可以增加代理池，可以用于快速挖洞 项目地址： https://github.com/baianquanzu
67110编辑于 2024-05-08 - 来自专栏tianfang
PHP采集工具之Querylist
ph好用的采集类 最近有个朋友需要我帮他用php采集一些东西,这里我就不得不提很强大的:querylist 官网:http://www.querylist.cc/ 简单的介绍一下：QueryList不依赖任何框架和架构 ，它可以单独使用也可以引入到任意的PHP开发框架中去使用，如：Laravel、ThinkPHP；你可以使用它来构建简单的采集系统，也可以用它才构建高可用的分布式采集系统。 ->find('img')->attrs('src'); //打印结果 print_r($data->all()); //采集某页面所有的超链接和超链接文本内容 //可以先手动获取要采集的页面源码 $ // 采集所有a标签的href属性 'link' => ['a','href'], // 采集所有a标签的文本内容 'text' => ['a','text'] ])- QL\QueryList; //需要采集的目标页面 $page = 'http://cms.querylist.cc/news/566.html'; //采集规则 $reg = [ //采集文章标题
1.7K51编辑于 2022-08-30 - 来自专栏智能大数据分析
【数据采集与预处理】流数据采集工具Flume
（一）Flume定义 Apache Flume是一种分布式、具有高可靠和高可用性的数据采集系统，可从多个不同类型、不同来源的数据流汇集到集中式数据存储系统中。 （二）Flume作用 Flume最主要的作用就是，实时读取服务器本地磁盘的数据，可将日志采集后传输到HDFS、Hive、HBase、Kafka等大数据组件。 （二）使用Flume作为Spark Streaming数据源 Flume是非常流行的日志采集系统，可以作为Spark Streaming的高级数据源。
3.1K10编辑于 2025-01-22 - 来自专栏msray
多搜索引擎关键词采集域名采集URL采集联系信息采集工具
多搜索引擎关键词采集域名采集URL采集联系信息采集工具图片Msray-plus，是一款采用GO语言开发的企业级综合性爬虫/采集软件。 同时支持存储域名、根网址、网址(url)、IP、IP所属国家、标题、描述、访问状态等多种数据，主要运用于全网域名/网址/采集、行业市场研究分析、指定类型网站采集与分析、网络推广分析以及为各种大数据分析等提供数据支撑 3：联系信息采集任务引擎企业推广销售最重要的环节就是获取客户资源。 联系信息采集任务模块，支持批量采集导入的URL种子文件中的每个网站的联系信息。包括电话、手机号、QQ、微信、邮箱、facebook账号、twitter账号等。 支持自动保存采集进度，可停止后下次接着采集；同时支持自定义导出字段内容与自定义导出格式；同时支持导出结果文件下载到本地，以及导出保存到服务器目录；同时支持导出单条信息与多条。
2.1K20编辑于 2022-10-18 - 来自专栏geekfly
Java数据采集-8.模拟登录
获取登录的所需的信息 打开CSDN，点击登录，即可看到登录页面，打开开发者工具。 注意先清空列表，勾选Preserve log（保持日志），这样点击登录跳转之后才能记录之前的请求。 = null) { result = EntityUtils.toString(entity, "utf-8"); } }catch =geekfly; Domain=.csdn.net; Path=/;AU=2DB; Domain=.csdn.net; Path=/;UD=%E5%94%AF%E6%9C%89%E5%89%B2%E8% 88%8D%EF%BC%8C%E6%89%8D%E8%83%BD%E4%B8%93%E6%B3%A8%E3%80%82%E5%94%AF%E6%9C%89%E6%94%BE%E5%BC%83%EF%BC %8C%E6%89%8D%E8%83%BD%E8%BF%BD%E6%B1%82%E3%80%82; Domain=.csdn.net; Path=/;UN=TMaskBoy; Domain=.csdn.net
1K20编辑于 2022-05-06 - 来自专栏数据库相关
vector 数据采集工具的使用
under-the-hood/architecture/ 生产级别大规模的数据处理流： json文件 --> vector 1 --> kafka --> vector 2 --> es 小规模的数据采集 时候做了点自定义配置 #1、移除我用不到的字段 #2、加了个washer_ts 字段，值为当前时间戳，便于评估vector数据清洗链路的耗时 #3、加了个agent_id字段，用于标识这个日志是从哪个机器采集的 # 当vector写ES失败是，在本机开辟有512MB磁盘空间用以缓存待发送的数据 when_full = "block" # 当512MB空间写满后，vector处于阻塞状态，也就是不继续采集下游的原始日志 从kibana界面上查到的最后一条记录的入库时间 12:40:36 可以粗略估算 vector从采集到入库耗时为 12:40:36 - 12:40:15 = 21秒 可以看到 vector 的性能还是很强的 vector的washer_ts比原始日志差了20s，可以粗略认为整体elk日志链路的延迟为20s（实际上生产前还需要多次测试） TIPS：对于大规模场景下，一般是第一层的vector将各自机器上的业务日志采集并简单处理后发送到
2.9K10编辑于 2023-12-19 - 来自专栏Java架构师必看
大数据采集工具，除了Flume，还有什么工具？
今天说一说大数据采集工具，除了Flume，还有什么工具？,希望能够帮助大家进步!!! 随着大数据越来越被重视，数据采集的挑战变的尤为突出。 今天为大家介绍几款数据采集平台： Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder 大数据平台与数据采集 任何完整的大数据平台，一般包括以下的几个过程 ： 数据采集-->数据存储-->数据处理-->数据展现(可视化，报表和监控) 其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。 这其中包括： 数据源多种多样 数据量大 变化快 如何保证数据采集的可靠性的性能 如何避免重复数据 如何保证数据的质量 我们今天就来看看当前可用的六款数据采集的产品，重点关注它们是如何做到高可靠，高性能和高扩展 也就是说如果有一台Farwarder的机器出了故障，数据收集也会随之中断，并不能把正在运行的数据采集任务Failover到其它的 Farwarder上。
3.3K20编辑于 2022-07-06 - 来自专栏二爷记
站长工具关键词挖掘采集，Python关键词批量挖掘采集工具
站长工具无疑是老牌的seo工具平台，虽然广为人吐槽，但它重要性和功能应该没有人质疑吧！ 目标网址： http://stool.chinaz.com/baidu/words.aspx ? 几个关键点： 1.考虑到某些关键词可能在站长工具里查询不到相关关键词，所以这里首先做了下过滤！ 2.关键数据数据的处理，应用了切片工具 Python可切片对象的索引方式 包括：正索引和负索引两部分， 如下图所示，以list对象a = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]为例 第三步：等待，完成 附完整源码： #站长工具关键词挖掘 # -*- coding=utf-8 -*- #by 微信：huguo00289 import requests from lxml import ) print('站长工具关键词挖掘采集工具-by huguo002\n') print('默认开启批量采集模式，需满足两个条件：') print('1.运行目录存在 search_keyword.txt
1.9K11发布于 2020-07-22 - 来自专栏devops_k8s
k8s 日志采集最佳实践
image.png 几乎所有的业务角色都会涉及到各式各样的日志数据，为了支撑各类应用场景，我们开发了非常多的工具和功能：日志实时分析、链路追踪、监控、数据加工、流计算、离线计算、BI 系统、审计系统等等 在 K8s 中，应用都以 yaml 的方式部署，而日志采集还是以手工的配置文件形式为主，如何能够让日志采集以 K8s 的方式进行部署? 5 采集方式: 主动 or 被动 日志的采集方式分为被动采集和主动推送两种，在 K8s 中，被动采集一般分为 Sidecar 和 DaemonSet 两种方式，主动推送有 DockerEngine 7 日志采集方案 image.png 早在 Kubernetes 出现之前，我们就开始为容器环境开发日志采集方案，随着 K8s 的逐渐稳定，我们开始将很多业务迁移到 K8s 平台上，因此也基于之前的基础专门开发了一套 K8s 上的日志采集方案。
3.1K40发布于 2021-11-09 淘宝店铺采集工具，采集淘宝卖家商家，python代码框架
code=JCnzE 提取密码：1199这个淘宝店铺采集工具包含三个主要模块：主爬虫程序、代理管理模块和数据分析模块。主程序实现了店铺搜索、详情采集和数据存储功能，使用多线程提高采集效率。 = os.path.join(self.output_dir, filename) with open(filepath, 'w', newline='', encoding='utf-8- max_pages=5): all_shops = [] for page in range(1, max_pages + 1): print(f"正在采集第 : ") max_pages = int(input("请输入要采集的页数(1-50): ")) crawler.crawl_shops_by_keyword(keyword, max_pages background_color='white' ).generate(text) plt.figure(figsize=(10, 8)
52310编辑于 2025-07-10- 来自专栏Ms08067安全实验室
GetInfo windows应急响应信息采集工具
GetInfo介绍 快速收集 Windows 相关信息，为应急响应争取更多的时间 Windows Emergency Response （应急响应信息采集） Windows information Prefetch文件 ✔️USB使用信息 ✔️共享资源 ✔️用户信息及SID ✔️IP信息 ✔️近三天内修改的文件 使用说明 文件输出为Output文件夹 声明 本项目仅供学习使用，勿做它用 注意事项: 该工具需要电脑安装 解决办法:以GB2312编码打开即可 下载地址 GitHub: GetInfo.exe 云中转网盘: https://www.yunzhongzhuan.com/#sharefile=NeJlMEZ8_
1.5K40编辑于 2022-09-26 - 来自专栏释然IT杂谈
【工具】Windows应急响应信息采集工具，附下载链接。
一、工具说明： 系统应急工具，导出计算机日志工具。 1、导出计算机的日记 2、每个日志分类 二、工具运行截图： 三、工具导出的信息分类： 四、工具获取链接： 链接：https://pan.baidu.com/s/1IAEHIzs0u9SupRe0nXvJ6g
1.1K10编辑于 2022-10-27 - 来自专栏漫流砂
自研安全工具之URL采集
作为Web渗透的人员，掌握以上两款工具的使用是必须的 ---- 任何一款大型工具都是由细小的功能组成的，这次我打算从头写一款自己的web渗透的工具 一般人都会先做一个思维导图，之后按部就班，我的性格比较随性 ---- 我觉得渗透第一步是应该有渗透测试的目标，所以今天就来做一个URL采集的工具，搜索引擎使用的是百度的，编程语言是Python3 这种从百度搜索结果中获取URL肯定有前人写过啦，所以我们先百度搜索一下 可以看到其实有很多结果，已经有很多人写过了，我们只需要根据我们渗透测试的特性进行修改就行了 我先把自己修改过后的代码发上来 ---- # coding=utf-8 import requests import 从此才是正文，首先我们应该思考一下URL采集的过程 百度搜索关键字 获取返回的页面 筛选出URL地址 其实这其中还是有一些细节的，我们接着说 代码首先定义好我们要保存结果的文件 之后定义一个队列来确保搜索结果每一页有序执行 此时我们再写一个批量脚本可能就可以筛选出这些结果中的存在漏洞的站点，之后批量获取shell了 最后附上文件 链接: https://pan.baidu.com/s/1m13WilN9xtRvvk6MdwiMOw 密码: di5c 这样一个URL采集工具就写好了
1.3K30发布于 2020-08-20 - 来自专栏wujunmin
Power BI SVG坐标采集工具升级
SVG图片用作Power BI空间可视化时可能需要采集每个位置的坐标，例如在地图上确定数据标签位置： 本文所有地图为虚拟空间，仅供个人学习 确定气泡位置： 箭头位置： 月初我分享的《Power BI SVG 空间坐标采集工具》可以解决这一问题。 首先，SVG图片预览空间（宽度）放大，便于用户采集较大尺寸图片的坐标；其次，右侧的采集表格增加了滚动条，当采集位置过多时，滚动条会自动定位到最后一行，方便用户修改坐标名称。 访问以下网址，选择“Power BI SVG空间坐标采集”即可免费使用。 https://junminwu.github.io/ 该工具更多应用可以查看：Power BI DAX+SVG地图可视化入门
28300编辑于 2025-05-26 - 来自专栏wujunmin
Power BI SVG空间坐标采集工具
李伟坚老师开发的Easyshu Excel插件有坐标采集功能，读者可以免费使用。 我在五一假期也做了个在线坐标采集工具，以下进行使用说明。 访问： https://junminwu.github.io/index.html 视频演示： 选择SVG空间坐标采集： 左上角选择需要采集的空间文件，文件可以是SVG矢量图格式，也可以是PNG、JPG 等常见的像素图片格式（会被工具自动转码为SVG）: 以下选择了一个400*400大小的虚拟SVG地图文件： 点击地图上的位置，可以看到地图上新增了红色的圆点标记，并在右侧的表格列出了所有点击点的XY坐标
49710编辑于 2025-05-08 【原创工具】孔夫子旧书网店铺图书采集工具1.0
视频3 核心逻辑3.1 导出数据4 附件下载5 使用方式1 概述爬取孔夫子旧书网的店铺图书信息（条码、书名、售价、定价），支持导出和调速(默认速度5条/s)、支持识别该店铺最新上架图书和总计图书数量，采集结果和官网排序一致 ，可以对比测试2 演示效果2.1 图文使用流程数据采集过程采集后的数据导出数据展示2.2视频【原创工具】孔夫子旧书网店铺图书采集工具1.03 核心逻辑3.1 导出数据 self.style.configure as e: showerror("导出失败", f"导出数据时发生错误: {str(e)}")4 附件下载本页面下载配套资源5 使用方式下载附件后，双击打开通过浏览器找到孔网需要采集的店铺 ，例如：464363将待采集店铺ID填入程序1中，然后点击搜索，按照配图往下即可完成使用
1.3K11编辑于 2024-09-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号