- 综合排序
- 最热优先
- 最新优先
- 来自专栏NetCore 从壹开始
2-5 安装容器Web工具：Docker Portainer
1、安装Docker基础环境 #Step 1 步骤: 安装必要的一些系统工具 sudo yum install -y yum-utils device-mapper-persistent-data lvm2 enable docker #Step 6 步骤: 启动Docker systemctl start docker #Step 7 步骤: 查看版本 docker --version 2、安装容器Web管理工具平台 有时候一个合适的管理工具平台，可以达到事半功倍的效果，可以实时查看日志等等， 这里推荐个k8s的管理工具——LENS，很好用。
1K20编辑于 2023-01-09 - 来自专栏悟道
2-5 快速幂模板
这个就是在快速乘的基础上改一下 sum=0--->sum=1 x+=x--->x*=x //快速幂模板 public double quickPow(double x,long y){ double sum=1; while(y>0){ if((y&1)==1){ sum*=x; } x*=x; y=y>>1; }
36320发布于 2021-06-01 - 来自专栏F12sec
工具分享 | FoFa采集工具
本工具来自公众号bgbing安全 工具github地址： https://github.com/bgbing/bgbingfofa 以下为bgbing安全原文： 前言：今天闲来无事，想写一个fofa采集工具 ，好用并且容易操作的工具，于是就有了bgbingfofa工具 写到后面发现自己的正则匹配并不熟悉，于是联系了刘念大佬 大佬二话不说，直接就把代码甩我脸上 然后再次请教大佬 从这一段，你们就能知道我的技术有多菜 当然最后工具还是做出来了 使用例子 如何使用？
2.2K10编辑于 2022-09-29 - 来自专栏大数据与微服务架构
日志采集工具Flume
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。
1K10发布于 2020-04-11 - 来自专栏msray
全网URL采集工具，支持关键词采集，域名采集，联系人采集
**今天介绍的这款全网URL采集工具可以运用于全网域名/网址/IP信息检索、指定关键词批量数据采集、SEO、网络推广分析、内容源收集，以及为各种大数据分析等提供数据支撑。 访问状态等..进行自定义过滤图片3: 灵活的推送方案软件不仅支持将结果保存在本地，而且还支持远程的数据推送，可以和自己内部的业务系统相结合，便于数据的再次利用分析，核心功能1： 关键词采集根据提供的关键词采集全网的数据 图片2： URL采集根据提供的URL数据批量采集全网被收录的数据，重复判断：可以选择根据域名或者网址进行重复判断，支持线程数自定义，可根据自己机器配置调整最优采集字段包括域名，网址，IP地址，IP 电话，qq，邮箱等远程结果推送支持：可将结果推送到远程的服务器**创建联系任务**图片URL采集工具可以帮助我们进行数据**抓取、处理、分析，挖掘**。 URL采集工具帮助我们灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。这样可以保证，数据的完整性，时效性，特征性，提高分析的准确性。
3.8K11编辑于 2022-10-17 - 来自专栏AI机器学习与深度学习算法
学习分类 2-5 线性可分
感知机非常简单同时又很容易理解，但是相对应的，缺点也很多。感知机最大的缺点就是它只能解决线性可分的问题。
60610编辑于 2022-11-08 - 来自专栏tianfang
PHP采集工具之Querylist
ph好用的采集类最近有个朋友需要我帮他用php采集一些东西,这里我就不得不提很强大的:querylist官网:http://www.querylist.cc/简单的介绍一下：QueryList不依赖任何框架和架构 ，它可以单独使用也可以引入到任意的PHP开发框架中去使用，如：Laravel、ThinkPHP；你可以使用它来构建简单的采集系统，也可以用它才构建高可用的分布式采集系统。 // 采集所有a标签的href属性 'link' => ['a','href'], // 采集所有a标签的文本内容 'text' => ['a','text']])->query ()->getData();//打印结果print_r($data->all());/** * 在线测试采集并查看采集结果:http://querylist.cc/querylist-test */进阶上面的采集结果有很多 ;//需要采集的目标页面$page = 'http://cms.querylist.cc/news/566.html';//采集规则$reg = [ //采集文章标题 'title' =>
2.6K30编辑于 2022-09-14 - 来自专栏白安全组
Google的url采集工具
这里花了一点时间去写了一个Google的url采集工具，目前仅有谷歌，后面会增添更多的渠道，支持代理设置，可以增加代理池，可以用于快速挖洞 项目地址： https://github.com/baianquanzu
67110编辑于 2024-05-08 - 来自专栏tianfang
PHP采集工具之Querylist
ph好用的采集类 最近有个朋友需要我帮他用php采集一些东西,这里我就不得不提很强大的:querylist 官网:http://www.querylist.cc/ 简单的介绍一下：QueryList不依赖任何框架和架构 ，它可以单独使用也可以引入到任意的PHP开发框架中去使用，如：Laravel、ThinkPHP；你可以使用它来构建简单的采集系统，也可以用它才构建高可用的分布式采集系统。 ->find('img')->attrs('src'); //打印结果 print_r($data->all()); //采集某页面所有的超链接和超链接文本内容 //可以先手动获取要采集的页面源码 $ // 采集所有a标签的href属性 'link' => ['a','href'], // 采集所有a标签的文本内容 'text' => ['a','text'] ])- QL\QueryList; //需要采集的目标页面 $page = 'http://cms.querylist.cc/news/566.html'; //采集规则 $reg = [ //采集文章标题
1.7K51编辑于 2022-08-30 - 来自专栏智能大数据分析
【数据采集与预处理】流数据采集工具Flume
（一）Flume定义 Apache Flume是一种分布式、具有高可靠和高可用性的数据采集系统，可从多个不同类型、不同来源的数据流汇集到集中式数据存储系统中。 （二）Flume作用 Flume最主要的作用就是，实时读取服务器本地磁盘的数据，可将日志采集后传输到HDFS、Hive、HBase、Kafka等大数据组件。 （二）使用Flume作为Spark Streaming数据源 Flume是非常流行的日志采集系统，可以作为Spark Streaming的高级数据源。
3.1K10编辑于 2025-01-22 - 来自专栏msray
多搜索引擎关键词采集域名采集URL采集联系信息采集工具
多搜索引擎关键词采集域名采集URL采集联系信息采集工具图片Msray-plus，是一款采用GO语言开发的企业级综合性爬虫/采集软件。 同时支持存储域名、根网址、网址(url)、IP、IP所属国家、标题、描述、访问状态等多种数据，主要运用于全网域名/网址/采集、行业市场研究分析、指定类型网站采集与分析、网络推广分析以及为各种大数据分析等提供数据支撑 3：联系信息采集任务引擎企业推广销售最重要的环节就是获取客户资源。 联系信息采集任务模块，支持批量采集导入的URL种子文件中的每个网站的联系信息。包括电话、手机号、QQ、微信、邮箱、facebook账号、twitter账号等。 支持自动保存采集进度，可停止后下次接着采集；同时支持自定义导出字段内容与自定义导出格式；同时支持导出结果文件下载到本地，以及导出保存到服务器目录；同时支持导出单条信息与多条。
2.1K20编辑于 2022-10-18 - 来自专栏Hank’s Blog
2-5 R语言基础 factor
#因子：分类数据 #有序和无序 #整数向量+标签label #Male/Female #常用于lm(),glm()
45710发布于 2020-09-16 - 来自专栏数据库相关
vector 数据采集工具的使用
under-the-hood/architecture/ 生产级别大规模的数据处理流： json文件 --> vector 1 --> kafka --> vector 2 --> es 小规模的数据采集 时候做了点自定义配置 #1、移除我用不到的字段 #2、加了个washer_ts 字段，值为当前时间戳，便于评估vector数据清洗链路的耗时 #3、加了个agent_id字段，用于标识这个日志是从哪个机器采集的 # 当vector写ES失败是，在本机开辟有512MB磁盘空间用以缓存待发送的数据 when_full = "block" # 当512MB空间写满后，vector处于阻塞状态，也就是不继续采集下游的原始日志 从kibana界面上查到的最后一条记录的入库时间 12:40:36 可以粗略估算 vector从采集到入库耗时为 12:40:36 - 12:40:15 = 21秒 可以看到 vector 的性能还是很强的 vector的washer_ts比原始日志差了20s，可以粗略认为整体elk日志链路的延迟为20s（实际上生产前还需要多次测试） TIPS：对于大规模场景下，一般是第一层的vector将各自机器上的业务日志采集并简单处理后发送到
2.9K10编辑于 2023-12-19 - 来自专栏Java架构师必看
大数据采集工具，除了Flume，还有什么工具？
今天说一说大数据采集工具，除了Flume，还有什么工具？,希望能够帮助大家进步!!! 随着大数据越来越被重视，数据采集的挑战变的尤为突出。 今天为大家介绍几款数据采集平台： Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder 大数据平台与数据采集 任何完整的大数据平台，一般包括以下的几个过程 ： 数据采集-->数据存储-->数据处理-->数据展现(可视化，报表和监控) 其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。 这其中包括： 数据源多种多样 数据量大 变化快 如何保证数据采集的可靠性的性能 如何避免重复数据 如何保证数据的质量 我们今天就来看看当前可用的六款数据采集的产品，重点关注它们是如何做到高可靠，高性能和高扩展 也就是说如果有一台Farwarder的机器出了故障，数据收集也会随之中断，并不能把正在运行的数据采集任务Failover到其它的 Farwarder上。
3.3K20编辑于 2022-07-06 - 来自专栏二爷记
站长工具关键词挖掘采集，Python关键词批量挖掘采集工具
对于seoer而言，关键词的重要性毋庸置疑，关于关键词的挖掘有很多种方法，借助平台工具是必需的，而想要批量获取关键词数据，你需要更好的方法！ 比如py大法好！ 站长工具无疑是老牌的seo工具平台，虽然广为人吐槽，但它重要性和功能应该没有人质疑吧！ 目标网址： http://stool.chinaz.com/baidu/words.aspx ? 几个关键点： 1.考虑到某些关键词可能在站长工具里查询不到相关关键词，所以这里首先做了下过滤！ 2.关键数据数据的处理，应用了切片工具 Python可切片对象的索引方式 包括：正索引和负索引两部分， 如下图所示，以list对象a = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]为例 ) print('站长工具关键词挖掘采集工具-by huguo002\n') print('默认开启批量采集模式，需满足两个条件：') print('1.运行目录存在 search_keyword.txt
1.9K11发布于 2020-07-22 - 来自专栏Deep learning进阶路
2-5 线性表之循环链表
2-5 线性表之循环链表 循环链表就是链表首尾相接连成一个环，可以用单链表 和 循环链表来实现。
44540发布于 2019-07-02 - 来自专栏刷题笔记
2-5 Two Stacks In One Array (20 分)
本文链接：https://blog.csdn.net/shiliang97/article/details/101173005 2-5 Two Stacks In One Array (20 分) Write
81030发布于 2019-11-08 - 来自专栏刷题笔记
2-5 修理牧场 (35 分)【优先队列】
2-5 修理牧场 (35 分) 农夫要修理牧场的一段栅栏，他测量了栅栏，发现需要N块木头，每块木头长度为整数Li个长度单位，于是他购买了一条很长的、能锯成N块的木头，即该木头的长度是Li的总和
1.1K10发布于 2020-06-23 淘宝店铺采集工具，采集淘宝卖家商家，python代码框架
code=JCnzE 提取密码：1199这个淘宝店铺采集工具包含三个主要模块：主爬虫程序、代理管理模块和数据分析模块。主程序实现了店铺搜索、详情采集和数据存储功能，使用多线程提高采集效率。 max_pages=5): all_shops = [] for page in range(1, max_pages + 1): print(f"正在采集第 all_shops if __name__ == '__main__': crawler = TaobaoShopCrawler() keyword = input("请输入要采集的店铺关键词 : ") max_pages = int(input("请输入要采集的页数(1-50): ")) crawler.crawl_shops_by_keyword(keyword, max_pages
52410编辑于 2025-07-10- 来自专栏Ms08067安全实验室
GetInfo windows应急响应信息采集工具
GetInfo介绍 快速收集 Windows 相关信息，为应急响应争取更多的时间 Windows Emergency Response （应急响应信息采集） Windows information Prefetch文件 ✔️USB使用信息 ✔️共享资源 ✔️用户信息及SID ✔️IP信息 ✔️近三天内修改的文件 使用说明 文件输出为Output文件夹 声明 本项目仅供学习使用，勿做它用 注意事项: 该工具需要电脑安装
1.5K40编辑于 2022-09-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号