- 综合排序
- 最热优先
- 最新优先
- 来自专栏用户4777067的专栏
不止于“爬”：如何构建真正可靠的情报采集系统
作为开源情报系统的关键环节，网络信息采集承担着从海量公开信息中提取高价值数据的重任。然而，随着网站反爬机制不断升级、页面结构频繁变动、数据格式日益复杂，传统采集手段已难以满足实战需求。 在某证券研究项目中，通过该系统将采集规则维护效率提升了60%以上。 2. - 健康度评分系统：根据任务运行情况，对采集任务进行综合评分，辅助运维决策。在一个电信运营商项目中，通过该系统提前4小时预警DDoS攻击，有效保障了采集稳定性。 2. 灾备切换机制我们部署了跨地域服务器集群，具备秒级故障转移能力，确保采集任务不中断。在一个能源领域的开源情报搜集项目中，该机制实现了跨云厂商的容灾能力。 未来，我们将继续深化技术研究，拓展应用场景，为国安、军工、金融、能源等多个领域提供专业、可靠的开源情报采集解决方案，助力构建更加智能、高效的情报工作体系。
1800编辑于 2026-04-21 - 来自专栏FreeBuf
个人情报收集系统浅谈
虽然我是一个菜鸟，但是我还是想尝试看看搭建一个个人情报收集系统是否可行。小菜一枚，不喜勿喷。 剩下的就是管理性，搭建起情报收集系统后，你会收到众多信息，你需要一个强悍的数据库对其进行存放和查看。 至于传播方式很简单了，搞个免费V**，破解软件什么的，到时候有一堆人来下载的，而你也就构建起了自己的被动式开放系统情报收集平台。 硬件设备 当然，除了被动式收集以外，我们也同样可以采取主动式收集情报。 总结 高级的情报收集系统和APT攻击并无太大区别，这篇文章主要表达的是在现有的材料和技术下，一个普普通通的技术人员也可以造成很严重的网络威胁。
2.3K70发布于 2018-02-09 - 来自专栏联远智维
ADC数据采集系统
AD转换电路 近来，为了实现传感器输出信号的采集，购买了AD7705、微控制器（stm32f103）等相关模块，如下图所示；经过一番摸索，也算成功达到了预期要求，感觉收获最大的应该就是不断调试程序的过程中加深了对微机原理相关内容的理解 tm7705以及STM32F103等微处理器都能够实现模拟信号与数字信号的转换，选用时主要的依据点有：如果要求不高，就用TM7705，能够直接外接传感器，电路原理极其简单；如果追求高精度适合ads1256相关的采集电路 ；STM32F103的ADC是12位逐次逼近型的模拟数字转换器，具有16个外部通道，系统能够尽可能做到微型化，适合可穿戴设备等对体积要求较高的场合。 附1、tm7705属于数据采集芯片，内部包含信号放大电路、滤波电路等，能够实现信号与微控制器之间转换与传递；输入电路带分压电阻和R-C滤波；芯片内部带可编程增益放大器，增益范围：1-128倍；最大刷新速率
2.7K20编辑于 2022-01-20 - 来自专栏智能大石头
多线程带智能采集策略的采集系统
去年年底的时候曾经发过一个数据采集器《网页数据采集器》，那是专门针对某一个网站来进行采集的，如果需要采集新的网站内容，就需要修改代码并重新编译。 昨晚完成了一个带智能策略的采集系统。 ，比如是列表页还是详细页；Rule表记录着各种规则，主要有三个字段，FromTypeID源页类型，ToTypeID目的页类型，Pattern规则；CjPage用于存储采集到的网页内容，还包含网址和页面种类 采集策略的核心就在于规则库Rule。 采集器工作时，如果采集的是详细页的内容，将会直接写入到CjPage中，因为没有FromTypeID=2的规则；而采集的是列表页的内容时，就要做两件事了，因为有两条FromTypeID=1的规则，一件事是识别当前列表页中所有文章的链接并存入 由于规则具有递归性，使得采集器能递归采集到所有的文章。
1.1K80发布于 2018-01-15 AI数据采集管理系统
在数字化浪潮中，数据的采集与管理已成为企业竞争力的关键要素。传统的人工录入、分散存储模式不仅效率低下，更难以应对海量异构数据的实时处理需求。 此时，一套基于AI技术的智能数据采集管理系统应运而生，它如同精密运转的数字中枢，将杂乱无章的信息流转化为可挖掘的金矿，为企业数字化转型提供坚实的数据底座。 五、自适应迭代优化循环：与企业发展同频共振系统具备自我进化的自适应迭代能力，通过持续收集用户反馈和使用习惯数据，AI引擎会自动调整采集策略优先级。 六、典型应用场景示例：赋能多行业数字化转型AI数据采集管理系统已在多个行业落地应用，创造显著价值：在智能制造领域，系统实时监控生产线参数波动，提前预警设备故障风险，帮助企业将良品率提升15%；智慧城市建设中 八、未来演进方向展望：开启数据智能新篇章随着联邦学习、隐私计算等新技术的成熟，下一代AI数据采集管理系统将实现更多突破：通过联邦学习技术，实现跨组织联合建模而不共享原始数据，打破数据协作的隐私壁垒；采用边缘节点自主决策与云端协同优化模式
36810编辑于 2025-10-16- 来自专栏网络安全攻防
【威胁情报】威胁情报基本介绍
，威胁情报备受重视~ 安全情报 安全情报从情报类型上可以划分为如下几个方面： 资产情报：主要用于确认企业自身的资产 事件情报： 对于已经发生的安全事件的报道 漏洞情报：软硬件的各种已知或未知的漏洞情报 生命周期 威胁情报生命周期是一个循环的过程，其主要包含以下阶段： 情报计划：情报计划包括威胁情报对应的安全风险点(包括业务安全、IT资产安全等)、对应情报大类(包括战术情报、战略情报、运营情报、技术情报 )、情报小类(包括但不限于pDNS情报、Whois情报、钓鱼网站情报、黑产情报)以及闭环跟进流程，完整的情报计划可以达到指导现有安全体系建设和改进方向的作用 情报收集：情报收集是对所有相关安全情报的收集 ，可以从多种开放或封闭的源收集数据 情报处理：情报处理是对原始情报信息进行预处理并进行可靠性评估，确定适用的范围和目标 情报分析：情报分析是按照情报计划，分析处理之后的数据，生产最终的情报(也就是所谓的 、情报的面向目标(中间件、数据库等)、情报的传送的及时性等问题 情报反馈：情报反馈是通过对输送的情报进行分类归纳和整理后对未来的情报计划进行动态调整和优化并制定新一轮次的情报计划，确定我们需要交付何种类型的情报
2.8K10编辑于 2023-03-29 - 来自专栏jeremy的技术点滴
搭建ELFK日志采集系统
最近的工作涉及搭建一套日志采集系统，采用了业界成熟的ELFK方案，这里将搭建过程记录一下。 环境准备 操作系统信息 系统系统：centos7.2 三台服务器：10.211.55.11/12/13 安装包： https://artifacts.elastic.co/downloads/elasticsearch 日志采集系统搭建 安装elasticsearch集群 照手把手教你搭建一个 Elasticsearch 集群文章所述，elasticsearch集群中节点有多种类型： 主节点：即 Master 节点。 部署测试 至此一个较完整的ELFK日志采集系统就搭建好了，用浏览器访问http://10.211.55.12:5601/，在kibana的界面上简单设置下就可以查看到抓取的日志了： ? 总结 分布式日志采集，ELFK这一套比较成熟了，部署也很方便，不过部署起来还是稍显麻烦。
2.9K41发布于 2019-03-13 - 来自专栏工业4.0
电表水表数据采集系统
随着社会经济的发展,传统的抄表方 式已经不能满足工作的要求.基于此，通过与物联网的技术相结合的水表、电表数据采集系 统在智能楼宇中得到了广泛的应用.适用于供水企业远程监测工厂、酒店、学校、医院等大 用户的用水 二、解决方案 电表水表数据采集系统由智能水电表、电表采集网关、分布式数据云平台组成。 image.png 电表采集网关，通过串口与电表（基于modbus 系列或电表645 或水表协议）物理连接， 采集仪表的数据，在网关上进行边缘计算，数据标准化以后以MQTT 的json 串的格式，通过 三、方案价值 1.上位机软件实现对采集数据的显示和存储,克服了传统人工采集传输的不足,提高了数据 采集传输的实时性和可靠性, 2.提高优质服务水平，减低运行维护成本。
1.4K30编辑于 2022-03-02 - 来自专栏大数据成神之路
用户行为数据采集系统
本文将重点探讨数据采集层中的用户行为数据采集系统。这里的用户行为，指的是用户与产品UI的交互行为，主要表现在Android App、IOS App与Web页面上。 用户行为数据采集系统，便是负责从前端采集所需的完整的用户行为信息，用于数据分析和其他业务。 举个例子，下图所示是一次营销活动（简化版）的注册流程。 而前端用户行为数据的价值不仅限于这样的转化率分析，还可以挖掘出更多的有用信息，甚至可以与产品业务结合，比如笔者最近在做的用户评分系统，便会从用户行为中抽取一部分数据作为评分依据。 于是，我们考虑做一个统一的用户行为数据采集系统，基本的原则是：统一上报方式、统一数据格式、数据集中存储、尽可能全量采集。具体到实现上，归纳起来主要要解决三个问题： 采什么。 在这之前我们已经搭建了一个ELK日志系统，可以复用Elasticsearch集群做存储，也可以复用Kibana来做一些基础的数据分析可视化。
4.6K30发布于 2020-06-05 - 来自专栏电子技术研习社
温度采集系统上位机设计
上一次我们讲到了多点温度采集系统的设计，为此，特意开发了一个上位机用于显示温度，这一节就是来说一下上位机的开发。 后台回复“温度采集系统上位机”获取源码
2.3K30发布于 2020-07-10 - 来自专栏联远智维
心电信号采集系统
近来，在好奇心的驱动下，在心电信号采集系统方面进行了初步的工作，本推文主要介绍了心电采集模块的基本组成部分，心电采集芯片的选型，并且对该系统进行了简要的测试，具体内容如下： 图a表述为心电监测的意义， ；图d表述为论文中传感器信号采集系统整体框架；图e表述为可穿戴产品具体包含的模块，主要由传感器、数据采集以及数据分析等相关模块组成。 附录：前期研究基础 1、心电采集系统基本组成模块，芯片选型以及基本原理？ 图a表述为心电采集系统整体示意图，左侧黑色方盒为电源模块，右侧为心电采集核心电路板，蓝色LED灯反映信号采集的状态；图b为电源模块，具体选用的芯片为SGM2020，采用SOT23-5封装形式；图c为电源模块实物图 图a表述为心电电极，测试过程中贴附在目标位置；图b表述为信号采集系统，共含有三个引脚；图c表述为心电采集结果示意图，其中心跳速率为75次/分钟，相关的数据能够通过蓝牙模块，传输到手机端，显示出相关的波形
1.4K20编辑于 2022-01-20 - 来自专栏联远智维
数据采集系统实际测试效果
信号采集结果展示 前期推文对信号采集相关的硬件电路进行了详细的介绍ADC数据采集系统，在此基础上，本推文简单介绍了采集系统相关的单片机程序，与此同时，采用信号采集系统对标准信号进行测试，验证了该系统的准确性 ，具体内容如下： 图a为信号采集过程，图b为信号采集系统所需核心元件的实物照片，图c表述为采用keil软件调试单片机程序的具体过程；与此同时，采用该系统和标准测试设备同时电压信号进行测试，通过对比两者之间的测试结果 ，验证信号采集系统的准确性，主要的实验步骤为：1. 采用多通道电表对电压信号进行采集；3. 采用前期搭建的信号采集系统对电压信号进行采集； 附录：补充材料 附1、信号采集的频率是多少？ ，采集系统能够对mV信号进行测试，假设放大电路倍数采用100倍时候，即该系统分辨率能够达到10uV，其精度基本上能够满足相关的测试需求，能够对传感器输出信号进行精确测试。
85730编辑于 2022-01-20 MES系统如何采集设备数据？
MES系统，也叫生产管理系统，是实现工厂生产过程透明化、精细化管理的核心软件。 如用MES系统采集设备数据，应结合“自动化为主、人工为辅”的方式，结合硬件对接、协议转换和系统集成，实现全类型设备数据的实时获取与标准化处理。其具体采集方式有三种。 三是软件或系统集成采集：通过与设备相关的管理系统或辅助软件对接，间接获取数据，适用于无法直接读取硬件的场景；例如与设备专用管理系统通过API接口对接，同步加工参数等数据；对老旧设备，以人工录入（扫码、表单填写 综合所述，三种方式各有适用场景，但从实际应用上来看，还是第二种协议采集最为常见，因为工业协议转化采集覆盖多品牌设备，同时效率高，经济性强，通常只需要配置一个网关就可以了。 如果您是有相关需求，可以了解一下矩形科技的π-EBOX数据采集网关，该网关直接全量数据接入，支持95%的PLC协议、90%的注塑机/机床协议、支持通讯监听/自由协议、支持老旧设备采集，真正的即插即用功能
52610编辑于 2025-10-31- 来自专栏技术博客文章
云原生系统日志采集详解
与其他日志聚合系统相比，Loki 不对日志进行全文本索引。通过存储压缩的，非结构化的日志以及仅索引元数据，Loki更加易于操作且运行成本更低。 这段是loki 在 GitHub 上的介绍，可以看出这是一款为云原生而打造的轻量级日志聚合系统。目前社区非常活跃。 这也是主流的云原生日志采集范式。 三、数栈日志实践 （一） 数栈日志需求 全局 grep 根据关键字，搜索系统中所有出现的地方 快速定位日志 根据机器名、ip、服务名等条件快速定位日志 主机与云原生统一技术栈 减少使用学习成本，降低系统复杂性 因为你可能只想采集.log的日志，也可能只想采集.json的日志，或者都有的服务这个配置可能是不同的，所以也不能写死，那如何解决这个问题呢？
1.6K00编辑于 2021-12-17 - 来自专栏网络安全技术点滴分享
在家搭建属于自己的网络威胁情报系统
什么是威胁情报？威胁情报涉及对关于网络攻击的、基于证据的信息进行分析，使网络安全专家能够从上下文角度识别问题，并为检测到的问题创建有针对性的解决方案。 威胁情报根植于数据，类似于开源情报(OSINT)，它提供了上下文——例如谁在攻击你、他们的动机和能力是什么、以及你的系统中需要寻找哪些入侵指标(IOC)——这些信息能帮助你做出关于安全的明智决策。 — Recorded Future需要注意的是，在网络威胁情报(CTI)这个主题下，有几个需要理解的重要子主题；入侵指标、高级持续性威胁和交通灯协议是与CTI相关的三个关键研究领域。 安全团队利用这些数据来丰富安全信息和事件管理(SIEM)系统中的日志，例如，当一个威胁情报提供商将一个新域名标记为恶意，并且检测到该域名与内部系统之间有活动时，就可以据此发出警报。
16310编辑于 2026-03-01 - 来自专栏超级架构师
工控系统 SCADA（监控和数据采集）系统简介
监控和数据采集- SCADA是指用于控制基础设施流程（水处理，污水处理，天然气管道，风电场等）的ICS（工业控制系统），基于设施的过程（机场，空间站，船舶等） ）或工业流程（生产，制造，精炼，发电等 •可编程逻辑控制器（PLC）用作现场设备 •通信基础设施将远程终端单元连接到监控系统。 一般来说，SCADA系统不能实时控制进程 - 它通常是指实时协调进程的系统。 数据采集从PLC或RTU级开始，包括设备状态报告和仪表读数。然后，数据格式化，使得控制室的操作员可以通过使用HMI使监督决定覆盖或调整正常的PLC（RTU）控制。 SCADA架构 整体：第一代 在第一代，大型机系统被用于计算。在开发SCADA时，网络不存在。因此，SCADA系统与其他系统没有任何连接，意味着它们是独立系统。 系统与主站之间的通信通过WAN协议（IP协议）完成。由于使用的标准协议和网络化SCADA系统可以通过互联网进行访问，因此系统的脆弱性增加。
6.4K61发布于 2018-04-09 - 来自专栏工程监测
振弦采集模块的系统状态
河北稳控科技振弦采集模块的系统状态1 工作状态VMXXX 模块有 3 种工作状态，分别为空闲状态、忙状态、休眠状态， 模块自动完成空闲和忙两种状态的切换，当需要使模块进入休眠模式时，需要向系统寄存器 SYS_FUN 系统状态寄存器仅在条件满足时将某些特定位置 1，在读取并获取状态寄存器后应向其写入 0 来清除状态标志。图片指令校验错误： 收到错误的指令标志。 采样超时： 未完成指定数量的信号采集且采样过程超过了预定时长。信号质量低： 信号质量未达到预期要求（ 寄存器 EXS_TH）。
63160编辑于 2022-11-28 - 来自专栏Python3爬虫100例教程
华为OD机试 日志采集系统
本期题目： 日志采集系统 题目 日志采集是运维系统的的核心组件。日志是按行生成，每行记做一条，由采集系统分批上报。
72110编辑于 2023-03-16 - 来自专栏网络安全技术点滴分享
威胁情报宝典：掌握可操作情报的艺术
可操作威胁情报的宝典：学习这门艺术嘿，朋友，欢迎回来！今天，我们将深入探讨MITRE ATT&CK框架。这个框架是网络威胁情报的“圣经”。 ATT&CK框架用于分析和理解威胁行为者用于入侵、渗透和从系统或网络中窃取信息的战术和技术。该框架由一个矩阵组成，该矩阵列出了攻击者使用的各种战术和技术，例如初始访问、持久化、权限提升和数据窃取。 近年来，最初的矩阵已分为三个矩阵，分别涵盖：企业环境移动环境工业控制系统这些矩阵列出了威胁行为者在各自领域将使用的特定TTP。我们将重点关注该框架的企业版本，因为它是安全专业人员最广泛使用的版本。
10610编辑于 2025-12-30 - 来自专栏Albert陈凯
Flume日志采集系统与Logstash对比
Flume日志采集系统——初体验（Logstash对比版） 本文就从如下的几个方面讲述下我的使用心得： 初体验——与Logstash的对比 安装部署 启动教程 参数与实例分析 Flume初体验 直接使用channel做持久化（可以理解为没有filter） Logstash浅谈： Logstash中： input负责数据的输入（产生或者说是搜集，以及解码decode）； Filter负责对采集的日志进行分析 ，提取字段（一般都是提取关键的字段，存储到elasticsearch中进行检索分析）； output负责把数据输出到指定的存储位置（如果是采集agent，则一般是发送到消息队列中，如kafka,redis
2.5K60发布于 2018-04-04
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号