这位作者说GPT-4的详细信息已经泄露,不知道可信度如何。一些关键信息:- GPT-4的大小是GPT-3的10倍以上。我们认为它在120层中总共有大约1.8万亿个参数。 - GPT-4推理成本是175B参数的Davinchi的3倍。这主要是由于GPT-4需要更大的集群和实现的利用率更低。它的成本估计是0.0049/ 1K tokens。 (目前GPT-4的API价格大约是 参数数量:GPT-4的大小是GPT-3的10倍以上。我们认为它在120层中总共有大约1.8万亿个参数。混合专家模型 - 已确认。 纪元数量(Epoch number):文本数据为2个纪元,代码数据为4个纪元。有数百万行来自ScaleAI和内部的指令微调数据。GPT-4 32K:预训练阶段的上下文长度(seqlen)为8k。 GPT-4推理成本:GPT-4的成本是175B参数的Davinchi的3倍。这主要是由于GPT-4需要更大的集群和实现的利用率更低。
简介 内存泄露是每个开发者最终都要面对的问题,它是许多问题的根源:反应迟缓,崩溃,高延迟,以及其他应用问题。 什么是内存泄露? JavaScript 内存泄露 垃圾回收语言的内存泄露主因是不需要的引用。理解它之前,还需了解垃圾回收语言如何辨别内存的可达与不可达。 4:闭包 闭包是 JavaScript 开发的一个关键方面:匿名函数可以访问父级作用域的变量。 代码示例: ? 对比不同的快照的 comparison list 可以发现内存泄露。 实例:使用 Chrome 发现内存泄露 实质上有两种类型的泄露:周期性的内存增长导致的泄露,以及偶现的内存泄露。 换言之,尽管垃圾收集器不断的收集内存,内存还是周期性的泄露了。 确定存在内存泄露之后,我们找找根源所在。
阅读本文需要5分钟 基础 内存泄露(Memory Leak) java中内存都是由jvm管理,垃圾回收由gc负责,所以一般情况下不会出现内存泄露问题,所以容易被大家忽略。 内存泄露有时不严重且不易察觉,这样开发者就不知道存在内存泄露,需要自主观察,比较严重的时候,没有内存可以分配,直接oom。 主要和溢出做区分。 这里就不展开了 heap泄露 比较常见的内存泄露 静态集合类引起内存泄露 监听器: 但往往在释放对象的时候却没有记住去删除这些监听器,从而增加了内存泄漏的机会。 刚开始走的错误弯路 刚开始发现机器内存占用比较多,超过80%+,这个时候思考和内存相关的逻辑 这个时候并没有去观察线程数量,根据现象 1、2、4,、这个过程没有发现现象3,排查无果后,重新定位问题发现现象 3 由于现象4中的错误日志比较多,加上内存占用高,产生了如下想法(由于本例中很多服务通过mq消费开始) 现象4中的错误导致mq重试队列任务增加,积压的消息导致mq消费队列任务增加,最终导致内存上升 由于异常
基础 内存泄露(Memory Leak) java中内存都是由jvm管理,垃圾回收由gc负责,所以一般情况下不会出现内存泄露问题,所以容易被大家忽略。 内存泄露有时不严重且不易察觉,这样开发者就不知道存在内存泄露,需要自主观察,比较严重的时候,没有内存可以分配,直接oom。 主要和溢出做区分。 这里就不展开了 heap泄露 比较常见的内存泄露 静态集合类引起内存泄露 监听器: 但往往在释放对象的时候却没有记住去删除这些监听器,从而增加了内存泄漏的机会。 刚开始走的错误弯路 刚开始发现机器内存占用比较多,超过80%+,这个时候思考和内存相关的逻辑 这个时候并没有去观察线程数量,根据现象 1、2、4,、这个过程没有发现现象3,排查无果后,重新定位问题发现现象 3 由于现象4中的错误日志比较多,加上内存占用高,产生了如下想法(由于本例中很多服务通过mq消费开始) 现象4中的错误导致mq重试队列任务增加,积压的消息导致mq消费队列任务增加,最终导致内存上升 由于异常
这就引起了git泄露漏洞。
D&D评论:国际方面,近期印度尼西亚仍然是数据泄露重灾区,另外最近俄罗斯泄露的数据增多,国内方面,近期医疗行业和生物/医药工程方面泄露的数据较多。 2.1. hr.com 200万数据泄露 涉及国家/组织:hr.com人力资源售卖人:dior样例数据:有数据量:2,070,000条详情:电子邮件、名字、姓氏、邮编、城市、街道、手机、家庭电话、职务。 美国房主信息泄露涉及国家/组织:美国售卖人:Breacheduserpro样例数据:有数据量:153,000,000条/189GB详情:FirstName,LastName,AddressLine1,City 价格:2比特币(当前约4万美元)2.4. NDIS (国家残疾保险计划)涉及国家/组织:澳大利亚售卖人:Addka72424样例数据:有数据量:12000条详情:2022年5月,澳大利亚政府 NDIS(国家残疾保险计划)的客户管理系统遭遇数据泄露
既然net ns出现了泄漏,我们只需要排查被泄露的net ns的成因即可。 【注:这里由于基础知识不足,导致问题****排查绕了地球一圈】 我们梳理kubelet在该时间段对该容器的清理日志,核心相关日志展示如下: 1 2 3 4 5 I0417 11:36:30.974674 而上面之所以出现清理cgroup时需要杀死容器内未退出进程,是由于常驻协程的检测机制导致的,常驻协程判定Pod已终止运行的条件是: 1 2 3 4 5 6 7 8 9 10 11 12 我们接着又分析了cni插件的日志,截取cni在删除该Pod容器网络时的日志如下: 1 2 3 4 5 [pid:98497] 2020/04/17 11:36:30.990707 main.go:89: 4. 亡羊补牢 当初为net ns做一个绑定挂载,其目的就是为了方便我们排查问题,使得 ip netns 命令能够访问当前宿主上所有Pod的网络命名空间。 但其实一个简单的软链操作就能够实现这个目标。
供应商主页:https://logging.apache.org/log4j/2.x/ 版本:<= 2.14.1 CVE:CVE-2021-44228 #! socketserver.TCPServer): pass def main(): parser = argparse.ArgumentParser(description='a simple log<em>4</em>j
connect就可以了,但是这里有一个陷阱:如果channel连接正常,但是authenticated=false,canSend()就返回false,这时候再去connect,先前的连接并不会释放,造成连接泄露 4) 继续这样操作,会发现每次都会创建1个新链接,而原来的链接依然存在。 再来看看内存泄露的问题,这个问题其实已经有网友记录过了,大致原因是netty底层大量使用了DirectByteBuffer,这是直接在堆外分配的(即:堆外内存),不会被GC自动回收,如果代码处理不当,多次调用 connect()时,就有可能内存泄露。
0x00 介绍 本文核心是探讨:由于各种情况(RASP和SecurityManager等)导致无法RCE时候如何利用Log4j2 最近在赛博回忆录看到很多大佬提出Log4j2的利用姿势,本文也是参考各位大佬 操作,所以无法正常连接远程服务器 这种情况也说明了研究Log4j2非RCE利用方式的必要性 信息泄露需要两个关键点 如何获取泄露的信息 如何带出来泄露的信息 解决 获取:利用${}和其他各种Lookup 再Tomcat中使用Log4j2的配置文件需要修改web.xml <listener> <listener-class>org.apache.logging.log4j.web.Log4jServletContextListener >org.apache.logging.log4j.web.Log4jServletFilter</filter-class> </filter> <context-param> <param-name >log4jConfiguration</param-name> <param-value>file:///YOUR_LOG4J2.XML_PATH</param-value> </context-param
但是上面也看到了函数结束后会在defer里释放掉申请的chan,为什么还会导致内存泄露呢? 就目前线上配置看,除了内存泄露,还没有反馈其他问题,所以可以先找出来api调用方,规范api调用,及时关闭超时连接也是可以避免内存泄露的。 之前出现过的netns泄露的问题可能也与此有关。 谁是调用方 经过上面的排查,已经可以明确问题的原因,对应的代码逻辑。 也正因为没有未关闭的连接,所以不会出现内存和unix socket泄露,经过查看调用方即agent的版本,发现是1.18.1 ? ? ,后面还会有多篇有关docker资源泄露、容器删除不掉等各式各样的问题,敬请期待。
信息泄露 备份文件下载 网站源码 bak文件下载 访问目录下的bak文件 题目提示source 在index.php下,所以用hackbar访问index.php.bak 将bak文件后缀改为txt或者用 所以其意外退出而保留的临时文件是 .index.php.swp phpinfo 直接打开页面发现是phpinfo界面 思路是从表中搜索flag的信息 浏览器中ctrl+f查找(和wires hark相同)flag 信息泄露问题
信息泄露 敏感信息泄露 信息泄露会暴露服务器的敏感信息,使攻击者能够通过泄露的信息进行对网站的进一步入侵 软件敏感信息 操作系统版本 可以通过NAMP等扫描得知 中间件的类型以及版本 (例如whatweb:这是一种网站指纹识别工具) Web程序(CMS类型以及版本、敏感文件) 使用工具(whatweb、cms_identify) Web敏感信息 phpinfo()信息泄露 : http://[ip]/test.php 和 http://[ip]/phpinfo.php 测试页面泄露在外网: test.cgi phpinfo.php info.php 等 编辑器备份文件泄露在外网 http://[ip]/.git/config http://[ip]/CVS/Entriesp http://[ip]/.svn/entriesp HTTP认证漏洞泄露 http:// [ip]/basic/index.php [Web 目录开启了Http Basic认证,但是未限制IP,导致可暴力破解账号和密码] 管理后台地址泄露 http://[ip]/login.php
4. 隐式内存泄漏。程序在运行过程中不停的分配内存,但是直到结束的时候才释放内存。严格的说这里并没有发生内存泄漏,因为最终程序释放了所有申请的内存。 4.内存泄露的几种常见原因 1、对于通过new等运算符申请到的内存空间在使用之后没有释放掉。 如果是在过程程序中开辟的空间,可以在过程结束时释放;但是如果是面向对象的编程,在类的构造函数中开辟的空间,那么记得一定要在析构函数中释放,但是如果析构函数出现问题了,导致不能释放内存空间,就造成了内存泄露 3、对于内存的泄露有的时候是忘记了回收,但是有的时候是无法回收,比如1中提到的析构函数不正确导致内存泄露,这是属于程序有问题;还有关于面向对象编程的一个内存泄露的可能性:一个对象在构造函数中抛出异常,对象本身的内存会被成功释放 内存泄露是指程序中间动态分配了内存,但是在程序结束时没有释放这部分内存,从而造成那一部分内存不可用的情况,重起计算机可以解决,但是也有可能再次发生内存泄露,内存泄露和硬件没有关系,它是由软件引起的。
在前几期我们介绍了频发的数据泄露事件带来的严重影响。数据泄露时刻威胁着个人隐私、企业声誉乃至国家安全;而数据二次泄露,更是将这种威胁推向了新的高度,成为我们亟待关注与解决的严峻问题。 你可能不知道,现在的数据泄露事件很可能是一场由首次泄露+二次泄露组成的"数据连环劫"。今天,我们看看数据泄露的"二次伤害"到底有多可怕。 危害指数级增长:诈骗分子利用二次泄露加工的数据实施精准诈骗。 3、二次泄露更可怕 首次泄露的数据可能是零散的,但经过非法分子"加工"后数据更加完整精准。 另外,二次泄露的数据也常被用于钓鱼邮件冒充银行,内容包含你真实消费记录;还有非法分子假冒公检法,对方还能准确说出你的身份证号和住址。 4、总结 首次泄露是漏洞,二次泄露则会形成更大的安全隐患。 ,从数据源头上杜绝了首次泄露,就不会产生二次泄露。
fullGC的频率越来越高 最终占用达到100%,服务完全瘫痪 分析处理 使用指令:jmap -histo:live *** | more 查看堆内存中的对象数量和大小 发现Log4jLogEvent 总结 对jvm内存泄露这类问题的解决,主要是要善于利用jvm提供的类似jstat、jmap等工具来分析查找问题。这次问题虽然解决,但是后续还是存在出现此类问题的风险。
BoundsChecker能检测的错误包括: 1)指针操作和内存、资源泄露错误,比如:内存泄露;资源泄露;对指针变量的错误操作。 1)ActiveCheck是BoundsChecker提供的一种方便、快捷的错误检测模式,它能检测的错误种类有限,只包括:内存泄露错误、资源泄露错误、API函数使用错误。 4)选择[BoundsChecker/Rebuild All with BoundsChecker] 菜单命令,对程序重新进行编译连接,也就是在这时,BoundsChecker向被测程序的代码中加入了错误检测码
log4qt,是大名鼎鼎的阿帕奇的java日志库log4j的qt移植版。本是挺常用的开源库,然而在使用过程中发现了内存泄露的坑。 为了验证下,这里单独写了个测试demo,并使用qtcreator集成的hoeb内存泄露检测工具分析下。 测试用例很简单,就是一个MainWindow界面上放置两个按钮。 先说下测试环境,使用qt5.10.0的32位msvc工具链 和qt5.12.11的64位msvc工具链测试,结果一样,同样存在泄露。 } heob内存泄露工具分析 https://doc.qt.io/qtcreator/creator-heob.html heob-堆观察器,qtcreator的4.6以后的版本集成了它的插件。 引用 Visual Studio查看C++内存泄漏方法_wangshenqiang的博客-CSDN博客_vs内存泄露怎么查
println("ListenAndServe admin: ", err.Error()) } }() } 最近我在优化一个 push 服务的时候,便观察到了一个 goroutine 泄露问题 但是我更喜欢使用第三种方法,pprof 大家一般都是生成 CPU、MEM 火焰图来分析性能问题,殊不知其 HTTP 的接口是分析 goroutine 泄露绝佳的工具。 很明显就是 ack 泄露导致的,通过修改请求参数 debug=2,可以看到更多细节: ? 上面这个图是我修复之后补得,实际上应该能看到 ack 是由于阻塞在 channel 的接收中。
大部分Vue应用会使用webpack进行打包,如果没有正确配置,就会导致Vue源码泄露,可能泄露的各种信息如API、加密算法、管理员邮箱、内部功能等等。 直接查看网站的js文件,可以在末尾处有js.map文件名 直接在当前访问的js后面拼接.map即可访问下载 通过以上两种方式可以判断目标网站存在Vue源码泄露问题 0x03 漏洞利用 在某些情况下, 文件下载到本地,使用reverse-sourcemap进行js.map文件还原操作 reverse-sourcemap --output-dir ./ main-7692d0319da0ace0bfc4.