首页
学习
活动
专区
圈层
工具
发布

#缓存

缓存就是数据交换的缓冲区(称作Cache),当某一硬件要读取数据时,会首先从缓存中查找需要的数据,如果找到了则直接执行,找不到的话则从内存中找。缓存的作用是帮助硬件更快地运行。

磁盘和CPU之间为什么会有缓存和内存

胖头鱼的鱼缸

要理解 CPU 物理核心如何操作数据,需先厘清其配套存储体系的设计规则与分工,原内容中的部分细节需修正补充,具体如下:

900

移动公有云向外扩展的利刃——海山

胖头鱼的鱼缸

海山数据库V2.0采用联邦缓存技术,将计算节点内存池化,设置数据分区策略,每个计算节点缓存部分数据,提高缓存利用率。避免常规云原生数据库架构中,每个存储节点随机...

2200

内网代理神器 Squid:从踩坑到填坑,这一篇给你讲透

悠悠12138

cache_dir 指定缓存目录、类型、大小、一级目录数和二级目录数。这里给了 10GB 缓存空间。maximum_object_size 是缓存对象的最大大小...

1700

Claude Code 系统提示词完整解析

heidsoft

关键原则: 可逆性 + 影响范围。本地可逆操作自由执行,影响共享系统的操作先确认。

3200

构建 Claude Code 的经验:Prompt Caching 是一切

用户1640761

Prompt Caching 的工作方式是“前缀匹配(prefix matching)”。API 会从请求开头开始缓存,一直缓存到每个 cache_contro...

3910

业务稳定造就大模型的降本增效?Claude 核心能力拆解(一)

用户12057812

有意思的是,虽然能力名叫提示词缓存,像是把提示词放进了缓存,但其实背后存储的并不是提示词本身。

3910

DeepSeek涨价、OpenAI受限,AI免费薅羊毛的日子还剩多少?

大飞记Python

昨天小编还在用DeepSeek API写代码,晚上就收到了计费调整通知,竟然是 涨价

5310

注意力架构变迁总结:稀疏、线性、SSM、混合架构如何摆脱 O(L²) 的代价

deephub

自注意力(Self-attention)支撑了 Transformer 近十年,每个 Token 都要关注序列中的每一个其他 Token让这些模型能够推理的机制...

4210

从单核到多核:CPU为什么不能再只靠提频变快

Lihua奏

每个核心都有自己的缓存,他们把内存里的数据复制一份放在自己的缓存中,这样就不用每次都访问内存去数据了,但问题就出现在这

2910

案例:热点账户扣减架构设计

架构之家

随着并发量变大,比如<5000,单纯使用数据库乐观锁就不行了,会导致数据库宕机。比较简单的方案是,缓存扣减。所有扣减走Redis缓存,再异步到数据库中。

5410

Claude Sonnet 5:更强,但更贵,每任务成本反超Opus 4.8

用户11563501

Anthropic 刚发布的 Claude Sonnet 5,在 Artificial Analysis 的智能指数上拿到了53分——比上一代 Sonnet 4...

6710

容器启动慢到怀疑人生?这几招我用下来,启动时间直接砍半

悠悠12138

这样写一来是合并成一层,二来 rm -rf 清掉了 apt 的缓存,不然那些缓存文件会留在这一层里白白占体积。

9510

最近的一些杂感-202606

jeanron100

我统计了下自己最近的一些token消耗情况,94%以上都是走缓存的,所以看起来token数字比较高, 如果按照输出token不走缓存大概在400万tokens/...

9010

读者点单·05|Token 节省专题:把 AI 编程账单砍 60% 的 7 个工程化手段

陆业聪

这是降本效果最显著的一招。原理很简单:Claude API 的 Prompt Caching 机制会缓存 system prompt 和靠前的 messages...

18210

GPT-5.6来了,强到没边,但普通人还摸不到

Ai学习的老章

以前 OpenAI 的命名简直是灾难,5、5.1、5-pro、5-mini、o1、o3……普通用户根本分不清谁强谁弱

11410

Go 切片截取后,为什么大数组迟迟无法释放?

技术圈

调用方拿到的返回值只有 1 KiB,但这 1 KiB 仍然引用 100 MiB 底层数组。如果它被放入缓存、结构体字段或异步任务闭包,大数组就会跟着一起长期驻留...

9410

Coinbase把AI支出砍了近一半,Token用量却还在涨

用户11563501

有做相关产品的公司也下场留言,Redis的团队说他们专门做了面向Agent的Prompt缓存工具Langcache,就是解决缓存复用的问题;还有做开源LLM网关...

8210

一道LLM推理部署面试题:KV缓存淘汰90% token,显存为什么没降?

用户11563501

如果你对KV缓存的工作机制还比较模糊,有开发者做了GPT-2的2D和3D可视化工具(llm-visualized.com,需在设置中开启KV缓存模式),可以直观...

11810

C盘:我真的快滴出血了!uv:别怕,我这就带你搬家去D盘

小田测测看

uv 默认会将 Python 解释器和缓存塞进用户目录下(通常是 C 盘)。我们要自定义路径,彻底解救 C 盘。

8310

使用 kkRepo 搭建 Python PyPI 私服

kl博主

kkRepo 的一个重要设计点是面向多副本部署:session、权限、token、迁移状态等共享状态存储在 MySQL 中,进程内缓存只作为可重建的本地热缓存。...

8910
领券