首页
学习
活动
专区
圈层
工具
发布

#缓存

缓存就是数据交换的缓冲区(称作Cache),当某一硬件要读取数据时,会首先从缓存中查找需要的数据,如果找到了则直接执行,找不到的话则从内存中找。缓存的作用是帮助硬件更快地运行。

构建 Claude Code 的经验:Prompt Caching 是一切

用户1640761

工程里常说一句话:“Cache Rules Everything Around Me(缓存支配我周围的一切)”,这条规律同样适用于 Agent。

200

业务稳定造就大模型的降本增效?Claude 核心能力拆解(一)

用户12057812

Claude 在陆续推出Skills、Cowork等产品功能后,国内外厂商快速对标。功能可以抄,但我认为Claude已经基于其扎实的底层能力建设,构建了一条能快...

400

DeepSeek涨价、OpenAI受限,AI免费薅羊毛的日子还剩多少?

大飞记Python

昨天小编还在用DeepSeek API写代码,晚上就收到了计费调整通知,竟然是 涨价

900

注意力架构变迁总结:稀疏、线性、SSM、混合架构如何摆脱 O(L²) 的代价

deephub

自注意力(Self-attention)支撑了 Transformer 近十年,每个 Token 都要关注序列中的每一个其他 Token让这些模型能够推理的机制...

400

从单核到多核:CPU为什么不能再只靠提频变快

Lihua奏

先思考一个问题,在进入 多核 时代之前,在 单核 时代,是怎么让计算机越来越快的?

800

案例:热点账户扣减架构设计

架构之家

在大型系统中,热点账户更新是高并发场景下,一个典型场景。如何在高并发的情况下,实现低延迟和数据一致性,是架构师需要面临的挑战。

1000

Claude Sonnet 5:更强,但更贵,每任务成本反超Opus 4.8

用户11563501

Anthropic 刚发布的 Claude Sonnet 5,在 Artificial Analysis 的智能指数上拿到了53分——比上一代 Sonnet 4...

1000

容器启动慢到怀疑人生?这几招我用下来,启动时间直接砍半

悠悠12138

这样写一来是合并成一层,二来 rm -rf 清掉了 apt 的缓存,不然那些缓存文件会留在这一层里白白占体积。

7110

最近的一些杂感-202606

jeanron100

我统计了下自己最近的一些token消耗情况,94%以上都是走缓存的,所以看起来token数字比较高, 如果按照输出token不走缓存大概在400万tokens/...

6710

读者点单·05|Token 节省专题:把 AI 编程账单砍 60% 的 7 个工程化手段

陆业聪

这是降本效果最显著的一招。原理很简单:Claude API 的 Prompt Caching 机制会缓存 system prompt 和靠前的 messages...

12310

GPT-5.6来了,强到没边,但普通人还摸不到

Ai学习的老章

以前 OpenAI 的命名简直是灾难,5、5.1、5-pro、5-mini、o1、o3……普通用户根本分不清谁强谁弱

9710

Go 切片截取后,为什么大数组迟迟无法释放?

技术圈

调用方拿到的返回值只有 1 KiB,但这 1 KiB 仍然引用 100 MiB 底层数组。如果它被放入缓存、结构体字段或异步任务闭包,大数组就会跟着一起长期驻留...

7210

Coinbase把AI支出砍了近一半,Token用量却还在涨

用户11563501

有做相关产品的公司也下场留言,Redis的团队说他们专门做了面向Agent的Prompt缓存工具Langcache,就是解决缓存复用的问题;还有做开源LLM网关...

6210

一道LLM推理部署面试题:KV缓存淘汰90% token,显存为什么没降?

用户11563501

如果你对KV缓存的工作机制还比较模糊,有开发者做了GPT-2的2D和3D可视化工具(llm-visualized.com,需在设置中开启KV缓存模式),可以直观...

9910

C盘:我真的快滴出血了!uv:别怕,我这就带你搬家去D盘

小田测测看

uv 默认会将 Python 解释器和缓存塞进用户目录下(通常是 C 盘)。我们要自定义路径,彻底解救 C 盘。

6110

使用 kkRepo 搭建 Python PyPI 私服

kl博主

kkRepo 的一个重要设计点是面向多副本部署:session、权限、token、迁移状态等共享状态存储在 MySQL 中,进程内缓存只作为可重建的本地热缓存。...

8510

面试官追问:Java 中 1==1 为 true,1000==1000 为啥是 false?答案就在这

HELLO程序员

GSK(中国) | 全栈架构师 (已认证)

Java 就开始 “耍小聪明” 了:它根本不会新建两个对象,而是直接把缓存好的同一个 Integer 实例给你。

7700

2026年全球LLM定价权演进、商业模式重构与成本效益分析深度报告

jeffery_jcm

在人工智能发展史上,2026年被视为大语言模型(LLM)从“技术奇点”转向“产业奇点”的关键节点。这一转变的核心驱动力已不再仅仅是模型参数规模的线性扩张,而是围...

21410

使用 kkRepo 搭建 Maven 私服

kl博主

kkRepo 的一个重要设计点是面向多副本部署:session、权限、token、迁移状态等共享状态存储在 MySQL 中,进程内缓存只作为可重建的本地热缓存。...

9410
领券