LLM融合协同信息，通吃冷 / 暖启动场景

当下大模型向各领域渗透，推荐系统也迎来了LLMRec（大模型推荐） 新范式 —— 大模型的文本理解、世界知识能力，让冷启动用户 / 物品的推荐效果有了质的提升，成为推荐系统领域的热门方向。

但实际落地中，大家肯定都发现了一个致命问题：大模型推荐在暖启动场景（用户 / 物品有丰富交互数据）下，效果反而干不过传统的协同过滤模型！核心原因就是现有 LLMRec 只盯着文本语义，完全忽略了用户 - 物品交互中最关键的协同信息。

为了解决这个痛点，打造轻量、高效的大模型推荐系统解决方案看来是十分有必要的。所以我们试图将协同信息作为独立模态融入大模型，不用改动大模型本体，还能无缝对接各类传统协同推荐模型，一举实现冷 / 暖启动场景双优，实测效果良好，不输现有主流 LLMRec 和传统协同推荐方法，而且训练、推理的额外开销极低。

一、先聊透：LLMRec 的核心痛点在哪？

大模型做推荐的优势很明显，对无交互数据的冷启动用户 / 物品，能通过文本描述（如商品标题、用户行为文本）建模偏好，这是传统协同推荐模型做不到的。但在暖启动场景拉垮，核心就三个绕不开的问题：

1. 1.重语义、轻协同现有 LLMRec 靠文本 token 表征用户 / 物品，只捕捉文本语义，完全忽略了用户 - 物品交互的共现规律（比如同类型用户喜欢的物品、物品的受众特征），而这正是暖启动推荐的核心依据；
2. 2.改大模型代价太高有同学想直接在大模型里加用户 / 物品 ID 嵌入来建模协同信息，但会大幅增加 token 冗余、降低信息压缩率，大模型的预测能力会受影响，而且扩展性极差，不适合大规模推荐场景；
3. 3.现有融合方法效果拉胯部分方案把大模型和协同模型做简单集成，或把大模型语义作为协同模型的特征，要么没真正把协同信息融入大模型推理，要么会丢失大模型的语义优势，两头不讨好。

简单说，现有 LLMRec 的问题就是冷启动行，暖启动不行；融合协同信息，又会丢大模型本身的优势。

三、技术设计：通俗讲清核心模块

我们发现由Prompt 构造、混合编码、LLM 预测三大模块组成，搭配两步调优策略，全程轻量、易实现，我们用大白话讲透核心设计，不搞晦涩的学术术语：

1. Prompt 构造：兼顾文本语义 + 协同信息占位

和传统 LLMRec 的纯文本 Prompt 不同，我们在 Prompt 里加入了用户 / 物品 ID 专属占位符，把协同信息的入口留出来，同时保留用户历史交互物品标题、目标物品标题等文本信息，既保证大模型能捕捉语义，又为协同信息融入做好铺垫。

比如我们的 Prompt 模板：

一个用户对以下物品给出了高评分：【用户历史物品标题列表】。此外，我们有该用户偏好的特征编码【用户 ID】。结合所有信息，预测该用户是否会喜欢标题为【目标物品标题】、特征编码为【目标物品 ID】的物品？回答 “是” 或 “否”。

2. 混合编码：让大模型 “看懂” 协同信息

这是核心模块，做了两件事，实现文本信息 + 协同信息的统一编码：

• 文本编码：大模型原生的 token 化 + 嵌入查找，把 Prompt 里的文本内容转成大模型能处理的文本嵌入；
• 协同信息编码（CIE）：先通过传统协同模型（如 MF）提取用户 / 物品的协同表征（捕捉交互规律），再通过一个MLP 映射层，把这个协同表征转成和大模型嵌入空间维度一致的协同嵌入—— 简单说，就是把协同信息 “翻译成” 大模型能看懂的 “语言”。

最终，文本嵌入和协同嵌入会融合成一个统一的嵌入序列，作为大模型的输入，这样大模型就能同时利用文本语义和协同信息做推荐了。

3. LLM 预测：LoRA 轻量调优，不碰大模型本体

大模型的预训练目标不是推荐，直接用会效果不好，我们没有对大模型做全量微调（成本太高），而是用LoRA 低秩适配技术，给大模型装了一个 “推荐小插件”—— 仅在大模型的注意力层加少量可训练参数，专门学推荐任务，既实现了大模型的推荐能力适配，又把微调成本降到最低。

4. 两步调优策略：冷 / 暖启动两手抓

为了不牺牲大模型的冷启动优势，我们设计了分阶段调优，核心逻辑是 “先让大模型学会做推荐，再让它看懂协同信息”：

• 第一步：训 LoRA，打造冷启动能力：去掉 Prompt 里的协同信息占位符，只用纯文本数据训练 LoRA 模块，让大模型掌握基于文本语义的推荐能力，保证冷启动场景的效果；
• 第二步：训 CIE，融合协同信息：固定大模型和 LoRA 参数，只训练 CIE 模块的 MLP 映射层（可选同时训练协同模型），让协同嵌入完美适配大模型的嵌入空间，实现协同信息的有效融合，拉满暖启动场景效果。

这个策略的关键是，全程不改动已经训好的冷启动能力，实现双场景效果的兼顾。