推荐系统常用评价指标

1. 基本概念

• 正样本：预测标签与真实标签一致的样本；
• 负样本：预测标签与真实标签不一致的样本；
• 困难样本：预测值与实际标签误差较大的样本；
• 简单样本：预测值与实际标签误差较小的样本。

2. AUC

AUC: Area Under ROC Curve，同目标检测中的 AUC 指标。

• 理解：随机抽取一对正负样本，AUC 是把正样本预测为 111 的概率大于把负样本预测为 111 的概率的概率。
• 意义：当 AUC 为 0.50.50.5 时，模型没有分类能力，完全是随机猜测；AUC 越大说明模型越具有分类能力。

3. GAUC

GAUC: Group AUC，先计算各个用户自己的 AUC，然后取加权平均。公式如下：

4. HR@K

HR@K: Hit Ratio，即命中率，数学公式如下：

分母表示所有的测试集合大小，分子表示每个用户 top-K 推荐列表中属于测试集合的个数总和。

5. MRR

MRR: Mean Reciprocal Rank，即平均倒数排名，其反映的是我们找到的这些 item 是否摆在用户更明显的位置，强调位置关系，顺序性。数学公式如下：

其中，

表示推荐次数，

表示用户真实访问的 item 在推荐列表中的位置，如果不在推荐列表中，则

为无穷大，

为

。

6. NDCG

• G: Gain，表示一个列表中 item 的相关性分数，

表示

相关性得分。

• CG: Cumulative Gain，表示对前

个 item 的 Gain 进行累加。

CG 只是单纯累加相关性，不考虑位置信息。

• DCG: Discounted Cumulative Gain，考虑排序顺序的因素，使得排名靠前的 item 增益更高，对排名靠后的 item 进行折损。

• IDCG: Ideal Discounted Cumulative Gain，最理想的排序列表对应的 DCG。
• NDCG: Normalized Discounted Cumulative Gain，即归一化的折损累计增益。