我使用基于词汇的方法进行情绪分析,我有很多新闻标题需要被归类为负面的、积极的和中性的,或者在-1 (非常消极的情绪)到+1 (非常积极的情绪)之间。
我正在考虑使用三种不同的方法: TextBlob、Vader ()和LIWC2015 (因为我可以访问它)。这将导致三个预测情绪的每一个标题。
我有两个问题:
发布于 2020-10-14 23:55:23
你建议的是一些非常简单的集合学习形式。您需要至少有一个标签数据样本,以评估任何方法。使用这些标记的数据,您可以:
发布于 2020-10-15 07:17:23
这种技术的优缺点是什么?
上下文不敏感:您提到的库是用于一般情感分析的,因此您可能会遇到一些错误的肯定/错误的负面问题。
"covid cases remain low"中甚至可能是肯定的)。"New Brexit deal on the table"将是负面的。低覆盖率:如果我没记错的话,你提到的工具都是基于字典的或预先训练过的.这些字典/培训不太可能是为您的用例优化的。通常,你最好在特定领域的数据上训练你自己的分类器。
据我所知,这些图书馆无法系统地处理逻辑否定或极性逆转等现象。在某些情况下,它们可能包含n克信息,这些信息允许他们将"i_like"区分为阳性,将"i_don't_like"区分为阴性,但可能无法处理大多数长尾案件,如"signed_the_deal“和"uk_signed_the_brexit_deal"中的"didn't_sign_the_deal"”。极性反转指"low number of covid cases" (通常是good -unless,您的领域是科维德的医学研究,更多的案例更好,因为它们代表更多的数据)和"low confidence in the Spanish government" (通常情况下,除非您是押注于西班牙经济的对冲基金经理)之间的“低”情况。
而且,一旦运行了这三个分析,我如何才能将它们融合成一个单一的度量标准?是否将这3项指标标准化/规范化并对其进行平均化是一个很好的解决方案?
我完全同意Erwan的意见,你应该收集一个测试用例样本,你可以用来进行监督评估和参数微调。
正如你建议的方法的潜在风险一样,确保你从不同的模型中得到的分数既不完全相关(在这种情况下,你只需要使用最好/最快的模型),也不能是正交的(在不太可能的情况下,有些模型往往相互矛盾,你应该找出哪些模型是“说谎”的)。
还有另一个潜在的风险,更有趣的是:所有模型都是互补的,涵盖情感领域不同的子空间:如果一个模型特别擅长捕捉政治标题中的情绪,另一个在财经标题中,另一个在体育标题中,你可能最终会得到大量的预测,其中正确的(非中性的)预测必须与两个错误的中性预测相竞争,并且总是被平均化,可能会导致大量的虚假否定。平均的另一种方法是只选择最高置信度预测,特别是如果其他两种预测是中性的。
https://datascience.stackexchange.com/questions/83991
复制相似问题