首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >总结三种基于词汇的情感分析方法?

总结三种基于词汇的情感分析方法?
EN

Data Science用户
提问于 2020-10-14 12:17:45
回答 2查看 69关注 0票数 2

我使用基于词汇的方法进行情绪分析,我有很多新闻标题需要被归类为负面的、积极的和中性的,或者在-1 (非常消极的情绪)到+1 (非常积极的情绪)之间。

我正在考虑使用三种不同的方法: TextBlob、Vader ()和LIWC2015 (因为我可以访问它)。这将导致三个预测情绪的每一个标题。

我有两个问题:

  • 这种技术的优缺点是什么?
  • 而且,一旦运行了这三个分析,我如何才能将它们融合成一个单一的度量标准?是否将这3项指标标准化/规范化并对其进行平均化是一个很好的解决方案?
EN

回答 2

Data Science用户

回答已采纳

发布于 2020-10-14 23:55:23

你建议的是一些非常简单的集合学习形式。您需要至少有一个标签数据样本,以评估任何方法。使用这些标记的数据,您可以:

  • 对这三种方法各自进行评估。
  • 评估平均3种方法预测的想法
  • 如果你有足够的标签数据,你甚至可以训练一个模型,它最优地结合了他们的预测(这将是成熟的叠加泛化)。
票数 1
EN

Data Science用户

发布于 2020-10-15 07:17:23

这种技术的优缺点是什么?

上下文不敏感:您提到的库是用于一般情感分析的,因此您可能会遇到一些错误的肯定/错误的负面问题。

  • 假阳性词:字典中不适用于标题-e.g的具有特定情感的词。"low“一般都有负面含义,但在"covid cases remain low"中甚至可能是肯定的)。
  • 假否定句:通常不带有情感信息但会出现在头条新闻中的词,例如,在我们假设已经达成协议并应保持有效的情况下,"New Brexit deal on the table"将是负面的。

低覆盖率:如果我没记错的话,你提到的工具都是基于字典的或预先训练过的.这些字典/培训不太可能是为您的用例优化的。通常,你最好在特定领域的数据上训练你自己的分类器。

据我所知,这些图书馆无法系统地处理逻辑否定或极性逆转等现象。在某些情况下,它们可能包含n克信息,这些信息允许他们将"i_like"区分为阳性,将"i_don't_like"区分为阴性,但可能无法处理大多数长尾案件,如"signed_the_deal“和"uk_signed_the_brexit_deal"中的"didn't_sign_the_deal"”。极性反转指"low number of covid cases" (通常是good -unless,您的领域是科维德的医学研究,更多的案例更好,因为它们代表更多的数据)和"low confidence in the Spanish government" (通常情况下,除非您是押注于西班牙经济的对冲基金经理)之间的“低”情况。

而且,一旦运行了这三个分析,我如何才能将它们融合成一个单一的度量标准?是否将这3项指标标准化/规范化并对其进行平均化是一个很好的解决方案?

我完全同意Erwan的意见,你应该收集一个测试用例样本,你可以用来进行监督评估和参数微调。

正如你建议的方法的潜在风险一样,确保你从不同的模型中得到的分数既不完全相关(在这种情况下,你只需要使用最好/最快的模型),也不能是正交的(在不太可能的情况下,有些模型往往相互矛盾,你应该找出哪些模型是“说谎”的)。

还有另一个潜在的风险,更有趣的是:所有模型都是互补的,涵盖情感领域不同的子空间:如果一个模型特别擅长捕捉政治标题中的情绪,另一个在财经标题中,另一个在体育标题中,你可能最终会得到大量的预测,其中正确的(非中性的)预测必须与两个错误的中性预测相竞争,并且总是被平均化,可能会导致大量的虚假否定。平均的另一种方法是只选择最高置信度预测,特别是如果其他两种预测是中性的。

票数 1
EN
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://datascience.stackexchange.com/questions/83991

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档