Text Span的评估指标:
For text-span questions whose answer is string(s), we need to compare the predicted string(s) with the ground truth answer string(s) (i.e., the correct answer). RCstyle QA task generally uses evaluation metrics Exact Match (EM) and F1 score (F1) proposed by Rajpurkar et al. [94] for text-span questions [104, 116]. EM assigns credit 1.0 to questions whose predicted answer is exactly the same as the ground truth answer and 0.0 otherwise, so the computation of EM is the same as the metric Accuracy but for different categories of RC-style QA. F1 measures the average word overlap between the predicted answer and the ground truth answer. These two answers are both considered as bag of words with lower cases and ignored the punctuation and articles “a”, “an” and “the”. For example, the answer “The Question Answering System” is treated as a set of words {question, answering, system}. Therefore, F1 of each text-span question can be computed at word-level by Equation 2.2
《Answering Complex Open-domain Questions Through Iterative Query Generation》论文信息:EMNLP-IJCNLP 2019. Xiaowen Lin, Leo Mehr, and Zijian Wang contributed equally. GitHub论文动机:对于当前的单步检索和问答系统(QA)来说,回答“ Armada的作者的哪部小说将改编为Steven Spielberg的故事片?”等问题具有挑战性。因为该问题很少包含有关缺失实体(此处为作者)的可检索线索。要回答这一问题,需要进行多跳推理,其中必须收集有关缺失实体(或事实)的信息才能继续进行推理。
论文主要实现方法:设计了一个IR,在读取上下文和检索更多支持文档之间进行迭代,以回答开放域多跳问题。主要是对问题进行分解,涉及到新的问题的生成。
《Answering while Summarizing: Multi-task Learning for Multi-hop QA with Evidence Extraction》
论文信息:ACL2019
论文动机: 使用阅读理解(RC)进行的问答(QA)引起了广泛的关注。这项研究的重点是可解释的多跳问答的解释性,该任务要求系统通过推理和收集不连贯的参考文本来返回带有证据句的答案。本文提出了用于查询证据的查询集中提取器(QFE)模型,并将多任务学习与QA模型结合使用。QFE模型是受到提取摘要模型的启发,与现有的独立提取每个证据语句的方法相比,该方法使用带有注意机制的RNN对问题语句进行顺序提取证据语句,因此使得QFE能够考虑证据句子之间的依存关系,并覆盖问题句子中的重要信息。实验结果表明,简单RC基线模型的QFE在HotpotQA上获得了最高的证据提取得分。
论文主要实现方法:第一张图讲的是整体的模型设计,重点是添加了一个QFE模块。模型设计包括首先做Q和CEmbedding,之后分别输入Bi RNN编码,编码的信息进行Bi Attention,再输入Bi RNN,经过self Attention之后,输出经过Bi RNN和全连接层输出。(这里我怀疑他这个模型可能会Train不动,堆了太多层RNN,训练时间大大增加)。第二张图是QFE模块,说是来自于一篇生成的文章,看不太懂,跳过。
《 Effective Subword Segmentation for Text Comprehension 》
论文信息:IEEE/ACM Transactions On Audio, Speech, And Language Processing2018
论文动机:表征学习是机器阅读理解和推理的基础。在最新模型中(应该指的是BERT系列),字符级表示已被广泛采用,用来缓解有效表示稀有或复杂单词的问题。但是,由于忽略单词内部连续字符的语言连贯性,字符本身并不是用于表示或者叫词嵌入的自然最小语言单元。本文提出了一个通用的子词增强嵌入框架,用于学习和组成计算派生的子词级表示形式。
论文主要实现方法:
《Learning to Attend On Essential Terms: An Enhanced Retriever-Reader Model for Open-domain Question Answering 》
论文信息:NAACL-HLT2018
论文动机:
论文主要实现方法: