Specification for IE evaluation of task 1 and task 2 Input and output for test file: 输入输出数据均采用XML格式。 根节点为weibos,下面每条数据为一个weibo节点。 weibo节点上面有id属性用于唯一区分一条数据。 weibo内部text内容为该数据的文本内容。 对于任务一,要求在每个weibo节点下面新建employee子节点,其中每对雇员关系对应一个employee节点。 employee节点上面from属性表示该雇员关系的组织或公司名称,name为雇员名称,即具体人名。 对于任务二,仅要求在weibo节点上面添加属性polarity属性,1表示正向,-1表示负向。 Evaluation methods: 评测方式如下: 对于任务一,采用精确匹配和模糊匹配两种方式,分别计算准确率,召回率和F-值。 Exact Match 精确匹配:组织名和雇员名完全正确。 Non-exact Match 模糊匹配:答案组织名包含抽取结果的组织名,或抽取结果的组织名包含答案的组织名。雇员名不进行模糊匹配。 Example 样例:例如对于句子“灾区各级政府全力组织抗灾力争降低灾害损失据新华社北京12月30日电西藏自治区政府副主席泽仁桑珠今天在北京接受记者采访时介绍说, 西藏部分地区发生特大雪灾后,党中央、国务院十分关心西藏的灾情和救灾工作,指示全力做好救灾工作。”中应抽取雇员关系为: 组织:西藏自治区政府,雇员名称:泽仁桑珠 精确匹配结果即要求抽取的组织名为:“西藏自治区政府”,雇员名称为:“泽仁桑珠” 模糊匹配则是组织名称可以为:“西藏自治区”(标准答案包含抽取结果)或“西藏自治区政府副主席”(抽取结果包含标准答案),但是雇员名称必须抽取正确为:“泽仁桑珠” 对于任务二,仅采用精确匹配,对正负两类分别计算准确率,召回率和F-值。 Precision 准确率 = 抽取结果正确数/抽取结果数量 Recall 召回率 = 抽取结果正确数/答案结果数量 F-measure F-值 = (2×准确率×召回率)/(准确率+召回率)