2012 中国云·移动互联网创新大奖赛 赛题3：你不知道我知道

2012中国云·移动互联网创新大奖赛赛题3：你不知道我知道1.概述百度知道是中文互联网上最大的问答社区，它建立友好的平台给提问者提问，并将合适的提问推荐给对该问题既有兴趣又有能力回答的用户。

到目前为止，百度知道已经积累了一亿八千万多条问题回答对，而且每天都在快速增长。

百度知道所积累的问答资源为网友快速找到所需信息提供了便捷的途径。

围绕着百度知道聚集了大量的热心网友，他们对于其它网友提出的问题给以回答。

每当一个新问题提出时，把这个问题推荐到能够回答这个问题且有兴趣回答这个问题的合适网友处是百度知道系统应该具备的功能。

百度知道已经建立了根据回答用户兴趣推荐新问题的系统，而为了进一步提高推荐的成功率，更是为了让问题得到更快解决以提高百度知道用户的满意度，需要在向有兴趣回答问题的用户推荐新问题上进行更广泛的探索，本题目就是以此为背景设立的。

2.数据集描述本题目所涉及的数据是一段连续时间中全部百度知道用户回答问题的线上记录，将其分为历史时段数据和未来时段数据两部分。

这段时间中前面大部分天数的数据作为历史时段数据用于挖掘用户兴趣，后面小部分天数的数据作为未来时段数据进行结果评价。

本题目提供给参赛者的数据包括全部原始的历史时段数据和根据未来时段数据构造出来的测评数据。

历史时段数据包括历史上全部用户的回答问题记录，测评数据包括用于测评的用户、对应的待选问题集合。

根据初赛、复赛两阶段安排，本赛题所涉及的数据也分为两个阶段公布。

初赛阶段将公布3个月长的历史时段数据及约10万个测试用户集。

复赛阶段所公布的历史时段数据时间长度为6个月，且历史时段数据中将包含有重复、缺失、不完整等记录，这更接近实际系统中所使用到的数据。

初赛阶段公布的数据包括用户回答问题记录以及用户所回答问题信息。

2.1.用户回答问题记录用户回答问题记录包括一组以日期命名的文件，起止为2011-12-30和2012-03-30，共三个月时长（缺2011-12-31和2012-02-22两天，共90天），每个约60M。

每个文件包含若干行，每行代表用户的回答记录，每条回答记录由日期，时间，问题id（MD5转码），用户id （MD5转码）组成，分隔符为制表符，如下所示：2012-03-30 09:01:01 75388360dc2295239b529d13661fb78f 964d27afdbc28065842f4a8057e19b882012-03-30 09:01:01 a7058dd61a307381fd71382965b3dcfa e939f01720506ca008c946a279d7d7522012-03-30 09:01:01 fec5c6ec8bb6878aec42e1bdd1a375bc a862a8c7fa7904e7aa400481495143062.2.问题信息问题信息包括在用户回答问题记录中所涉及的问题，以及测试用户集对应的待选问题的信息。

用户所回答问题信息包含20个文件，分别是part-00000~part-00019。

每个文件约0.2G，包含若干行，每行代表一个问题的详细信息，共分为13个字段，分割符为制表符。

这些字根据level_new（定义在_bit_pack字段中，见下面_bit_pack字段说明）的值来解析usore 得含义：当level_new=0时，按照结构一解析uscore字段含义，前24位的uscore_value存储的是用户积分，如果需要用户等级可将积分换算成等级，规则详见：/search/zhidao_help.html#如何选择头衔当level_new=1时，按照结构二解析uscore字段含义，前6位的level字段存储的是用户等级，第11位到21位存储的是用户采纳率，获取用户采纳率的C语言语法是：(uscore>>11)&((1<<10)-1)。

注2：_bit_pack：零散问题标记位图struct{unsigned auto_vote:1; //是否系统自动发起的投票unsigned review_deleted:1; //致谢词是否被隐藏unsigned admin_set_closed_flag:1; //管理员判定低质量<留作检索展现使用>unsigned wap_flag:1; //是否来自wapunsigned is_pic_contained:1; //是否包含图片unsigned anonymous:1; //是否匿名提问unsigned level_new:1; //是否为新的等级存储方式（配合uscore使用）unsigned has_excellent_answer:1; //是否有精彩推荐答案unsigned released:1; //是否released状态unsigned locked:1; //是否lock锁定状态unsigned reply_locked:1 //是否回答锁定状态};比如获取该问题是否来自wap:_bit_pack&0x83.任务描述本赛题给出了一组百度知道用户在一段时间内回答问题的记录，以及他所回答问题的相关信息。

据此，参赛者通过建立用户模型判断该用户对于新出现的问题是否有回答的兴趣。

知道用户在一段时间内回答问题的记录反映了用户的兴趣，比较新出现的问题与用户所回答过的问题的相似性可以反映用户是否对该新问题感兴趣。

3.1.输入为了进行模型训练，本题目给出的数据包括用户回答问题的历史记录，用户所回答问题的信息，用于训练的测试用户及在未来时段所回答问题的数据。

回答问题的历史纪录位于数据目录:/share/data/pr下面的user_question_record目录下，以日期为文件名。

用户所回答问题的信息数据位于数据目录:/share/data/pr下面的question_information目录下，包括从part-00000到part-00019共20个文件。

用于训练的用户回答在未来时段回答问题的数据位于/share/data/pr下的standard_answer-train.txt文件中，约5万行，每行包括用制表符分割的4个字段，第一个字段为用户id（MD5），其余3个字段为用户在未来时段所回答问题id（MD5）。

为了测试，除基本的问答记录数据外，本赛题主要输入为测试用户及待选问题集。

测试用户及待选问题集文件名为：candidate_answer-test.txt，包括5万行即5万个用户，每行包括用制表符分割的11个字段，第一个字段为用户id（MD5），其余10个字段为待选问题id （MD5）。

用户需要判断这10个题目id中，哪3个题目id是该用户的真实回答过的。

待选问题集中每个问题均出现在问题信息数据中。

Candidate_answer-test.txt中的条目按照用户id 的字典序排列。

3.2.输出用户建模并给出测试用户集中每个用户所感兴趣的三个问题。

参赛者最终的输出为一个数据文件。

该数据文件包括若干行，每行对应一个测试用户集的一个用户及从待选问题集中选择的三个用户感兴趣的问题，数据之间以\t（制表符）分割，如下所示：uid\t感兴趣问题1\t感兴趣问题2\感兴趣问题33.3.约束条件参赛者通过参赛网站进入计算平台（参赛网站有相关指示），登录后可以操作hadoop命令。

本题目所有的数据放置在HDFS的共享目录：/share/data/PR下。

这个目录下的文件为只读文件，参赛者在计算平台所提供的Hadoop环境上通过MapReduce 编程对数据进行处理。

计算平台也提供了在线评估答案的命令，其使用方式为：evaluate -pr|qc result_file其中evaluate为命令名，"-pr|qc"为评估的题目名称。

对于本题目选择pr参数。

result_file为参赛者所输出的最终结果文件在参赛者工作目录中的路径及文件名。

如果结果文件位于HDFS系统中，参赛者可以首先使用“hadoop fs –get”命令拷贝到其工作目录中，然后调用evaluate命令。

evaluate 命令比较参赛者所提供的最终结果文件中的预测结果和本题目所提供的用户实际回答问题的结果，并输出此次预测的正确率。

参赛者必须提供相应的源代码，才能参与评奖。

相关程序的知识产权归参赛选手所有（不得侵犯他人权益），大赛组委会取得的相关资料仅用于评奖使用。

4.评价标准本赛题在未来时段数据记录中选出了一组用户并为其中的每一个用户准备了10个问题，其中3个问题是用户真实回答过的，而其余7个问题是用户未回答的，参赛者需从这10个问题中选出该用户确实回答的问题。

具体评价方式如下：本题目在未来时段数据时间段内选择回答问题数达到或者超过3个的用户作为测评用户，记为{用户1，用户2，用户3，…，用户n}。

从这些用户所回答问题中随机挑选出3个回答过的问题作为标准答案集合{A1, A2, A3, …, An}，Ak(k=1,…,n)代表用户k在未来时段数据时间段时间段所真实回答得三个问题集。

同时，为一个选定用户，从未来时段数据时间段内不被其回答的问题集中随机选出7个问题作为该用户的错误答案集合，定为Ek(k=1，…,n)。

待选问题集合Lk(k=1,…,n)为每一个用户对应的标准答案集及错误答案集合的和，即：Lk=Ak+Ek (k=1,…,n)。

对外公布选定用户集合及对应的待选问题集。

选手根据历史时段数据提取用户的兴趣模型，从10个待选问题集合中中挑选出3个用户感兴趣回答的问题集合Pk(k=1,…,n)。

评测时比较参赛者选定的用户k(k=1,...,n)所感兴趣的问题集合Pk与标准答案集合Ak的重合程度，即重合的题目数目为0<=Ck<=3(k=1,…,n)。

参赛者预测的正确率计为：(C1+…+ Cn)/(3n)，即为选手的最后成绩，正确率越高，排名越靠前。