基于大数据的在线就业课程推荐系统

基于大数据的在线就业课程推荐系统
文／陈永康 章美仁
源自文库
摘要：针对目前在线教育与网络招聘的发展情况，通过对 现有平台运营模式的分析研究，提出构建基于大数据的在线就 业课程推荐系统。本文详细阐述了在大数据时代通过数据分析 将在线教育与网络招聘融合发展的前景及必要性，最后通过实 验，运用Apriori算法和协同过滤算法对真实的在线学习数据，网 络招聘数据以及个人信息进行关联规则挖掘，提供个性化课程 岗位推荐，得出在大数据背景下在线教育与网络招聘融合发展 是未来准确方向的结论。
★基金项目：浙江省大学生新苗计划项目（2016R430007）。
利用数据价值的最好方式。
1、大数据驱动下在线学习就业融合发展
分析当下在线教育与网络招聘割裂发展的现状，提出“在 线教育+数据分析+网络招聘”的新发展模式。
以数据分析、关联匹配等大数据技术作支持，用户能力培 养为纽带，将“用户”、“学习资源”、“岗位信息”串联贯 通，实现为每一位用户提供个性化的学习就业规划以及相匹配 的学习资源和岗位信息。
然而随着大数据时代的到来，持续增长的课程资源和职位 信息却为用户的选择带了困扰。用户面对海量的职位信息与在 线课程资源时往往难以抉择，不知道所学或所拥有的技能对应 哪些热门就业岗位，不知道什么岗位适合自己，不知道相关岗 位需要掌握哪些课程知识，不知道哪些课程是优质资源。
针对这一现象，我们清楚地认识到，线上的学习就业与 线下的学习就业一样，具有密切的联系，是难以分割，互为因 果的整体。而在他们之间存在一个亟需解决的问题——如何解 决课程自主学习与职业选择之间的关联决策。以大数据为技术 背景，通过对现有模式研究，提出只有以用户个人能力为链接 点，将在线教育与网络招聘融合发展，为用户提供个性化的从 学习到就业一条龙的生态服务才是大数据时代规避数据风险，
网络招聘从兴起到发展的十几年中凭借其速度快、成本低、 招聘范围广、无地域限制、高效便捷等优势快速占领传统招聘市 场。传统的求职就业模式在互联网发展的冲击下被迫转型甚至逐 渐消亡。据艾瑞咨询统计显示：从2014Q1到2015Q4，企业通过 城市公共就业服务机构进行招聘的岗位越来越少，2015Q1同比 减少14.9%，全年总人数减少9.7%；通过公共就业服务机构进 行求职的求职者人数也在不断下降，2015Q1同比减少14.4%， 全年总人数减少7.6%。艾瑞分析认为，在互联网大环境下，传 统招聘模式覆盖率低、效率差、成本高的弊端逐渐显现，同时随 着互联网对各个行业的渗透，传统行业也倾向采用互联网招聘的 方式。传统招聘规模下降显而易见。
2、构建基于大数据的在线就业课程推荐系统
2.1 个性化推荐技术 个性化推荐是推荐系统根据用户的个性化特征，如兴趣、 爱好、职业或专业特点等，主动地向用户推送适合其学习需要 或可能感兴趣的信息资源的一种推荐技术。 随着用户的数据种 类与数据量迅速增加，当餐饮、娱乐、学习、健身等平台的数 据汇集到一起时，针对单一用户可提供的个性化推荐服务将不 单单是割裂的餐饮、学习、购物等推荐。如阿里巴巴在云栖大 会上提及的：早年的阿里巴巴，淘宝，支付宝，1688，口碑， 天猫等每一个业务板块都有自己搭建的数据平台，数据共享变 得十分困难。一个统一全部异构的技术平台是未来的方向。在 这样的模式下，用户将会获得更全面，更精确，更有效率和价 值的个性化推荐。而这也是在线教育与网络招聘的发展方向。 此外，通过个性化推荐技术，用户在工作、学习、出游等
关键词：大数据；在线教育；网络招聘；推荐系统；融合 发展
引言
随着互联网的快速发展，在线教育与网络招聘随之崛起， 人们的学习模式和求职招聘方式得到了深刻的改变。
在线教育的出现使“教”与“学”得以在不同的时空进 行，打破了时间和空间的阻隔，大大便捷了教学的进行。网络 资源的可共享性使得众多稀缺、珍贵、高质量的教学资源得以 广泛廉价地传播，有效缓解了不同地区教育资源不公平的情 况，促进了教育的公平性。同时，在教与学的过程中，用户的 在线学习，经过线上学习规划，名师视频学习，线上习题测 试，学习论坛讨论等在线学习行为，产生了海量的学习数据。 这些数据对线上教学的进一步优化有十分重要的意义。
72
生活活动上的经验也会被推荐给有需求的用户。通过对所有用 户数据的分析获得用户画像，找到并推荐与目标用户具有相似 兴趣偏好的用户或相关的信息资源。以此来满足用户对于信息 资源的个性化需求。
2.2 Apriori算法 Apriori算法的经典实例便是“尿布与啤酒”。通过对商品 购买情况的记录和分析，帮助商家对用户的购买习惯有一个更 深入的了解，从而制定出更优的销售策略。 Apriori算法的基本原理是先从数据集中获得频繁项集，即 将常常共同出现的物品集合作为一个项集，并获得该项集对应 记录出现的次数。将该值除以数据记录的总和以求得项集支持 度，进一步通过与项集中元素的支持度作比获得可信度或置信 度。支持度与可信度是将某一项集的关联分析量化，为判断分 析成功与否提供了重要的判断依据。 2.3 协同过滤算法 个性化推荐技术能克服传统资源检索方式的缺陷，其中， 协同过滤推荐技术是一种应用最为广泛的个性化推荐技术。协 同过滤算法通过对用户视频学习、线上作答、社区讨论、求职 简历、工作履历、课程选择等数据集的挖掘分析后为每一位用 户形成一个用户画像，在此基础上将不同用户画像进行对比分 析，进一步为目标用户寻找到与其兴趣爱好、学习情况等最为 相近的用户集，将他们所关注的项推荐给目标用户。 协同过滤算法实现主要分为数据的表示、最近邻居集的匹 配以及top-N数据集的推荐。其基本原理首先对一个历史数据 集进行数据分析，通过一张i*j的表格呈现历史数据，i和j分别代 表用户和与用户相关的兴趣项。例如：在获取的海量的用户学 习到就业的一系列数据中，用户的视频学习、测验成绩、工作 经历都会被量化作为j中的数据项。当一个新的数据集出现的时 候，就可以通过协同过滤算法进行邻居匹配，为当前数据集找 到“最近邻居”集。并通过余弦相似性和相关相似性度量邻居 集与目标用户的相似程度，最后根据邻居集的数据特称对当前 数据集进行课程或岗位等其它兴趣项推荐。 2.4 算法及个性化推荐的实现 在“在线学习+数据分析+网络招聘”的新模式中，系统采 用python语言制作爬虫，抓取用户信息，在线课程信息与招聘 网职位信息以及与之相关的评论内容。通过Apriori关联算法分 析课程与职位之间的关联规则以及基于就业技能的课程频繁项 集，使用协同过滤算法对就业岗位与在线课程进行推荐与决策 支持。实现了根据用户自身爱好和特长，帮助用户选择符合自 身特点的热门岗位，并对该岗位所需的在线课程进行推荐。 通过Apriori算法，以“能力需求”为链接点，对“在线课 程”“线上岗位”“用户信息”进行频繁项集分析，获取“课 程－能力”“能力－岗位”“能力－用户”之间的关联，从而 获得“课程－岗位－用户”之间关联的频繁项集。通过测试集 数据库对获得的频繁项集的检验，不断调整最小支持度获得最 合适的支持度设定值，并进一步计算出符合要求的项集的可信 度。在此基础上，当目标用户选择某一课程或某一岗位时就会 在系统中出现“尿布与啤酒”的��
通过在线学习就业的融合发展，针对 “在校大学生”、 “应届毕业生”、“在职人员”三类用户群体个人能力培养的 不同诉求设计了五条用户数据分析和资源提供的流程。
1）专业——能力——在线课程 2）在线课程——能力——岗位 3）岗位——能力——在线课程 4）岗位——公司——能力培养 5）能力——岗位——在线课程 五条推荐模式是网络招聘与在线学习在大数据迅猛发展的 背景下，共享并挖掘彼此的用户数据，通过相关数据挖掘、推 荐算法所产生的新的服务模式，也是在线教育与网络招聘利用 大数据这一技术在融合发展之后新的前景。 可以看到，五条新流程都出现了“能力”一词。能力作为用 户最初与核心诉求，是在线学习的最终目的，是网络求职的首要 条件，自始至终贯穿在学习到就业这一流程之中。将其作为新模 式下的核心链接点，在分析用户能力诉求和工作能力的基础上为 用户推荐课程及岗位，在了解用户求职取向的基础上对用户进行 能力培养等等紧密相连的服务模式都可以实现。而实现这些新模 式的首要条件是在线学习与网络招聘的融合发展，充分利用各自 的服务获取用户学习就业数据并在数据分析的基础上进行关联匹 配，为彼此的个性化推荐服务提供重要依据。