高校大数据课程建设经验分享-EOL
大数据时代智慧校园的建设思路
大数据时代智慧校园的建设思路随着大数据时代的到来，智慧校园建设已经成为教育行业的热门话题。
借助大数据技术，学校可以更好地管理校园设施、提升教学质量、提供个性化的教学服务，为学生和教职员工提供更便捷的生活和工作环境。
本文将就大数据时代智慧校园的建设思路展开探讨。
一、校园数据资源整合在智慧校园的建设中，首先需要对校园内的各种数据资源进行整合。
这些数据资源包括学生信息、教职员工信息、课程信息、校园设施信息等。
通过整合这些数据，学校可以更好地分析学生、教职员工和校园设施的使用情况，为校园管理和教学决策提供支持。
为了实现校园数据资源的整合，学校可以建立统一的数据平台，将各个部门的数据资源进行汇总，并采用大数据技术进行存储和分析，以实现数据的共享和互通。
这样一来，学校可以更好地利用数据资源，提升校园管理的效率和教学的质量。
二、智慧校园建设在校园数据资源整合的基础上，学校可以进行智慧校园的建设，利用大数据技术为校园管理和教学提供更多的支持。
智慧校园的建设可以包括以下几个方面：1. 校园设施智能化：借助大数据技术，学校可以对校园内的各种设施进行智能化管理。
在校园内安装传感器和监控设备，可以实时监测校园设施的使用情况，及时发现设施故障并进行维修。
学校还可以通过大数据分析，优化校园设施的使用规划，提高设施的利用率，降低能源消耗。
2. 学生学习行为分析：通过大数据技术，学校可以对学生的学习行为进行分析。
可以跟踪学生在学习平台上的学习轨迹，分析学生的学习习惯和学习成绩，从而为学生提供个性化的学习服务和辅导。
3. 教学质量提升：学校可以利用大数据技术对教学质量进行监测和评估。
可以通过分析学生的考试成绩和作业完成情况，评估教师的教学效果，及时发现教学中存在的问题并进行改进。
4. 校园安全管理：利用大数据技术，学校可以对校园安全进行实时监测和预警。
可以通过监控摄像头对校园内的安全情况进行监测，并通过大数据分析，预测潜在的安全风险，及时采取相应的安全措施。
高校大数据平台建设与实践
高校大数据平台建设与实践在当前信息爆炸的时代，各行各业都在积极探索和利用大数据技术，以提高效率、降低成本、优化决策和服务质量。
作为教育领域的重要组成部分，高校也在不断打造自己的大数据平台，以促进教学、科研、管理等方面的发展。
一、大数据平台的概念和作用所谓大数据平台，是指通过收集、存储、管理、分析和应用大量数据，为用户提供基于数据的决策支持、业务管理、分析应用等一站式服务的综合性系统。
这种平台可以整合各种数据来源，包括人工采集、传感器监测、社交媒体、公共数据库等，以便各种用户即时、准确、完整地使用数据来支持事务和决策。
在高校中，大数据平台的作用主要有以下几个方面：1. 教学管理。
通过大数据的智能化分析、应用和挖掘，可以帮助高校实现对学生、教师、课程、教学设施等资源的精准管理和优化，以提高教学效果和质量。
2. 科学研究。
通过对数据资源的整合和分析，可以加速科学研究的进程和成果，并为研究人员的科研工作提供更多的参考信息、理论支持和数据支持。
3. 校园管理。
通过对学生、教师、校友等人群的数据分析和管理，可以帮助高校更加有效地规划、管理和改进校园的建设、运营和服务，提高校园管理的智能化水平。
二、高校大数据平台的建设和运营高校大数据平台的建设和运营，需要从多个方面进行考虑和策划。
具体来说，可以分为以下几个环节：1. 数据采集和整合。
高校大数据平台涉及的数据来源广泛多样，如何把这些数据整合起来，统一管理和规范化，是平台建设的首要任务。
2. 数据清洗和处理。
收集到的大数据往往存在错误、不完整、重复等问题，需要进行清洗和处理，从而确保数据的质量和准确性。
3. 数据存储和分析。
对清洗和处理后的数据，需要选用合适的数据存储方案(如 Hadoop、HBase、MongoDB、Redis、MySQL 等)，以及相应的分析工具和技术(如 R、Python、Hive、Spark 等)，进行数据分析和挖掘。
4. 数据可视化和应用。
充分利用大数据、ai等技术, 课程建设
充分利用大数据、本人等技术，课程建设随着科技的不断发展，大数据、人工智能等技术的应用日益广泛，对教育领域的影响也越来越深远。
在课程建设方面，充分利用大数据、本人等技术，可以帮助教育工作者更好地了解学生的学习情况，更有效地进行课程设计和教学实施。
本文将围绕这一主题展开讨论。
一、大数据在课程建设中的应用1.1 学生学习情况的分析通过收集和分析学生学习过程中产生的大量数据，可以帮助教育工作者更全面地了解学生的学习情况，包括学习兴趣、学习能力、学习习惯等方面的信息。
通过大数据分析，可以及时发现学生可能遇到的问题，及时引导和帮助学生解决问题，从而提高教学效果。
1.2 个性化课程设计在了解学生学习情况的基础上，可以根据学生的不同特点和需求，进行个性化课程设计。
利用大数据技术，可以根据学生的学习数据，为学生量身定制合适的学习方案和课程内容，使每个学生都能够得到最合适的教育资源，提高学习效率。
1.3 教学效果评估利用大数据技术，可以对教学实施过程中产生的数据进行分析，评估教学效果。
通过分析学生的学习成绩、学习行为等数据，可以及时了解教学的效果，发现问题、改进教学方法，从而不断提高教学质量。
二、人工智能在课程建设中的应用2.1 智能教学辅助人工智能可以在教学中扮演智能辅导员的角色，帮助教师更好地开展教学工作。
通过人工智能技术，可以为教师提供个性化的教学辅助工具，帮助教师更好地开展课程设计和教学实施，提高教学效果。
2.2 智能学习资源推荐结合人工智能技术，可以为学生推荐更加个性化、符合学生兴趣和学习需求的学习资源，包括教材、课外读物、学习视瓶等。
通过智能推荐，可以帮助学生更快地找到适合自己的学习资源，提高学习效率。
2.3 智能作业批改借助人工智能技术，可以实现作业的智能批改，减轻教师的批改负担。
通过人工智能技术，可以快速、准确地对学生的作业进行评估和反馈，为学生提供更加及时、有效的学习指导。
三、利用大数据、本人等技术的挑战与对策3.1 数据隐私保护在利用大数据、本人等技术的过程中，需要充分保护学生的个人隐私。
大数据技术原理与应用课程建设经验分享
摘要：大数据专业人才的培养是世界各国新一轮科技较量的基础，高等院校承担着大数据人才培养的重任。
大数据专业作为典型的“新工科”专业，在课程体系建设方面还处于摸索阶段。
首先剖析了大数据课程建设的难点，然后介绍了厦门大学建设的大数据课程体系，包括入门级课程、进阶级课程和实训课程，最后分享了大数据技术原理与应用课程建设的经验与方法，包括课程定位、培养目标、预备知识、大数据与云计算课程之间的知识切割、课程内容与学时安排、课程教材、实验环境搭建、配套资源建设、在线服务平台、线下培训与交流等。
关键词：课程体系；MOOC；公共服务平台1 引言大数据带来了信息技术的巨大变革，对社会生产和人们生活的各个领域都产生着深刻的影响，所到之处，或是颠覆，或是提升，让人们深切感受到了大数据实实在在的威力。
对于一个国家而言，能否紧紧抓住大数据发展机遇，快速形成核心技术和应用并参与新一轮的全球化竞争，将直接决定未来若干年世界范围内各国科技力量博弈的格局。
大数据专业人才的培养是新一轮科技较量的基础，高等院校承担着大数据人才培养的重任，因此，各高等院校非常重视大数据课程的开设，大数据课程已经成为信息相关专业的重要核心课程。
北京大学、厦门大学、中国人民大学等一批高校在国内率先开设大数据课程。
2016年，北京大学、中南大学、对外经贸大学3所高校成为国内首批获得教育部批准设立“数据科学与大数据技术”专业的本科院校，此后，教育部又于2017年和2018年分别批准32所和248所本科院校设立数据科学与大数据技术专业。
与此同时，根据教育部公布的“大数据技术与应用”专业备案和审批结果显示，截至目前，已经有累计208所职业院校获批“大数据技术与应用”专业。
“数据科学与大数据技术”专业和“大数据技术与应用”专业一般被统称为“大数据专业”。
随着大数据专业在国内众多高校中开设，大数据专业人才的培养迈入了全新的阶段。
大数据专业作为典型的“新工科”专业，在课程体系建设方面还处于摸索阶段，没有太多可供借鉴的现成经验，需要一大批热爱教学的高校教师积极投身课程体系和教材的建设工作中，共同推动全国高校大数据教学工作不断向前发展。
大数据技术背景下,高校课堂教学的创新路径探索
大数据技术背景下，高校课堂教学的创新路径探索
随着大数据技术的快速发展和广泛应用，高校课堂教学也面临着新的挑战和机遇。
对于如何在大数据技术背景下进行创新的教学，需要教师从教学目标、教学内容、教学方法和教学评价等多个方面进行探索和实践。
高校教师应该明确教学目标，在大数据技术背景下，培养学生的数据分析和处理能力是一个重要的目标。
教学内容应该紧密结合大数据技术的理论和实践，注重培养学生的数据思维和数据分析能力。
在教学内容的选择上，可以结合实际案例，引导学生进行数据的收集、清洗、分析和可视化等工作，让学生亲自动手实践，提高他们对于大数据技术的理解和掌握。
教学方法需要进行创新和改进。
在传统的教学模式下，教师通常是以讲授为主，学生是被动接受知识的。
在大数据技术背景下，教学应该更加注重培养学生的实践能力和创新意识。
教师可以采用案例教学、项目教学、团队合作等方式，让学生在实际问题中进行解决和创新，提高他们的问题解决和创新能力。
教师还可以利用在线学习平台和数据分析工具，提供学生自主学习和交流的机会，培养学生的自主学习能力和合作精神。
教学评价也需要进行创新和改进。
传统的教学评价主要以考试和论文形式，注重学生对于知识的掌握和理解。
在大数据技术背景下，仅仅掌握和理解知识是不够的，更重要的是学生能否应用知识解决实际问题。
教学评价应该更加注重学生的实践能力和创新能力的评价，例如通过大数据分析报告、实际项目的成果展示等形式，对学生的实践能力和创新能力进行评价和反馈。
大数据技术背景下,高校课堂教学的创新路径探索
大数据技术背景下，高校课堂教学的创新路径探索随着信息时代和数字化时代的到来，大数据技术应用范围越来越广泛，对各行各业也带来了深刻的变革。
其中，高校课堂教学也面临着转型和创新的挑战。
如何将大数据技术应用于高校课堂教学，成为了一项重要的任务。
1. 数据分析技术在高校课堂教学中的应用大数据技术最直接的应用就是数据分析。
在高校课堂教学中，教师可以借助数据分析技术来了解学生的学习状态和行为习惯，优化教学方案。
同时，学生也可以通过数据分析来了解自己的学习情况，在自我管理方面发挥更大的作用。
2. 网络教学平台的建设网络教学平台是利用互联网技术来辅助教学的一种手段。
通过网络教学平台，学生可以自主学习、在线交流，教师也可以在平台上发布教学资源、开展课堂互动，达到更好的教学效果。
在大数据技术背景下，网络教学平台可以借助数据分析技术，针对学生的实际情况进行个性化教学，并及时反馈教学效果。
3. 课程资源的共享和开放在大数据背景下，高校可以大力推进教学资源的共享和开放。
通过数据分析技术，系统地归纳、整理和评估教学资源，将这些资源进行标准化处理，形成一个完整、精细的教学资源库。
这样，不仅可以提高资源的利用效率，还能为学生提供多样化的学习参考和教学工具。
4. 利用人工智能技术进行教学改进人工智能技术是大数据技术的重要支撑。
在高校课堂教学中，教师可以借助人工智能诊断学生的学习状态和能力，设计更加符合学生的课程内容。
同时，人工智能技术还可以为学生提供在线学习辅导和答疑服务，满足学生在学习中的及时需求，加速教学进程。
总之，大数据技术为高校课堂教学带来了新思路和新动力。
我们需要不断地挖掘大数据技术在教学中的潜力，探索更加科学、有效的教学方法，为学生提供更好的教育服务。
大数据结合教学实践心得(3篇)
第1篇随着信息技术的飞速发展，大数据时代已经到来。
在这个背景下，教育行业也迎来了前所未有的变革。
大数据技术在教育领域的应用，使得教育模式、教学方法、教学评价等方面发生了深刻变化。
作为一名教育工作者，我有幸参与了大数据结合教学实践，现将心得体会分享如下。
一、大数据助力个性化教学大数据技术在教育领域的应用，使得教师能够根据学生的个性化需求，提供针对性的教学方案。
以下是大数据助力个性化教学的几个方面：1. 学生数据分析：通过分析学生的考试成绩、作业完成情况、课堂表现等数据，教师可以了解学生的优势和劣势，从而为学生提供针对性的辅导。
2. 课程推荐：大数据技术可以根据学生的学习兴趣、学习进度、学习能力等因素，为学生推荐适合的课程，提高学习效果。
3. 个性化作业布置：教师可以根据学生的作业完成情况，合理布置个性化作业，帮助学生巩固所学知识。
4. 学情反馈：大数据技术可以实时监测学生的学习情况，教师可以根据学情反馈，调整教学策略，提高教学质量。
二、大数据促进教学资源共享大数据技术使得教学资源得到了极大的丰富，教师和学生可以共享优质的教育资源。
以下是大数据促进教学资源共享的几个方面：1. 网络课程资源：教师和学生可以在线学习国内外优质课程，拓宽知识视野。
2. 在线题库：大数据技术可以为学生提供丰富的在线题库，帮助学生巩固知识、提高能力。
3. 教学课件共享：教师可以将自己的教学课件上传至网络平台，供其他教师和学生参考。
4. 教学经验交流：大数据技术可以促进教师之间的教学经验交流，提高教育教学水平。
三、大数据推动教育评价改革大数据技术在教育评价领域的应用，使得评价方式更加科学、客观。
以下是大数据推动教育评价改革的几个方面：1. 量化评价：通过分析学生的考试成绩、作业完成情况等数据，对学生的学习情况进行量化评价。
2. 综合评价：结合学生的课堂表现、实践能力、创新能力等多方面因素，对学生的综合素质进行综合评价。
3. 智能化评价：利用大数据技术，实现教育评价的智能化，提高评价效率和准确性。
大数据环境下高校智慧校园建设分析与探讨
大数据环境下高校智慧校园建设分析与探讨作者：汪升华来源：《电脑知识与技术》2016年第19期摘要：百年大计，教育为先。
信息化校园建设一直以来是教育建设的重点。
随着云计算技术、物联网技术等新一代计算机信息技术的产生，高校纷纷依托这些新兴技术建设“智慧校园”。
智慧校园的建设是利用新兴计算机技术实现校园数字信息化，为广大高校师生及管理人员提供全方位的智能化校园生活和便捷的综合性服务，能为不同的个体提供更为精确的，与众不同的个性化定制服务，让广大师生充分享受互联网技术给高校的教学、学习、科研、生活和管理带来的进步。
然而数据的庞大和复杂性使得“智慧校园”的建设面临着诸多挑战，智慧校园的目标还远未达成。
“大数据”技术是一种新型的数据分析技术，能对各类型数据进行深度分析，深度挖掘并能为各项服务应用提供智能决策分析，是“智慧校园”建设不可或缺的一部分。
关键词：智慧校园；大数据；教育资源；数据处理中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2016）19-0218-03近百年里，人类从电气时代步入信息时代后，数据变成为独一无二的传递媒介，在我们的生活中无处不在。
随着互联网和物联网的快速发展，人们的一起日常生活都可以被数据化记录。
在2009年爆发了全球性的甲型H1N1流感病毒疫潮，令人感到震惊的是，在该病毒爆发的前几周，《自然》杂志上的一篇论文准确地预测了H1N1流感的爆发。
这篇由谷歌公司工程师们发表的论文利用计算机技术准确分析预测跨领域疫情爆发的论文，随着疫情的蔓延也引起全世界的关注。
人们逐渐意识到，这些曾经静静记录在各种数据库里的数据。
开始爆发出惊人的价值和巨大的信息，人类已经迈入一个深度挖掘数据的大数据时代[1]。
我国在高校研究大数据中有着得天独厚的条件，根据教育部2016年4月7日发布的数据显示，2015年我国大学生在校人数达到3700万，全世界第一。
全国各类高校达到2852所，位居世界第二。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
高校大数据课程建设经验分享厦门大学林子雨博士/助理教授ziyulin@2017年8月3日山东.烟台高校大数据应用与学科人才培养研讨会内容提要☐大数据课程公共服务平台☐大数据技术原理与应用课程建设经验☐大数据处理技术Spark课程建设经验建设周期四年（2013-2017）投入资金100万+打造11大工程平台每年访问量超过100万次1份精美的平台宣传册制作5分钟培训基地宣传片开展大数据公开课全国高校巡讲计划巡讲10个省、13个高校、1个科研院所、15场公开课，累计听众人数超过2000人全力打造示范班级☐大数据技术基础2013班级☐大数据技术基础2016班级☐大数据处理技术Spark2017班级☐大数据技术原理与应用2017班级入门级大数据在线课程《大数据技术原理与应用》，开辟大数据课程网络讲授平台☐2016年3月28日林子雨主讲《大数据技术原理与应用》在网易云课堂正式上线☐2017年8月1日学习人数超过4万人☐99%为5星级最高评价☐长期稳居热门排行榜第一名☐被众多网友评为“经典课程”☐MOOC版本即将发布建设1个大数据课程教师培训交流基地2016年8月1日-7日第1期2016年8月14日-20日第2期2016年9月2日-4日第3期2017年1月16日-22日第4期2017年7月24日-31日第5期举办4次大数据课程教师研讨会承办3次全国高校教学研讨会承办NDBC2016全国高校大数据教学论坛☐2013年9月，发布在线免费电子书《大数据技术基础》☐2014-2016，发布并持续更新在线教程《大数据软件安装和基础编程指南》☐2016年10月，发布免费在线教程《Spark入门教程》大数据课程实验案例：网站用户购物行为分析Spark课程综合实验案例：淘宝双11数据分析与预测Spark课程实验案例：Spark+Kafka构建实时分析Dashboard大数据课程教师交流群（QQ群号：461510122）促进大数据课程教师之间的沟通和交流截至目前，已经有来自全国300多所高校的400多名教师加入交流群厦门大学、福建师范大学、厦门理工学院、同济大学、浙江财经大学、安徽大学、大连海洋大学、中北大学、河海大学、中山大学、浙江大学、中国农业大学、重庆邮电大学、华中师范大学、武汉理工大学、贵州师范大学、江西财经大学、山西大学、河北经贸大学、东北大学、山东农业大学、海南大学、中国地质大学、武汉大学、中国传媒大学、湖南大学、中国科技大学……微信公众号名称：云谷大数据公众号定位：☐跟踪行业热点☐汇集百家观点☐分享教学经验☐推荐经典书籍内容提要☐大数据课程公共服务平台☐大数据技术原理与应用课程建设经验☐大数据处理技术Spark课程建设经验课程定位实验内容0104教材选择考核方法0205课时安排课程资源0306入门级课程构建知识体系、阐明基本原理引导初级实践、了解相关应用授课对象：本科生（计算机相关专业）知识储备：编程、操作系统、数据库课程定位01教材选择02•云计算概念、云计算体系架构、数据中心、虚拟化技术（平台虚拟化、资源虚拟化、虚拟机的动态迁移、云操作系统）、SOA 架构及开发技术、云数据中心设计与测试、云数据中心维护与管理、云安全架构、桌面云、PaaS 应用开发平台、开源的云计算管理平台Openstack 、Docker 容器、大数据存储与管理•大数据处理架构Hadoop •分布式文件系统HDFS •分布式数据库HBase •NoSQL 数据库•云数据库•分布式并行编程模型MapReduce •流计算•图计算•Spark云计算课程知识要点大数据课程知识要点教材选择02章或节主要内容学时安排1介绍大数据的基本概念和应用领域，并阐述大数据、云计算和物联网的相互关系22介绍大数据处理架构Hadoop23分布式文件系统HDFS 的基本原理和使用方法44分布式数据库HBase 的基本原理和使用方法45NoSQL 数据库的概念和基本原理26云数据库的概念和基本原理27分布式并行编程模型MapReduce 原理和使用方法68流计算基本原理29图计算基本原理410数据可视化概念、工具和案例2课时安排03实验一：熟悉常用的Linux 操作和Hadoop 操作实验二：熟悉常用的HDFS 操作实验三：熟悉常用的HBase 操作实验四：NoSQL 和关系数据库的操作比较实验五：MapReduce 初级编程实践免费在线访问地址：/post/6131/•全套机房上机实验指南，包含题目和答案•用于入门级大数据课程的上机实验课•每个实验都需要连续4节上机课来完成•每个实验的设计，都充分考虑了学生的基础和能力，力求学生能够在连续4节课的上机时间内，顺利完成课程实验，提交实验报告实验内容04大数据课程实验案例《网站用户购物行为分析》•采用2000万条用户购物数据集•案例涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作•涵盖Linux 、MySQL 、Hadoop 、HBase 、Hive 、Sqoop 、R 、Eclipse 等系统和软件的安装和使用方法•案例适合高校（高职）大数据教学，可以作为学生学习大数据课程后的综合实践案例免费访问地址：/post/7499/实验内容0405考核方法☐平时签到考勤10%☐上机实验报告20%☐期末大实验20%☐期末笔试成绩50%大数据软件安装和编程实践指南详细学习如何安装运行各种大数据软件以及如何进行初级编程实践，包括Hadoop 、HDFS 、HBase 、MapReduce 、Spark 、MongoDB 等安装、操作、编程指南访问地址：/post/5663/课程资源06《大数据技术原理与应用》备课指南详细说明了教师如何备课，包括教学大纲、讲义PPT 、授课视频、课后习题、上机题目等访问地址：/post/5637/课程资源06《大数据技术原理与应用》授课视频林子雨主讲的全套大数据课程视频，供老师上课参考。
课程内容涵盖大数据、云计算和物联网概念及其相互关系、大数据处理架构Hadoop 、分布式文件系统HDFS 、分布式数据库HBase 、NoSQL 数据库、云数据库、分布式并行编程模型MapReduce 、图计算、流计算、基于内存的大数据处理框架Spark 、基于Hadoop 的数据仓库Hive 、大数据在不同领域的应用等访问地址：/post/bigdata-online-course/网易云课堂课程资源06《大数据技术原理与应用》实验指南用于机房统一上机，包含题目和答案访问地址：/post/6131/课程资源06实验一：熟悉常用的Linux 操作和Hadoop 操作实验二：熟悉常用的HDFS 操作实验三：熟悉常用的HBase 操作实验四：NoSQL 和关系数据库的操作比较实验五：MapReduce 初级编程实践大数据课程教师交流群（QQ 群号：461510122）促进大数据课程教师之间的沟通和交流截至目前，已经有来自全国300多所高校的400多名教师加入交流群厦门大学、福建师范大学、厦门理工学院、同济大学、浙江财经大学、安徽大学、大连海洋大学、中北大学、河海大学、中山大学、浙江大学、中国农业大学、重庆邮电大学、华中师范大学、武汉理工大学、贵州师范大学、江西财经大学、山西大学、河北经贸大学、东北大学、山东农业大学、海南大学、中国地质大学、武汉大学、中国传媒大学、湖南大学、中国科技大学……课程资源06内容提要☐大数据课程公共服务平台☐大数据技术原理与应用课程建设经验☐大数据处理技术Spark课程建设经验课程定位实验内容0104教材选择考核方法0205课时安排03大数据技术进阶学习课程授课对象：本科生、研究生（计算机相关专业）知识储备：Java 编程、数据库、操作系统、Hadoop先修课程：入门级大数据课程，比如：大数据技术原理与应用课程定位01在线免费《Spark 入门教程》Spark 是当前最热门的大数据处理框架，林子雨编著《Spark 入门教程》，让初学者零基础零障碍学习Spark 。
教程采用Scala 语言编写Spark 应用程序，因此，教程包括Scala 入门和Spark 入门两个部分的内容免费在线教程：/blog/spark/扫一扫手机访问在线教程教材选择02第一部分：快学Scala 第一章Scala 简介第二章Scala 安装第三章Scala 基础声明值和变量、基本数据类型和操作、Range 、打印语句、读写文件第四章控制结构if 条件表达式、while 循环、for 循环、数据结构、数组、列表、元组、集、映射、迭代器第六章类第七章对象第八章继承第九章特质第十章模式匹配第十一章函数式编程函数定义和高阶函数、针对集合的操作、遍历操作、map 操作和flatMap 操作、filter 操作、reduce 操作、fold 操作、函数式编程实例WordCount教材选择02第二部分：Spark速成（Spark2.1.0版本）第1章Spark的设计与运行原理Spark简介、Spark运行架构、RDD的设计与运行原理、Spark的部署模式第2章Spark的安装与使用Spark的安装与使用、第一个Spark应用程序：WordCount、使用开发工具Intellij idea和Eclipse 编写Spark应用程序、Spark集群环境搭建、在集群上运行Spark应用程序第3章Spark编程基础RDD编程、键值对RDD、共享变量、数据读写（文件数据读写、读写HBase数据）第4章Spark SQLSpark SQL简介、DataFrame与RDD的区别、DataFrame的创建、从RDD转换得到DataFrame、读取和保存数据（读写Parquet、通过JDBC连接数据库、连接Hive读写数据）第5章Spark Streaming流计算简介、Spark Streaming简介、DStream操作（DStream操作概述、输入源[文件流、套接字流、RDD队列流、Apache Kafka、Apache Flume]、转换操作、输出操作）第6章Spark MLlibSpark MLlib简介、机器学习工作流（机器学习工作流、构建一个机器学习工作流、特征抽取、转化和选择[TF-IDF、Word2Vec、CountVectorizer、标签和索引的转化、卡方选择器]）、分类与回归（逻辑斯蒂回归分类器、决策树分类器）、聚类算法（KMeans聚类算法、高斯混合模型(GMM)聚类算法）、推荐算法（协同过滤算法）章（或节）主要内容学时安排第1章大数据技术概述大数据的基本概念、关键技术和代表性软件2第2章Scala 语言基础介绍Scala 语言基础语法6第3章Spark 设计与运行原理Spark 概述、Spark 生态系统、Spark 运行架构、Spark 的署和应用方式3第4章Spark 安装和使用方法安装Spark 、在Spark Shell 中运行代码、编写Spark 独立应用程序、第一个Spark 应用程序：WordCount 、使用开发工具编写Spark 应用程序、Spark 集群环境搭建、在集群上运行Spark 应用程序3第5章Spark 编程基础RDD 编程、键值对RDD 、共享变量、数据读写（文件数据读写、读写HBase 数据）6第6章Spark SQL Spark SQL 简介、DataFrame 、读写Parquet 、通过JDBC 连接数据库、连接Hive 读写数据3第7章Spark Streaming 流计算简介、Spark Streaming 简介、DStream 操作3第8章Spark MLlib Spark MLlib 简介、机器学习工作流、特征抽取、转化和选择、分类与回归、聚类算法、推荐算法6合计32课时安排03实验1：Linux 系统基本命令和Hadoop 使用方法实验2：RDD 基本操作实验3：迭代式算法编程实践实验4：自定义分区、排序、合并实验5：利用DataFrame 实现数据库的读写实验6：利用Spark Streaming 实现流数据处理实验内容04备注：将放入《Spark 入门教程》教材一起出版大数据处理技术Spark 课程建设经验本案例涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作，涵盖Linux 、MySQL 、Hadoop 、Hive 、Sqoop 、Eclipse 、ECharts 、Spark 等系统和软件的安装和使用方法案例访问地址：/post/8116/Spark 课程综合实验案例：淘宝双11数据分析与预测实验内容04大数据课程实验案例：Spark+Kafka 构建实时分析Dashboard 案例由厦门大学数据库实验室团队开发，旨在满足全国高校大数据教学对实验案例的迫切需求。