论文（设计）题目

基于Hadoop的课程推荐系统的设计与实现

1.课题研究立项依据（所选课题的来源、科学意义、目的）

（1）课题来源

随着互联网的高速发展，我国正在接受线上教育的用户逐年增加，特别是2019年到2020年，受新冠疫情的影响，线上教学已经成为了全国大中小学的教学活动的主要手段。然而在信息高速发展的同时，也造成了信息量过大的现象，为了解决这一现象，利用Hadoop的分布式存储系统，可以解决大规模海量数据的存储，在这基础之上建立一个行之有效的课程推荐系统，已成为网络教学活动的一个重要课题。

（2）科学意义

①达到为用户个人提供课程推荐的目的。 ②提供了热门推荐和个性化推荐，丰富了推荐广度。 ③提高用户检索课程效率，增加高品质课程的曝光率。 ④研究和使用 Hadoop平台，具有完善的课程后台管理。 ⑤系统可以独立运行，也可以作为其他在线课程的一个子系统，为其提供课程推荐功能

（3）选题目的

随着计算机网络的不断渗透，人们的生活、工作与学习方式也在慢慢发生变化传统的对数据的处理一般都采取人工的方式，信息的获取、整理、修改、存储等工作还停留在人工阶段，这种方式一方面需要花费大量的人力、物力和金钱，交互起来比较困难，而且会浪费时间。另一方面对用户信息的管理，特别是随着用户数量的递增，查询、修改起来特别困难，如何有效的挖掘数据的有效信息，在数据挖掘方面具有很重要的意义。

2.文献综述（国内外研究现状、研究方向、研究进展、存在问题等，人文社科类不少于1200字，理工类、艺术类不少于800字）

（1）国内外研究现状

1）国内现状

国内推荐系统最早应用于电子商务领域，以阿里巴巴为代表的电子商务，旗下的淘宝拥有上亿用户、诸多的线上产品。淘宝中许多场景都用到了Hadoop和Spark等大数据技术进行大规模数据的处理和计算，主要包括了浏览后推荐、收藏后推荐、购买后推荐等场景。淘宝的推荐功能在各个场景中都有体现，覆盖范围广，提高了用户购买商品的速度。

国内的教育行业近几年来发展迅猛，受到了许多学生的青睐。学习通、腾讯课堂、简单学习网、慕课等都是大学生较为熟悉的教育平台。其中，慕课的大数据应用在教育行业内值得借鉴，用户经过一段时间的学习后，推荐系统会根据用户的学习情况给用户推荐合适的课程，从而提高教学品质，实现用户体验式教学。慕课还与众多的课程提供商合作，利用大数据技术对课程分类，属于同一类的课程将会被推荐给用户，慕课还为老师提供了学生行为信息，可实时了解学生的学习进度，也可给老师留言或评论，促进老师更好的为学生服务。

2）国外现状

国外最知名的推荐系统是亚马逊，早在2013年，亚马逊在预测式的购物推荐中就使用了知名的基于物品的协同过滤算法，为每一个注册的用户提供了个性化服务。随后，推荐系统在FaceBook、沃尔玛公司都得到了广泛应用，用户能快速定位到心仪的商品，增加了用户的购物体验，这是推荐系统的初衷。国外将深度学习算法CNN引入到推荐系统，并提出了神经网络框架，在实现高推荐精度的同时提高了推荐算法的健壮性。

国外的线上教育平台较为完善，目前，世界上发展最为成熟且用户最多的 MOOC 三巨头是 Coursera、Udacity 和 edX。每个人都能在平台上获得各种优质的资源。国外的推荐系统正处于高速上升时期，应用于包括教育在内的各个行业领域，加速了教育平台的发展，推动了学生学习的动力。国外在推荐系统领域获得的成就是值得被借鉴的，国内大数据技术刚刚兴起，正处于蓬勃发展期，需借鉴国外的先进技术并力求获得突破。

（2）研究方向

完整的个性化推荐系统应该包括用户界面、日志系统和推荐引擎三部分。用户界面有两个作用，一方面给用户展示推荐结果，另一方面收集用户日志信息。Hadoop的核心是分布式文件系统，支持大规模数据的分布式存储，且具有很好的可伸缩性，可以很好的解决可扩展性的问题。基于Hadoop的课程推荐系统依据课程的特征，用户的评分记录，为用户推荐你看可能感兴趣的课程，减少用户的检索和选择时间，为每一位教师、学生提供更便捷的教学活动，具有很好的推广价值。

（3）研究进展

目前，绝大部分购物网站都有推荐系统，能够根据用户已经购买的商品对用户进行商品推荐，而学生课程推荐系统与用户购买商品的逻辑具有一定的相似性，所以可以根据学生已经选择的课程对学生进行课程推荐。建立课程推荐系统的关键是选择推荐算法。发掘用户兴趣主要有两种形式：显式获取和隐式获取。显式获取是指用户主动提供自己的兴趣偏好，进而获取用户的个性化向量。用户在初始界面可以挑选与课程相关的关键词并设为标签，隐式获取则是通过用户访问的相关信息更新用户的个性化向量，即以问答社区抓取的浏览痕迹作为基础。推荐系统通过分析用户的历史数据，从而将用户感兴趣的信息等主动推荐给用户，其中最常见的是协同过滤推荐，

（4）存在问题

当前，协同过滤推荐技术面临多方面的挑战。主要有：①数据稀疏性问题。面对海量数据，一般用户的评价信息所涉及到的物品只占物品总数的 1%-2%，经两个用户共同评价的物品更少，评估矩阵数据相当稀疏，难以找到用户或物品的最近邻居，推荐质量降低严重。②可扩展性问题。协同过滤算法需要在整个数据空间上进行全量计算，当数据量较大时，算法会遇到严重的扩展性问题。③硬件条件制约问题。传统的推荐技术都是针对单机运行模式的，面对超大数据集时，很容易受到CPU速度、存储容量等计算机硬件条件的制约。

3.课题研究的基本内容及预期目标或成果

基于Hadoop的课程推荐系统的设计与实现是一个提供给大学生的课程推荐平台，提供了用户可能感兴趣的课程，可以在系统查看课程具体信息，评分等。

核心功能：

1）用户端：①用户注册/登录：用户通过注册并选择自己感兴趣的内容。②课程推荐：用户选择自己感兴趣的内容，会生成个性化的推荐系统，在未选择感兴趣内容时，系统会根据近期点击量较多的课程推荐给用户。③课程搜索：用户可以按照课程的分类搜索，或者关键词搜索。④查看课程：按专业、年级、课程名查看课程的相关信息。课程的详细信息包括课程概述、授课教师、面向年级等。⑤查看个人信息：用户可以通过查看个人信息修改密码，修改个人信息、查看对课程的评分。

2）管理员端：①课程管理：增加、删除、修改、查询课程信息。②用户管理：删除、修改、查询用户信息。③评分管理：删除、查询、审核课程评分

4.课题的研究方案（拟采用的研究方法、技术路线、试验方案）

（1）研究方法

通过查阅资料、文献，了解基于Hadoop的课程推荐系统的业务流程，分解流程任务，找出合适的方法、正确的掌握线上教学网站的实现方法。

（2）技术路线

本系统基于Hadoop平台，主要运用Java语言和MySQL数据库共同来实现系统的开发，用MapReduce计算数据，保证了系统的效率。

（3）详细的实现步骤：①进行系统可行性分析，并对线上课程推荐系统进行调查，收集需要用到的信息，在经过需求分析，汇总得到该系统要实现的功能。②将信息汇总，建立后台数据库并建立所需表单。③设计相关页面，编写程序代码，实现前后台数据交互。④完成整体开发，运行程序，并进行最终测试。

5.研究进度安排

2021年11月5日—2021年11月7日       毕业设计选题

2021年11月8日—2021年11月28日      文献综述及开题

2021年11月29日—2022年4月30日      毕业设计和毕业设计说明书撰写

2021年12月22日       初期检查

2022年3月16日        中期检查

2022年4月20日        终期检查

2022年5月1日—6月12日       查重、审阅、答辩、成绩评定、设计归档

6.主要参考文献

[1]张立燕,方维,马华林.一种基于大数据的个性化推荐系统[J].福建电脑,2017,33(02):55+7

[2]张永霞,王洪波,程时端.一种基于Hadoop的个性化推荐系统架构[J].新型工业化,2012,2(08):7-12.

[3]赵泉.大数据背景下的智能课程推荐系统研究[J].信息与电脑(理论版),2019(09):101-103+106.

[4]田明. 个性化课程资源推荐系统的设计与实现[D].山东师范大学,2018.

[5]应毅,刘亚军,陈诚.基于云计算技术的个性化推荐系统[J].计算机工程与应用,2015,51(13):111-117.

[6]徐卫克,鞠文飞.使用Python根据教务数据建立课程推荐系统[J].中国新通信,2019,21(08):188-190.

[7]李星雨,宋娜,何锦儿,胡雪婧,刘小萌.基于协同过滤算法的个性化课程推荐服务[J].现代信息科技,2019,3(24):121-122+125.

[8]高立强,缪凯.改进型协同过滤的网络课程推荐算法[J].电脑与电信,2021(06):53-56.

[9]卢加元,吴鑫.MOOC课程平台的设计与实现[J].中国教育信息化,2015(05):69-72.

[10]沈苗,来天平,王素美,彭一明,高志同.北京大学课程推荐引擎的设计和实现[J].智能系统学报,2015,10(03):369-375.

[11]Breslow L , Pritchard D E , Deboer J , et al. Studying Learning in the Worldwide Classroom Research into edX's First MOOC[J]. Research & Practice in Assessment, 2013, 8:13-25.

[12]Shankar D , Narumanchi S , Ananya H A , et al. Deep Learning based Large Scale Visual Recommendation and Search for E-Commerce[J]. 2017.

[13] Shalaby W ,  Alaila B E ,  Korayem M , et al. Help me find a job: A graph-based approach for job recommendation at scale[C]// 2017 IEEE International Conference on Big Data (Big Data). IEEE, 2017.

[14]赵泉.大数据背景下的智能课程推荐系统研究[J].信息与电脑(理论版),2019(09):101-103+106.

[15]羊雪玲. 基于Django的课程推荐系统的设计与实现[D].华中科技大学,2016.

[16]杨贺腾山,李晶.基于Hadoop网络课程推荐系统的研究与设计[J].佳木斯大学学报(自然科学版),2016,34(06):905-908.