摘  要
时代风云变幻，技术日新月异，音乐平台个性化是大势所趋。大数据的时代下，如果连顺势而为都做不到，更别提做时代的弄潮儿了。今天的推荐系统是这样的，明天可能就是那样了，我们要紧抓时代的运势。
本次设计为基于大数据的音乐推荐系统的设计与实现，主要目的是给用户推荐用户可能喜欢的音乐，使用了较为先进的基于协同过滤算法。用户登录本系统可以享受在遨游在音乐海洋里的感觉，能够听自己喜欢的歌曲，真正释放真正的自己。为了方便用户能够尽情的享受本系统，系统的管理员账户可以对不正当音乐、评论、用户进行管理，还可以发布新歌等。
本系统做到了管理员与用户相分离，互不影响。在系统中将音乐推荐设为一项自动服务，每天早晨六点自动更新运行，能让用户每天都有一个新鲜感。除却推荐之外，用户在本系统中还能做到追赶潮流，发现当今热门，还能够去发现最近发行的专辑等。回过头来，用户甚至可以到用户中心，查看自己在本系统都有过哪些行为（点赞收藏，播放等）。随着用户数量的增多，管理员的作用表现得越发的重要。管理员的存在对净化系统，保护系统内歌曲环境有着至关重要的作用。
关键词：协同过滤；音乐推荐；大数据；数据爬取；推荐系统
Abstract
The Times are changing, the technology changes with each passing day, and the music platform personalization is the trend of The Times.In the era of big data, if you can't even follow the trend, let alone do the tide of The Times.Today's recommendation system is like this, tomorrow may be like that, we must focus on the fortunes of The Times.
This design is the design and implementation of the music recommendation system based on big data. The main purpose is to recommend the music that users may like, and the more advanced based collaborative filtering algorithm is used.Users who log in to the system can enjoy the feeling of traveling in the sea of music, can listen to their favorite songs, and really release their real self.In order to facilitate users to enjoy the system, the administrator account of the system can manage improper music, comments, users, and new songs can also be released.
This system separates administrators and users from users and does not affect each other.Music recommendation is set as an automatic service in the system, which is automatically updated at 6 am every morning, which can make users have a freshness every day.In addition to the recommendation, users can also catch up with the trend in this system, find today's hot, but also to find the recently released albums.Looking back, users can even go to the user center to see what they have done in the system (thumb up collection, play, etc.).As the number of users increases, the role of administrators becomes more important.The existence of the administrator is crucial to purifying the system and protecting the song environment.
Key words: collaborative filtering; music recommendation; big data; data climbing; recommendation system
目  录
摘  要 I
Abstract II
1  绪论 1
1.1 研究背景 1
1.2 研究现状 1
1.2.1 国内研究现状 1
1.2.2 国外研究现状 2
1.3 发展趋势 2
2  相关技术介绍 3
2.1 大数据环境 3
2.1.1 全球开源的Linux系统-Ubuntu 3
2.1.2 开源分大数据处理平台Hadoop 3
2.1.3 shell 3
2.1.4 kettle 4
2.1.5 Scala 4
2.2 数据获取与处理 4
2.2.1 Pymysql 4
2.2.2 Urllib.request 4
2.2.3 besutifulsoup4 4
2.3网页端 5
2.3.1 tomcat9 5
2.3.2 spring 5
3  数据采集 6
3.1 数据源确定 6
3.2 爬虫数据库设计 6
3.3 数据爬取 7
4  系统分析 15
4.1 业务分析 15
4.2 系统功能分析 16
4.3 系统可行性分析 16
4.3.1 技术可行性分析 16
4.3.2 经济可行性分析 17
4.3.3 操作性可行性分析 17
4.4 数据字典 17
4.4.1 数据项条目 17
4.4.2 数据流 19
4.4.3 数据处理条目 21
5  系统设计 23
5.1 系统总体模块结构设计 23
5.2 局部模块设计 24
5.2.1 登录注册模块 24
5.2.2 热门推荐模块 25
5.2.3 新歌上架模块 26
5.2.4 个性化推荐模块 26
5.2.5 用户中心模块 27
5.2.6 音乐管理模块 27
5.2.7 用户管理模块 28
5.2.8 评论管理模块 28
5.3 系统角色功能设计 29
5.4 推荐系统数据库设计 29
5.4.1 数据库概念结构设计 29
5.4.2 数据库物理结构设计 32
5.5 大数据平台搭建设计 35
5.5.1 hadoop的安装与配置 35
5.5.2 spark的安装 38
5.6 推荐算法设计 39
6  系统实现 46
6.1 用户界面 46
6.1.1 系统主页 46
6.1.2 用户登录 46
6.1.3 用户注册 47
6.1.4 用户登陆后界面 49
6.1.5 热门推荐界面 49
6.1.6 音乐播放详情界面 50
6.1.7 个性化音乐推荐详情界面 51
6.1.8 个人音乐记录页面 51
6.2 管理员界面 53
6.2.1 管理员登录 53
6.2.3 评论管理界面 54
6.2.4 用户管理界面 55
总结与展望 56
致  谢 57
参考文献 58