|
内容综述：
毕业设计的完成内容，主要包括三个部分：数据采集、数据清洗分析、数据可视化。在数据采集部分，首先对寻找包含所需数据的目标网站，将找到的网站进行比较筛选，确定将要进行数据采集的网站。采用JetBrains PyCharm 程序开发工具运用Python编程语言开发数据采集功能，从不同目标网站分别采集到所需数据信息。在数据清洗和分析部分，设计过程中采用Spark数据批处理计算框架，应用其强大、简洁、抽象层次较高的API和用于结构化数据处理且执行类SQL查询的SparkSQL，在此部分的开发过程中采用Scala语言进行编写。数据清洗部分主要从数据是否重复、是否存在字段缺失及根据研究课题自定义的数据清洗条件这几个方面出发。数据分析部分主要基于二手车源信息的属性进行分析研究。最后，数据可视化部分采用Spring Boot核心框架整合MyBatis、Thymeleaf等技术对在分析部分保存在MySQL数据库的分析结果进行图形化展示。
毕业论文的完成内容，主要包括：摘要、前言、绪论、需求分析、概要设计、详细设计、系统测试、结论、参考文献等部分。摘要和前言都概括的说明了系统基本情况。绪论详细说明了系统的选题背景，所研究课题的现状及研究意义。在需求分析部分介绍了系统的主要基本功能，包括需求描述、用例图、用例文档等。在系统概要设计部分展示了系统的架构图、组织结构图，展示本系统的整体框架。并对系统流程进行说明描述，还提供了主要功能的流程图进行展示。在详细设计部分详细阐述了系统主要功能的实现过程。在系统测试部分说明了系统的测试用例，测试成功和失败情况进行了分析。在结论部分概括总结了系统的技术应用、功能实现及系统的不足之处。最后，对在本次论文完成过程中所参考到的文献进行列出说明。
申请人（签名）：
申请日期：
|
