|
一、毕业设计的任务
本课题拟研究设计开发一个多标签图像分类系统，该系统利用注意力机制驱动超图构建，结合超图卷积神经网络实现多标签图像分类。 首先利用深度卷积神经网络提取图片的特征；然后利用注意力模块得到每个类别显著特征，并将其作为顶点构建超图；最后利用超图卷积学习类别间的相关性来预测多标签分类结果。整个模型都在端到端的场景中进行联合训练，以达到最高的性能。最后，开发一个多标签图像分类系统。
二、毕业设计进展情况
（1）数据集的收集整理
收集并整理COCO数据集以进行训练测试，实现了解析该数据集的代码，将数据集的图片内容，图片名称，图片标签信息加载到模型中。
（2）主要模型的设计实现
主要完成了注意力机制驱动的基于图卷积的多标签分类代码的实现。其中具体完成了resnet对图片特征的初步提取，注意力机制驱动的图卷积网络模型的建立，训练。输入图片，可以输出表征属于具体哪一类的表示相关概率的值的信息。
三、下一步需要完成的工作
（1）超图卷积模块的添加
已经实现的模型是基于注意力机制驱动的，在此模型的基础上添加超图卷积模块重新训练以得到预计的模型。
（2）进行原型系统的开发。
根据已完成的模型，构建一个原型系统，输入若干图片，输出他们的多标签分类信息。
（3）论文撰写
报告人： 李祥
|
