威尼斯555503欢迎你(中国)官网

基于爬虫的垂直视频网站(国家级大创项目)
日期:2020-04-04 00:00:00  发布人:admin  浏览量:7

项目名称:基于爬虫的垂直视频网站设计与实现

执行时间:2018年4月至2018年11月

项目成员:王伟、车欣怡、程子祥、王玉杰

指导教师:兰艳(副教授) 软件工程系

项目简介:(200字以内

本项目架构的表现形式为爬虫系统网站+前后分离的视频网站+视频管理端。从整体上来说,通过爬虫系统进行数据的爬虫,进行入库操作,进入MySQL爬虫数据库中,视频网站和视频网站管理端都依赖于爬虫数据库的视频数据,他们也有独立MySQL数据库。如下列出本项目三个系统的主要功能爬虫系统、视频网站、视频网站管理系统。

创新点:(100字以内)

1.分布式爬虫系统,前后端分离,实现分布式搭建。基于WebMagic框架二次开发制定,通过可视化界面实现爬取操作。

2.数据库根据规则动态建立,避免了不同视频网站数据库表结构不同的弊端。

3.使用redis做缓存和并发处理,数据存取效率较高。

取得成果:

完成了爬虫系统并成功申请软件著作权。

心得体会:(50字以内)

在项目进行中,培养了团队意识,提高了独立思考和解决问题的能力。本项目实现主要依托于在企业实习工作,学习了相关技术,并将其用于独立项目研发,提高了动手实践能力,真切感受到了学以致用的成就感。

相关图片:

核发:0 点击数:7 收藏本页
分享到
相关链接