crawling_pythonSpider

简介

本脚本使用面向对象的编程思想，借助爬虫技术，实现对pythonSpider网站的源码，图片爬取与下载。

主要用于提高对python的爬虫熟练度

使用帮助

环境准备

将pythonSpider部署到web服务中，可以将文件夹放入phpStudy或者其他web服务的根目录下

安装库

pip install -r requirements.txt

演示

启动程序

python crawling_pythonSpider.py

输入网站路径

我的路径为：

http://127.0.0.1/python-spider/

可以看到，目录中已经存在网页源码，js源码与图片