娃工的优惠码隐藏的有点深,找起来还是很费劲的,刚巧看到有大神在github分享了搬瓦工最新优惠码抓取爬虫。
这篇文章就来分享下如何在linux服务器上以及本地电脑上使用这个爬虫。
一:安装模块
安装两个模块:【BeautifulSoup】【requests】
1.1 BeautifulSoup安装
Centos7 基于python2.7(宝塔默认的python版本是python2.7),安装BeautifulSoup下载到root目录并解压
wget https://www.crummy.com/software/BeautifulSoup/bs4/download/4.5/beautifulsoup4-4.5.1.tar.gz tar -xvzf beautifulsoup4-4.5.1.tar.gz cd beautifulsoup4-4.5.1 python setup.py install
宝塔面板的python版本混乱的很,默认的是python2.7这里需要注意下。
1.2 安装requests
安装requests稍微简单点一行命令搞定,在root目录执行命令。
pip install requests
二:运行爬虫
github地址:https://github.com/luvvien/bandwagon-coupon-code/
git:git clone https://github.com/luvvien/bandwagon-coupon-code.git
其实就一个python脚本,下载到root目录,之后我们执行命令:
python2.7 bandwagon_coupon_spider.py
看图:
这样就爬取到了所有的优惠码。
三:windows10设置
自己到windows10自带的软件商店里面搜索python然后下载。如图:
安装好之后,去github下载爬虫脚本,用python自带的idle打开脚本,然后按F5运行即可,如图:
如果中途遇到【BeautifulSoup】和【requests】模块没有安装的错误,请在cmd中找到python的安装目录找到Scipts目录,【requests】安装执行命令:
pip install requests
看图:
【BeautifulSoup】的安装执行命令
pip install beautifulsoup4
如图:
安装好之后,就可以顺利执行脚本了。在cmd下面执行命令的结果如图:
最后,可能执行脚本的时候还是会遇到其他的问题,文中如没有说明方法,请自行搜索解决。