入门python,一直听闻有一款非常出门的爬虫框架scrapy,非常想尝试一下,于是通过pip install安装,无奈各种报错(的确是各种报错!!),因为scrapy主要依赖的几个库并不支持python3.x。最后经过我不懈的努力,终于通过各种途径在win10 64位 python3.6的环境下成功安装scrapy。当然,如果经不起折腾通过python2.7安装是最简单的,在这里请允许我吐槽一下python的版本兼容性,已经被不止坑了一次了!下面大概介绍遇见的几个大坑,及解决方法:
- lxml等包安装报错,这些可以通过去pip官网下载whl然后本地安装就可以解决,网上的讨论很多也很有效就不多提
- twisted安装异常,这个是最坑的,我尝试了很久才解决。首先,twisted不支持python3.x,所以通过官方途径下载的包可以歇了。我找了一些攻略,终于活捉到改版后的野生twisted,链接
按照自己系统版本下载安装,安装完成后可以通过命令行测试一下(如果链接失效,请留言)
python>>> import twisted
没有报异常应该就是成功
然后就可以快乐得使用pip install scrapy 来安装,如果你看见Successfully,那么就可以恭喜你别高兴得太早了
scrapy框架会提供一个shell供开发者测试,我们可以拿来实验一下安装成果
scrapy shell
如果执行命令行后没有异常,那就才是Successfully
不过遗憾的是,又又又又报异常
ModuleNotFoundError: No module named 'win32api'
你一个爬虫框架到底要依赖多少个库啊?
嗯,不过这个好解决
pip install pypiwin32
安心等吧,下载速度还是挺慢的,至少在它下载的过程中,我就把这个博文写了...( _ _)ノ|
再次调用
scrapy shell
大功告成!!!!!!!!!!
撒花~~~~