博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
python安装scrapy/Twisted遇见的坑
阅读量:7052 次
发布时间:2019-06-28

本文共 879 字,大约阅读时间需要 2 分钟。

hot3.png

入门python,一直听闻有一款非常出门的爬虫框架scrapy,非常想尝试一下,于是通过pip install安装,无奈各种报错(的确是各种报错!!),因为scrapy主要依赖的几个库并不支持python3.x。最后经过我不懈的努力,终于通过各种途径在win10 64位 python3.6的环境下成功安装scrapy。当然,如果经不起折腾通过python2.7安装是最简单的,在这里请允许我吐槽一下python的版本兼容性,已经被不止坑了一次了!下面大概介绍遇见的几个大坑,及解决方法:

  1. lxml等包安装报错,这些可以通过去pip官网下载whl然后本地安装就可以解决,网上的讨论很多也很有效就不多提
  2. twisted安装异常,这个是最坑的,我尝试了很久才解决。首先,twisted不支持python3.x,所以通过官方途径下载的包可以歇了。我找了一些攻略,终于活捉到改版后的野生twisted,链接 

        按照自己系统版本下载安装,安装完成后可以通过命令行测试一下(如果链接失效,请留言)

    

python>>> import twisted

没有报异常应该就是成功

然后就可以快乐得使用pip install scrapy 来安装,如果你看见Successfully,那么就可以恭喜你别高兴得太早了

scrapy框架会提供一个shell供开发者测试,我们可以拿来实验一下安装成果

scrapy shell

如果执行命令行后没有异常,那就才是Successfully

不过遗憾的是,又又又又报异常

ModuleNotFoundError: No module named 'win32api'

你一个爬虫框架到底要依赖多少个库啊?

嗯,不过这个好解决

pip install pypiwin32

安心等吧,下载速度还是挺慢的,至少在它下载的过程中,我就把这个博文写了...( _ _)ノ|

再次调用

scrapy shell

大功告成!!!!!!!!!!

撒花~~~~

转载于:https://my.oschina.net/u/3491123/blog/1563492

你可能感兴趣的文章
VoltDB 简介
查看>>
编译日志
查看>>
FieldType in Lucene
查看>>
为面试准备的知识点
查看>>
使用 CXF 做 webservice 简单例子
查看>>
Spring MVC之@RequestMapping 详解
查看>>
IE9开始支持SVG格式(VML终结)
查看>>
微信相册
查看>>
java验证码/servlet
查看>>
1:spring mvc 概述
查看>>
如何让service被管理器杀死后自动重启
查看>>
Android编程小技巧
查看>>
OSChina 周一乱弹 ——程序员和产品经理的最终决战
查看>>
[4/N] 论得趣
查看>>
[0/N] 论得趣
查看>>
最新SpringMVC框架搭建入门教程
查看>>
滴滴影音(ddPlayer)
查看>>
Scala实现REST操作
查看>>
开放平台鉴权以及OAuth2.0介绍
查看>>
Gnu/Linux主机建议安装的性能工具
查看>>