Update：目前scrapy-selenium已经支持Remote WebDriver，参考#55。
scrapy-selenium是一个Scrapy的中间件，用于让Scrapy支持通过selenium driver访问网页。但默认情况下只支持本地的WebDriver。
scrapy-selenium在和selenium的会话管理上相对完善和稳定，所以，派生一个SeleniumMiddleware的子类，重写即可。
修改scrapy-selenium支持docker-selenium
发表评论