node请求api,对方限制请求次数的如何解决?动态IP?
发布于 4 天前 作者 occultskyrong 268 次浏览 来自 问答

需求: 根据条形码获取对应的商品信息,通过中国商品信息服务平台提供的http://search.anccnet.com/searchResult2.aspx?keyword=6914068019529进行数据爬取。 问题: 现在遇到一个问题就是这个服务器是根据IP(?)来限定单位时间内请求次数的(大概是1min 5次),数据量比较大,肯定不可能这么低频次的完成数据获取。 所以,如何解决这种限制请求次数的问题? 使用动态IP的话,参考过

nodejs通过代理(proxy)发送http请求(request)

解决方案中提出的“代理服务器”是自己搭建的?参见 代理服务器,所以是自己有多个ip的情况下才能完成??

因为网上有很多卖动态IP代理,但基本都是pptp的,未找到相关的解决方法,如何用pptp来完成request请求的转发?

爬虫程序遇到的些许问题,特来讨教 做爬虫需要大量ip 请问如何实现一个多 IP 分流代理系统

搜了很多个问答,但都没有具体的解决方案,是否有人可以提供个思路?

4 回复

这种一般都要申请人家的同意,给你一个 api key,类似 github 才行吧,不然就算你有方案了,人家的后台也可以相应的改。

@steambap

不可能吧,没听说过写爬虫的有人去申请“api key”。。。 都是模拟HttpClient。。。。 毕竟这些接口本身不是提供公用的,所以不太可能有“api key” 一说。。。。、

我之前就是去某个网站上花几块钱搞了几万个代理ip,就是质量不太行

试试大象或西刺代理

回到顶部