因为 eosvoter 这个项目是建立在 eos 投票的基础上的,所以,很多数据都需要从主网或者其他地方获取。
但是,爬虫最大的劣势就是容易被封,所以,有了下面的技术升级路径。
ps: 讲述一个技巧,如何判断该机器是否有权限访问某一网站
使用
curl "https://data.eosbeijing.one/api/listBPByEOS?chain=eos"
如果是 get
请求,并且,带有参数,一定要用 引号
包裹。
切换端口
由于部署服务设备的机器是阿里云,大部分的项目都会封锁阿里云的地址。比如
- eos 主网
- dfuse 接口
所以,我只能不断的寻找合适的节点来获取上面的信息,比如
- eoslaomao
- eosbeijing
但,有时候请求过于频繁就会导致 IP 被封,所以,目前的一个临时方案就是下面的。
启用另一个服务器
本来打算使用代理的,但是,大部分免费的 IP 都不能有效的使用,要么短效、要么无效,所以,这一步就没弄。
然后,发现另外一台服务器可以获得相关的数据,于是就想着使用另外一台服务器获取数据,然后写到原来服务器的数据库中。
你可以查看我下面的文章。
但这个只是暂时的方法,所以,现在的首要任务是建立自己的 IP代理池。
所以有了下面的步骤。
IP 代理池
你可以查看我下面的专栏。