0%

eosvoter | 爬取 eos 相关数据

因为 eosvoter 这个项目是建立在 eos 投票的基础上的,所以,很多数据都需要从主网或者其他地方获取。

但是,爬虫最大的劣势就是容易被封,所以,有了下面的技术升级路径。

ps: 讲述一个技巧,如何判断该机器是否有权限访问某一网站

使用

curl "https://data.eosbeijing.one/api/listBPByEOS?chain=eos"

如果是 get 请求,并且,带有参数,一定要用 引号 包裹。


切换端口


由于部署服务设备的机器是阿里云,大部分的项目都会封锁阿里云的地址。比如

  • eos 主网
  • dfuse 接口

所以,我只能不断的寻找合适的节点来获取上面的信息,比如

  • eoslaomao
  • eosbeijing

但,有时候请求过于频繁就会导致 IP 被封,所以,目前的一个临时方案就是下面的。


启用另一个服务器


本来打算使用代理的,但是,大部分免费的 IP 都不能有效的使用,要么短效、要么无效,所以,这一步就没弄。

然后,发现另外一台服务器可以获得相关的数据,于是就想着使用另外一台服务器获取数据,然后写到原来服务器的数据库中。

你可以查看我下面的文章。

MySQL | 连接远程数据库

但这个只是暂时的方法,所以,现在的首要任务是建立自己的 IP代理池。

所以有了下面的步骤。


IP 代理池


你可以查看我下面的专栏。

proxy_pool

请我喝杯咖啡吧~