天眼查企业
在探索“大数据”商业价值蓝海的进程中，往往只有非公开的大数据才被认为具有区别性的价值，而公开数据的挖掘和应用价值往往被忽略。在此情况下，天眼查成为了大数据研究中公开大数据领域里的领先者，重新挖掘企业的公开数据的潜力和价值。
从事了5年多的php和Python技术研发工作，2017年我开始写代码开发各种爬虫系统，我每日加班一个月的时间终于爬下了天眼查的大部分系统，实现了企业20几个数据纬度的实时爬取和数据库管理。
我们爬一个网站，分析一个网站的技术难度，验证码能不能破解决也是后续工作是否能够继续进行的关键点。解决验证码的方法很简单，我们采用python语言开发的时候，才有平python的图像深度识别技术，可以快速轻松解决网站验证密码的问题。
在面对庞大的数据爬取上，我们常见得问题是封ip问题，凭借多年的经验，轻松的找到一个方法，启动代理池IP，这样就解决了爬天眼查被封IP的问题。
具体启动命令如下：python3 apiServer.py,启动成功后会源源不断的产生大量IP供爬虫使用。
代理池运行结果如下：
Ok，今天先分享到这里，我相信大数据的前景会越来越好，也会不断的充实自己，更乐意结识更多的朋友一起学习，需要爬虫技术交流的朋友欢迎加我qq：2779571288