# Go分布式爬虫

纪念年轻人的第一个分布式系统

# 用到的东西

jsonrpc
go开发的。
docker部署互相调用。

# 不足

细节上还有些缺陷，无法监控，get超时了就broke，连接elasticsearch太快，导致itemsaver重置连接被丢失，去重没有做，错误上报日志系统也没有。