TIP

这次项目做的是一个爬虫，搜索引擎的一部分，用的是scrapy框架和django，django写后台管理，利用mysql的binlog机制增量同步到es，为搜索引擎提供基础的数据检索服务。

主要的方面

canal的用法,将mysql增量同步到ES
mysql的binlog订阅机制,主从同步的原理