EIP在做完了广告管理部分的重构之后,又去做了一些不轻不重的需求,之后接到了这个Case查询的实现需求,个人感觉这个需求是一个完整的数据流搭建,虽然简单但是其中的关键步骤值得记录一下,方便之后借鉴。
简单数据流大概是,数据接收系统向爬虫端派发爬取任务,爬虫端爬取到数据推送到数据接收系统的接口,接收到的数据先推到队列中,然后由挂在守护进程里的脚本做数据保存处理。由此完成数据保存流程。
然后是在EIP中完成数据显示,参考之前的工作内容还是主要前端页面搭建,搜索实现,数据源配置等内容。
数据保存部分本次耗时较多,问题主要出现在需求多次变动,最后甚至直接换了个数据保存系统,在另一个系统里重新搭建了一次数据保存流。个人卡住的地方主要是队列的使用,之前没怎么用过,不懂配置流程。主要是在mq等配置文件里做好配置即可,感觉队列在处理数据的过程中是有使用需求的,毕竟一次推送过来的数据过多的话,脚本一次性处理不过来的,放到队列中依次处理是比较好的选择。
然后是EIP部分的内容,页面搭建部分问题不是很大,页面,控制器参考之前的内容,table配置文件配置显示的字段,配置字段的模板和宽度等,配置查找,本次比较简单,因为数据规模较小,所以数据源直接取mysql,搜索记得加权限控制函数,GraphQL的内容主要是Type文件和Schema文件,其他部分略过。