OpenAdv总览

图解

OpenAdv包含 GAE(广告投放引擎)、GAE-DAS(Binlog监听)、gae-log-streaming(spark-streaming实时日志分析)和业务端四个子系统，它们之间的业务流程如下：

• GAE-DAS

通过监听业务系统mysql binlog实时生成增量索引

• GAE

实时读取增量索引，响应广告请求并产出检索日志; 每个GAE实例都会启动FileBeat进程监测检索日志文件增量并实时发送到Kafka中

• gae-log-streaming

使用Spark Streaming实时分析日志。将检索日志与曝光日志通过sid字段执行JOIN操作，使用JOIN结果进行扣费，并投递扣费消息到kafka中。

• 扣费服务

从kafka中接收扣费消息，操作redis进行扣费, 余额不足时操作mysql下线广告。同时每小时产出一套报表数据，按维度(推广单元、推广计划、创意、地域、标签、广告位)产出7个文本文件，业务系统定时将报表入库以供用户查询

部署

每个子系统会提供Docker一键部署方式，并配详细文档。