2.1 数据模型存储选型

2.2 整体架构

2.3 指标分层及一致性设计

2.4 稳定性设计

由于数据链路长，稳定性较差，问题主要集中在Flink、CH环节，恢复周期长。对于大屏等核心任务，数据的实时性和准确性要求较高，以下是历史发生过的问题：

• CK分区太多，写入阻塞

• CK rename操作，节点太多，表结构同步慢，导致写入报错，大量消息积压，丢消息

• Flink机房网络故障

• flink 偶发丢消息，未定位到原因

• checkpoint失败

• jdq分片不均，单个分区消息增加400倍，消息积压

• 维表数据未更新，导致丢失字段

• 上游运单模型积压，丢失部分字段

• 数据积压

• 加工逻辑复杂，偶发乱序问题

• state未保存，丢数据

• CK跨分区字段查询明细，性能较低

• 代码编写使用了Flink序列化未支持的格式、循环过多，导致算子背压严重

• 逻辑复杂，上线风险高且回滚困难

2.5 扩展性设计

基于UCC配置，通过配置灵活适配业务诉求，节约开发成本，方便定位问题和恢复；

（1）28小时模式配置化：可通过配置将任意一天切换为28小时、4小时模式，为业务和研发侧提供了充分的线上验证机会；

（2）阈值开关配置化：可通过阈值开关进行数据兜底逻辑管控，确保数据平稳；

（3）自动刷新白名单配置化：灵活配置大屏自动刷新白名单，支持封版期间人员白名单权限控制；

（4）历史日期配置化：计算预测全天指标使用指定历史日期的单量占比作为对比项，数据库里包含部分历史大促日单量数据，可灵活配置修改对比的历史日期；

（5）重算机制：可基于某一时间段进行数据重算。

参数配置：

2.6 数据监控

多种验证及监控手段组合保证数据准确性：

1）前端自动化模型，定时截取每个大屏关键节点截图。

2）自动化抓包，分钟级记录接口调用情况，结合定时截图，便用问题排查及定位。

3）大屏结果分钟级落库，并通过Grafana,创建大屏数据监控看板，持续监控大屏数据，通过异常拐点发现问题点，避免遗漏问题。并结合不同看板分析数据趋势及变化原因。

4）结合大屏计算逻辑，通过京东动力搭建测试模型，做到自由指定时间计算大屏指标明细，验证分析大屏数据。