cdc-go 在数据统计平台中的应用：从 binlog 到指标
统计平台的数据问题，一半出在“同步”：要么同步慢了，要么同步漏了，要么同步错了 统计平台最典型的数据链路是： 1业务库 → 同步 → 宽表/搜索索引 → 指标查询 → 看板 中间这一步“同步”，早期通常靠定时任务轮询： 1SELECT...
数据平台
标签下共 10 篇文章
用 Go 写一个完整的指标操作库：定义、注册、查询与计算
从指标定义到查询结果，用 Go 标准库实现一个可运行、可测试的指标操作库 前面几篇聊了统计平台和指标引擎的设计思路。这一篇把代码写完整：一个不依赖第三方库、可以直接 go test、go run 的指标操作库。 实现目标： 指标可以注...
架构 ·
统计平台的演进：从几张报表到一套平台
统计平台很少是一次设计出来的，它更像一棵树，长出来的每一圈年轮都对应一次业务变化 很多团队在重构统计平台时，喜欢问一句：“能不能一步到位，直接按最终架构设计？” 答案通常是不能。不是技术做不到，而是你不可能在第一天就知道未来三年业务会怎...
架构 ·
统计平台的性能：一次大区间查询是怎么变快的
统计查询的慢，很少有单一原因；优化也不是“加个缓存”就完事 统计平台上线一段时间后，性能问题一定会来： 看一个月的趋势，转圈十几秒； 按城市、渠道、品类拆开，直接超时； 大促期间，看板刷新越来越慢。 大多数人第一反应是“加缓存”。缓...
架构 ·
实时统计与离线统计：延迟和成本的取舍
老板要“实时”，财务要“准确”，这两件事往往不是同一条链路能同时满足的 统计平台做到一定阶段，一定会遇到这个问题： 运营说：我想看今天到现在为止的下单量，刷新就能看到； 财务说：我要的是最终确认的数，退款、取消都要扣掉； 老板说：为什...
架构 ·
数据质量与对账：在用户发现之前发现问题
指标算得对，前提是数据本身对；数据对不对，不能靠用户来告诉你 前几篇聊了指标定义、指标引擎和展示层。到这里，一条统计链路看起来已经闭环了：定义清楚、引擎统一、页面稳定。 但还有一个问题没解决：数据本身错了怎么办？ 指标引擎可以保证“同样...
架构 ·
报表页面怎么设计：让每个页面算出同一个数
指标层解决了“怎么算”，展示层要解决“谁来看、怎么看、看完能不能对得上” 前几篇聊了指标定义和指标引擎。按理说，口径已经在引擎里统一了，页面应该只负责展示。 但现实是：指标层算得再对，用户还是会在两个页面看到不同的数字。 原因通常不在引...
架构 ·
指标引擎：让口径落到每一次查询
指标定义得再清楚，如果每个页面各写一套查询，口径还是会散掉 上一篇聊了怎么设计指标：名称、口径、时间、维度、状态。但定义只是纸面上的共识，真正决定用户看到什么数字的，是执行这些定义的引擎。 同一句“支付率”，A 页面按自然日算、B 页面...
架构 ·
如何设计指标：从一句“转化率”到一套可维护的指标体系
指标不是数字，是团队对业务的一份共识 “帮我加个转化率。” 这句话几乎是每个数据开发都听过的需求。听起来很简单：分子除以分母。但真正做下去，问题会一个接一个冒出来： 转化率的分母是下单量，还是支付量？ 分子是支付成功，还是发货完成？ ...
架构 ·
如何更好地设计公司统计平台
从一条数据库变更到一块经营看板：一套可演进的指标平台设计方法 几乎每家公司都会长出一个“统计平台”：老板要看的经营大盘、运营要看的渠道报表、财务要看的营收口径、客服要查的订单明细。 一开始它可能只是几个查询、几张表格；后来变成定时任务、...