生而为人

程序员的自我修养

0%

数据概念

漫画:什么是中台?

数据分类

分层数据

ODS层

  • 业务数据库变更:MySQL 等核心库的 Binlog 日志,覆盖订单、用户、商家、商品等核心业务数据的增删改操作
  • 用户行为日志:App / 小程序 / PC 端的流量埋点、页面访问、点击交互、事件上报等日志数据
  • 业务消息与系统日志:各业务线的实时消息队列数据、服务端系统日志、IoT 设备上报数据等

DWD层

  • 数据标准化:脏数据过滤、空值 / 异常值处理、敏感字段脱敏、枚举值与计量单位统一
  • 事实建模:按业务领域拆分构建原子事实明细表,例如交易事实、流量事实、履约事实、交互事实等,对应订单支付、页面浏览、配送更新、用户评论等具体业务过程
  • 维度退化:将高频使用的维度属性提前关联到事实表,减少下游重复关联计算

DIM层

  • 基础公共维度:用户、商家、商品、门店、品类、地域等核心维度属性
  • 缓慢变化维:支持维度属性的实时变更(如商家营业状态、商品价格、用户等级),并保留完整变更历史

DWS层

  • 按时间、地域、业务线、品类等常用维度,聚合原子指标(如订单量、GMV、UV、PV、用户数)
  • 构建主题宽表,例如交易汇总宽表、流量汇总宽表、商家经营汇总宽表等,覆盖 80% 以上的通用业务查询需求

APP层

  • 实时监控大屏:经营大盘、业务作战室、活动实时监控等核心展示指标
  • 在线业务数据:实时风控策略、智能推荐特征、实时运营活动、动态定价等在线系统的输入数据
  • 实时分析报表:经营实时分析、用户实时画像、活动效果实时复盘等自助分析场景