有道精品课数据中台建设实践(分享)

郭太侠3年前 (2021-08-15)新兴产业1247

今天给大家带来有道精品课数据中台负责人李荣谦所做的分享《有道精品课数据中台建设实践.pdf》,关注数据中台等的伙伴们别错过啦!

本次分享共包含如下四大部分:

1、数据中台建设场景及价值;

2、数据中台架构演进;

3、问题解决;

4、未来规划。

本文以我们在实时数仓选型的经验为切入点,进一步着重分享使用 Doris 过程中遇到的问题,以及我们针对这些问题所做出的调整和优化。根据业务需求,目前有道精品课的数据层架构上可分为离线和实时两部分。离线系统主要处理埋点相关数据,采用批处理的方式定时计算。而实时流数据主要来源于各个业务系统实时产生的数据流以及数据库的变更日志,需要考虑数据的准确性、实时性和时序特征,处理过程非常复杂。

有道精品课数据中台团队依托于其实时计算能力在整个数据架构中主要承担了实时数据处理的角色,同时为下游离线数仓提供实时数据同步服务。


1.png