业务痛点及需求
数据采集
数据采集是数据仓库建设中最基础的工作,负责将散落在各个数据孤岛的数据整合到统一数据仓库平台中。数据采集不只需要能够从多种不同类型的数据系统采集数据,还要考虑数据采集的效率,通过全量和增量采集相结合的手段完成采集工作。在采集的过程中,还不能对在线系统产生影响。
数据生产链路监控
就像工业流水线一样,数据仓库的数据加工过程是一个数据生产的有向无环图。如何让数据有序的按照数据模型设计的逻辑一步一步被加工出来,保障数据上下游依赖的正确性,在发现问题时能够提醒开发人员及时处理,是一个艰苦而细致的工作,也是数据仓库建设过程中最主要的工作。
数据质量管理
数据质量是数据仓库的生命线,是数据仓库建设中的重中之重。在数据生产的整个链条中,需要能够根据数据特征制定不同的数据质量监控规则,随时监控数据的产出质量,并制定出相应的控制手段,保障不让有质量问题的数据影响业务的决策。
业务痛点及需求
数据采集
数据采集是数据仓库建设中最基础的工作,负责将散落在各个数据孤岛的数据整合到统一数据仓库平台中。数据采集不只需要能够从多种不同类型的数据系统采集数据,还要考虑数据采集的效率,通过全量和增量采集相结合的手段完成采集工作。在采集的过程中,还不能对在线系统产生影响。
数据生产链路监控
就像工业流水线一样,数据仓库的数据加工过程是一个数据生产的有向无环图。如何让数据有序的按照数据模型设计的逻辑一步一步被加工出来,保障数据上下游依赖的正确性,在发现问题时能够提醒开发人员及时处理,是一个艰苦而细致的工作,也是数据仓库建设过程中最主要的工作。
数据质量管理
数据质量是数据仓库的生命线,是数据仓库建设中的重中之重。在数据生产的整个链条中,需要能够根据数据特征制定不同的数据质量监控规则,随时监控数据的产出质量,并制定出相应的控制手段,保障不让有质量问题的数据影响业务的决策。
应用系列产品
在数据仓库的建设中需要从各种源头业务系统中把数据统一采集到数据仓库中,在统一的基础平台上对数据进行加工。在数
据生产的链条中,保障数据产出的稳定性和数据产出的质量是数据仓库建设中的重要内容。
大数据集成
通过稳定高效、弹性伸缩的大数据集成服务,将分散在不同物理环境下 的数据统一采集到大数据计算服务中。可以实时、增量或全量的方式进行数据同步。
大数据计算服务
在大数据计算服务中,存储采集到的业务数据,利用服务提供的多种经典分布式计算模型,按照数据仓库设计的数据模型,对数据进行实际加工计算。
大数据开发
在大数据计算服务中,存储采集到的业务数据,利用服务提供的多种经典分布式计算模型,按照数据仓库设计的数据模型,对数据进行实际加工计算。
大数据管理
通过大数据管理工具,进行数据资产管理、数据生命周期管理、元数据查询和管理、数据血缘查询等工作。并可以制定数据质量报警规则。