当前位置:首页 > 新闻资讯 > 市场活动 > 正文

精彩报告 | 蒋育燕:质量之本,华南农业大学数据治理工作实践与分享

发布时间: 2018-11-15 15:41:06   作者:本站编辑   来源: 本站原创  

蒋育燕(华南农业大学校党委常委、总会计师)


全球已进入信息高速发展的时代,信息化是当今世界发展的根本趋势,是推动经济社会变革的重要力量,我国在2006年发布了《2006-2020年国家信息化发展战略》,对我国的信息化发展进行战略指导。


而学校在信息化教学过程中累积了大量的数据,如教职工、学生、资产、教学、科研等等,这些数据都是学校最为重要的资产之一,是学校支持精细化管理、实现差异化服务、提升风险分析能力的基础。


目前,教育行业普遍面临着数据质量不高、数据支持决策能力不足等问题,导致数据远未发挥其应有的价值,并已经成为提升学校信息化建设,提升学校教学、科研、管理等竞争力的巨大障碍,主要表现为:缺乏整体数据治理战略和文化、数据治理管理流程和职责划分不清、数据标准不统一、数据质量不高、缺乏配套的技术和系统支撑等。


接下来我将从以下几个方面开始介绍华南农业大学近几年的信息化建设过程以及目前数据治理的一些成效。


第一,学校办学历史与办学文化

我校建立于1909年,至今已有一百多年的历史,是全国重点大学,是广东省和农业部共建的“211工程”大学;在师资及学校建设方面实力雄厚,在百余年的办学历程中,校形成了优良传统、鲜明特色等等。


学校信息化建设历程

华南农业大学开始信息化建设是在2000年,基于国家发布的《教育信息化十年发展规划(2010-2020年)》和我校信息化十年发展规划,为贯彻落实《华南农业大学关于大力推进信息化建设的决定》,推进学校信息化建设发展,基本形成了校园信息化支撑服务体系,建立了全校信息化统一规划、信息化工作体制和协调管理机制,成立了信息化建设工作办公室、现代教育中心、数据中心和内设机构,形成了完善的组织机构建设,各部门协调,共同推动教育信息资源整合和公共数据互联、共享和开放,整体提升我校信息化建设水平。


2015年至2017年,学校围绕“加强基础设施建设,构建大数据平台,建设智慧校园”的总体目标展开高水平大学校园信息化建设,在各二级单位的大力支持下已形成了良好的网络基础环境,软件支撑环境,业务应用系统,积累了大量的数字资源。


新建的校园云平台为42个二级单位提供了309台虚拟服务器,支撑这些单位应用服务,公共数据管理、统一身份认证管理和综合信息服务门户三大平台整合了OA等50多个业务系统,网上办事服务大厅整合29个职能部门和单位近200条服务流程,有效推动了部门间业务联动及流程优化。


我校经过十多年的发展,在数字校园建设方面取得了可喜的成果,肯定成绩和进步的同时,也要正视存在的问题,其中数据方面的问题尤为突出。面对这一系列的数据问题,急需对数据管理与服务方式变革,全面进行数据治理,建设完善学校数据资产势在必行。


第二,智慧校园建设背景下数据治理建设与实践


本次数据治理项目建设第一要务是确定数据的源头,规范数据标准,并真正把核心数据集中管理起来,其次是实现数据平台化管理,最后才是数据质量分析和数据应用建设。接下来我们结合华南农业大学的现状介绍一下我校在数据治理方面的一些经验,分别从当前数据治理的现状、数据治理的目标、以及目前我们完成的一些情况进行具体讲解。


数据治理-水之源、木之本!


长期以来,我校信息化建设由于缺少统筹规划和统一管理,产生了诸多问题:数据孤岛林立,数据之间不能有效交换和共享;数据来源众多且分散,缺乏真正有效整合;数据从生产到使用中间流程不清晰,数据发布出口不统一,存在随意性,造成信息权威性缺失;数据质量堪忧,数据的完备性、准确性存疑;数据融合困难,存在壁垒和发展不平衡;导致师生对重复填报数据不断吐槽,数据打架屡屡发生。可以说,数据问题已经成为学校智慧校园建设、大数据分析的一大瓶颈,因此在去年制定的《华南农业大学关于大力推进信息化建设的决定》里将开展数据治理、建立数据规范和数据中心、开展数据分析应用作为重点推进的工作,也列入了今年学校工作计划要点。


当然这些问题也不是突然就形成的,相反这恰恰是信息化进行到相当的阶段才产生的。十年前我们为了解决数据孤岛而建设了数据中心。十年后随着信息化的发展,随着服务应用、决策等大数据分析的发展,原本为打通数据孤岛而建设的共享数据中心已经成为了另一个孤岛,为了更好的体现数据的价值,我们需要进行以面向数据管理以及数据服务为目标的数据治理。


说到底数据治理正是一切信息化服务的水之源,木之本!


数据治理架构


我们经常在聊大数据,其实大数据在我们学校的使用存在两方面:一是数据的可视化,即大数据分析、BI等等;二是大数据的管理即我们今天要讲到的数据治理。后者才是前者真正落地的基础和支撑!数据治理基于全量信息标准、元数据体系,对共享数据中心进行全面的升级,制定组织架构、完善数据管理、实现数据质量可视化,为数据服务进一步的改进提供依据。


数据治理建设目标


具体来说,数据治理其实就是基于全过程生命周期闭环管理理论,重新梳理、分析、规划各业务域数据,并利用一系列辅助工具全面治理全校数据,以达到提升数据质量、规范数据使用、支持数据应用与决策,并最终将松散的数据沉淀为科学有效的学校数据资产的目标!


根据数据治理的需要,我们是要制定数据治理体系规范、建设我校业务域方案,同时包括一系列的治理工具平台包括标准平台、主数据平台、开发者平台、数据公示平台等。最终完成全校范围内的“数据建模和业务建模”。


通过对学校已建设的60多业务系统的摸底分析,第一阶段针对其中核心业务系统进行治理,为学校 “业务驱动” 转为“业务与数据联动”、建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理决策机制打好基础,助力学校“双一流”建设。


数据治理是一个体系工程,我们也是在一步一步的试行。其归根结底就是两件事:业务建模,即管理组织梳理;数据建模,即数据域建设。


数据治理建设内容-规范制度建设


数据治理是一项系统工程,面对众多的数据资源,没有健全的数据环境做支撑,最终将直接影响数据质量的提升,所以规范制度的建设是数据治理目标实现的基础。


我校数据治理得到了学校领导的高度重视,成立信息办予以专事专办,数据治理是一个需要各个部门积极配合参与的事务,确保数据治理能够成果的基础。


构建完整的数据规章制度,包括政策、制度、细则、规范等四方面。通过对数据治理过程中涉及到的数据资产分类分级、数据使用的过程规范管理、相应的管理体制和机制、共享和开放的原则和机制、安全与隐私保护政策等方面建设。支撑涵盖数据管理、存储、质量、共享与开放等多方面数据应用。保证数据治理工作有章可循,有法可依。


数据治理建设内容-顶层设计,业务域规划建设


在确定了体系规范后,作为基础也是核心的,即学校的数据资产顶层设计,业务域方案建设,业务域方案是一件比较复杂的工程,数据治理的核心之一是打造全局数据中心,使得数据中心作为全校数据的统一出口,那么我们就需要建设一个全局的信息标准。


信息标准的梳理是以国标为基础,以学校各个部门岗位职责为边界,结合学校各类业务系统、网办大厅、各类上报数据报表、校内决策报表、分析等梳理出来的,同时我们将信息标准由共享时的表、字段进行大量扩展,包括业务域分类、管理属性、质量规则、安全属性等等。通过对共享数据中心经验的吸收,在数据治理中,信息标准将有各个部门一起参与,各业务部门的数据标准相关的权限将有各个部门自己制定。


数据治理建设内容-全面建设据治理管理体系


教育数据治理的价值体现在:

1.更好的服务于学校决策

2.更为精准的为学校各类型数据服务提供支撑

3.提高学校数据的风险管理能力

4.提升学校数据管理水平


通过建设完善的数据治理管理体系,建设数据治理管理平台,即“1方案(数据规划方案)+7平台(信息标准平台、数据交换平台、主数据管理平台、开发者平台、数据质量管理平台、元数据管理平台、数据公示平台)”建设,使数据资源的使用和管理标准化、精确化和效益化。最终让数据成为学校高效的战略资源。


数据治理建设内容-全量数据中心建设


以前数据在各自的立场上维护和生产,没有统一的数据源头,数据管理不规范,数据使用价值不高。本次通过全量数据中心的建设,让数据中心成为全校数据的统一出口,基于校内所有业务系统及所有半结构、非结构化数据,构建基于大数据平台的统一存储,利用高效、实用、易用的可视化ETL,参照上述标准体系,对高校的所有数据进行全面梳理、清洗、抽取、转换和装载,形成业务数据池,实现全校各主要业务系统的数据共享和交换,目前数据共享的方式包括ODI、API、VIEW三种方式。


数据治理成效与改变


基于目标与建设内容,接下来将从各方面展示与讲解本次数据治理建设取得的一些成效与改变。


组织架构、规范制度建设

在数据治理前期,我们就确定了数据治理组织架构,由信息办牵头,负责制订和修订数据标准,评估数据质量,协调推进数据共享,保障数据安全,协助各部门完善内部数据管理。通过建立明确的组织结构,各部门管理人员责任到位,重大决策建立完善的沟通管控流程,为数据资产的深度利用与服务提供基础保障。


通过制定的这一系列的数据管理制度,进而保证了数据资产从产生,使用到变更的规范流程管理,基于数据治理体系,建立完善的数据流程管理体系。保证数据在管理的过程中系统化、可视化。同时基于规章制度与工具结合,落地操作办法,保证了数据的安全使用和管理。


全量信息标准覆盖,融合数据资源


在业务域建设方面,通过数据治理体系建设,整理出覆盖全校业务的全域信息标准规范,包含包含人力资源管理域、学生管理域、科研管理域、资产管理域、财务管理域各大类业务域。全域信息标准涵盖共享标准、采集标准,并覆盖全校业务,同时覆盖各类报表、上报、决策分析等方面。


基于本期建设20多个业务系统,共计4300+数据表进行建设,目前我们已经对其中核心系统完成了数据分析及集成工作,包括人事系统、财务系统、科研系统等在内的9个业务系统,针对已完成集成的这9个系统,目前已梳理业务域表数918+,字段数5611+,代码集651+,制定对象规则数280+。确定这9个系统的核心数据来源。


同时以国标为基础,整合全校各业务领域数据标准模型,构建了全量信息标准,全面对接学校内部业务系统数据,并实现信息标准平台化管理。


构建主数据平台实现数据集中管理


基于数据交换管理,依托信息标准规范建设全量数据库,构建统一主数据平台,目前全局数据中心已经集成人事所有数据、科研系统所有数据等,实现平台数据可视化;总数据量已达到40万+条,覆盖数据项5000+,实现基于全局数据中心动态发布接口,在后续工作中将通过全量数据中心,提供覆盖教工基本信息、学生基本信息的数据接口,提供涵盖班级信息表、学生信息表、单位基本信息等的相关视图和中间表,下行数据覆盖学校数据应用建设。


当然在完善历史库和数据仓库的建设也是工作中的重中之重。


实现元数据统一管理

元数据建设是数据治理建设必不可少的环节,元数据管理平台是数据治理基础平台,结合学校信息化建设的情况,以人、事、财、物为核心进行全校元数据采集及管理,定义全链的元数据以及流程信息,采用集中式管理模式对数据资源统一定义、统一管理。


我校目前已完成人事系统、教务系统、财务系统等10个核心业务系统的元数据采集(包括数据表、结构、数据流程等信息)工作,采集数据覆盖系统表829+、涵盖数据字段18386+、涵盖数据字典2811+。使数据的定位清晰可见。通过血统、影响分析等快速定位问题数据。数据改了,哪里受影响,分析追溯,一目了然。最终实现数据从产生、采集、分析、决策和应用的全生命周期管理,增加数据可信度。


呈现过程可视化质量可视化管理


数据治理最终还是为了提升数据质量,通过数据质量平台建设,实现对数据质量的分析,通过可视化的呈现方式展示数据集成规模,数据流程关系,表数据质量的分析与统计,并形成包括UC矩阵、数据血统溯源、数据指标度量和数据关系分析的综合数据治理报告。全面展示学校数据质量情况和整体建设情况。


实现数据资源公示


在数据中心数据使用的过程,我们常常会有这样的烦恼,对数据的情况,数据的质量、数据使用的流程无从可知,这大大的制约了数据应用及分析开展的进程,为方便数据的使用,节省大量的时间及人力成本,建设数据公示管理平台,通过对前期数据质量分析,出具现状数据质量报告,通过报告查看当前学校数据质量问题。


通过数据治理,对治理后的数据提供全校数据资产的公示,便利的公示查询服务和个性化的数据申请及审批流程,增强数据中心数据归集,实现数据中心数据的公开、公正、透明,为数据应用及决策分析提供高效运行的支撑保障。贯彻数据资产管理进程。


数据支撑分析


经过大半年的数据治理项目建设,目前已实现核心业务数据的融合及数据间的联动,可支持基础数据信息服务建设,已获取人事所有数据,可为人事数据迁移等提供支持等服务,从数据应用层面来讲,目前已为学校决策分析提供对应的数据应用支撑,包括办事大厅、高基表系统、迎新服务、基于移动端的数据服务等,通过数据治理,以打造全面的数据服务为目标,最终为学校分析决策提供数据支撑,促进学校“双一流”建设,进一步推进学校信息化发展。

高基表及本科评估数据应用建设


基于数据治理建设,在本科评估及高基表建设方面取得了良好的效果,通过数据治理,数据支撑本科评估及高基表数据应用建设,同时通过数据应用建设带动数据治理体系建设。


基于全校业务数据及部门数据和服务流程信息,采集获取治理后的数据,分析、评估和完善学校内部质量保证体系。以常态质量与监控为依据,促使我校在学校、专业、课程、教师、学生不同层面建立起完整且相对独立的自我质量保证机制,强化学校各层级管理系统间的质量依存关系,形成全要素网络化的内部质量保证体系。


我校自2008年开展学院(部)本科教学工作状态评估工作以来,对规范本科教学过程管理、促进教学改革、提高教学质量起到了积极的促进和引导作用。


在数据上报及数据分析方面,通过高基表系统建设,提高学校部门基本数据的收集、统计、报送工作效率,让高基表统计数据有据可依,有源可查。确保数据来源可靠,有效,为学校管理工作提供参考和指导意见。


数据治理带来的改变

最后,通过整个数据治理建设,目前学校已经治理的业务系统,我们可以获取具体的数据定义,知道数据在哪里(包括在哪个系统、哪个数据库、那张表、那张字段),解决了数据盲点的问题。


在一方面来讲,通过治理的标准规则以及质量平台,以及自定义质量报告的,实现对于已治理的系统的数据质量实时化掌握,为进一步改进数据提供充分依据;同时通过元数据平台,掌握学校局部数据地图,并将进一步掌握全部,了解数据从哪来,到哪去,比如一条人事改了,哪里会受到影响,都能够很快的掌握。


从数据支撑层面来讲对于数据分析的支撑,以前都是需要找各业务部门,甚至找产商,困难重重,现在一目了然,非常便捷;同时通过一系列管理制度集合治理工具的使用,完善了学校数据的线上使用流程管理。理清数据安全制度,数据标准学校统一制定,数据安全等级来源部门确定,数据使用业务部门参与,做到公开、公正、规范,大家一起参与,现在数据的使用比之前更加科学、合理、高效!


以上就是我今天的汇报,谢谢大家!


(以上内容为现场实录,未经过嘉宾审核)