当前位置:首页 > 新闻资讯 > 市场活动 > 正文

精彩报告 | 华中农业大学段德君:大数据背景下的高校数据治理实践分享

发布时间: 2017-12-11 16:29:04   作者:本站编辑   来源: 本站原创  

段德君(华中农业大学 现代教育技术中心副主任)

 

各位领导,信息化同仁们,大家上午好!


很荣幸受到组委会邀请,代表华中农业大学跟大家一起探讨大数据背景下的高校数据治理实践。我的报告分为三方面,首先简要介绍我们学校以及信息化建设情况,然后再分享在智慧校园背景下我们对数据治理的思考,最后谈一下我们的探索和成效。



华中农业大学是教育部直属的国家“211工程”重点建设大学,迄今有119年的办学历史,其前身是清朝光绪年间湖广总督张之洞1898年创办的湖北省农务学堂,是我国高等农业教育的重要起点之一。

 

在长期的办学实践中,形成了自己的办学思想和文化。

  • 办学理念:育人为本,崇尚学术

  • 办学精神:勤读力耕,立己达人

  • 办学风尚:团结勤俭求是奋进

  • 办学模式:围绕一个领军人物,培植一个创新团队,支撑一个优势学科,促进一个富民产业

  • 办学方针:局部创优势,整体上水平

  • 办学策略:学科交叉,包容整合

 

目前全日制在校生有26000多名,教职工2600多名,形成了以农科为优势,生命科学为特色,农、理、工、文、法、经、管、艺多学科协调发展的格局。在今年双一流评选中,我们有5个学科入选双一流学科名单。按照学科数来说,我们在全国高校里排名第21位。学校也获得了一些研究成果,为经济社会的发展作出了自己的贡献。


华中农业大学信息化起步比较晚,1999年才开始进行网络基础设施建设,经历了数字化校园到智慧校园的阶段,2016年进入智慧校园建设阶段。领导们比较重视信息化建设,成立了信息化领导小组,校长和各个职能部门的领导都参加了信息化领导小组。我们现代教育技术中心主要负责信息化的规划和实施,今年专门成立了信息服务部,就是为了智慧校园建设。但我们人手很少,编制内只有15人,编制外16人。


十三五,学校把信息化作为一个发展战略,跟人才强校战略一起,列为六大战略之一,专门制定了信息化发展规划,在规划里我们主要进行四大环境建设和一体系建设。为了完成这个任务,我们也形成了自己的建设思路。

  • 整合一张网——规范校园弱电管理

  • 规划一朵云——建设双活数据中心

  • 构建一平台——智慧校园服务平台

  • 完善一体系——网络与信息安全责任体系

  • 疏通一点痛——启动数据回溯与治理

 

下面谈一谈我们在智慧校园建设背景下数据治理的思考。

主要有以下三点思考。

第一,  如何提升师生的获得感:看得见、摸得着、用得好

第二,  数据治理决定智慧校园的基因型

第三,  平台化服务是智慧校园表现型


在建设看得见的智慧校园这块,要做到高速畅通的网络可能比较容易,但是随时随地的信息获取和方便快捷的服务就必须要有数据作为支撑。

 

在平台化服务这块,要把它做好确实不容易。


以前,所有的管理系统基本上都是由职能部门自主建设,没有统一的标准,每一个中标公司都根据自己的标准来建设,所有的服务基本也是跟管理、系统紧耦合,都分散在各个系统里,老师要进一个系统,登陆名密码都要自己弄,非常麻烦。


现在在智慧校园环境下,是要做一个平台,让师生包括管理人员重新梳理全业务流程,在平台上展示所有的服务,尤其是跨部门的服务,以提升用户体验。要实现这个效果,必须打通部门壁垒,要从管理为主转变为服务为主,从系统建设为主转变为数据支撑的服务提供为主。这个平台表现得怎么样,要取决于数据治理的成效怎么样。

 

现在大家都已经有共识。

  1. 数据资产已经成为学校的战略资产,需要有效治理、深度挖掘、充分利用、实现增值;

  2. 以资产管理理念引领数据治理工作。数据治理是技术与管理相结合的一套管理机制,贯穿在数据管理的过程中,需从战略、机制、专题和实施多维度完善数据治理体系;

  3. 建立面向对象的业务数据整合。

 

构建大的平台,以上是我们目前建设的平台。

 

在平台基础上,还要进一步提升,从传统的三大平台真正提升到五大服务平台,即面向师生和管理者的服务容器平台。目前是三位一体,有PC端,手机端和微信端的服务门户平台。这个门户平台要接上我们的所有应用系统,然后我们提供的所有微服务在这里,有办事流程,有消息提供等等。这些都是由身份认证权限所支撑的,最底层就是数据治理和交换。

 

下面谈一下数据治理的探索实践。

 


2015年,我们开始探索是不是可以部署大数据,给领导提供一些管理服务方面的支撑。实际上部署之后发现,反而结构化数据的问题很大。业务系统分散建设,没有统一的标准,数据量也很少,业务部门只针对他们有用的数据做了一些维护,也不一定准确,数据孤岛比较严重,数据流向也没有明确的规划,数据质量也非常差,心里没底。

 

结果就是数据资产根本传承不了,即使你掌握了数据,但心里没底,不敢用,因为不知道他到底准不准确,权不权威。通过与多家公司沟通交流和解决方案的对比,我们后来选择了联奕公司作为合作伙伴,他们的理念、工具、平台等都比较满足我们的要求。 


这是我们的大数据平台总体架构,右边是数据治理建设的总体架构。

 

我们的建设思路主要是基于微服务架构,以大数据和互联网架构的智慧校园平台结构为基础,对现有数据中心进行全面升级改造,构建全新的高校数据中心软件平台及数据治理体系。

  1. 形成统一、全面的高校教育信息标准

  2. 实现不同部门或单位的业务协同和信息融合

  3. 形成数据资源池,构建全校资源主数据、共享数据、数据仓库、数据集市

  4. 让数据统一定义、统一管理,快速查看、快速定位

 

我们落实了数据治理体系,这个体系也是联奕跟我们一起商讨后提出来的。在有信息标准,交换平台、元数据和质量监控这四个方面,最后形成我们的数据资源池。

 

通过半年的建设,联奕公司投入了大量的人力物力驻场服务。首先要做最难的一件事,就是17个主要应用系统的数据字典整理,9000多张表,工作量非常大,整理出来比较实用能用的表也超过1300张。然后在此基础上,按照国标、行标以及校标,来形成华中农业大学的信息标准集,目前为止已超过1600个信息子集。


右边是信息标准建设管理平台,可以面向开发者、管理人员、一般用户提供可视化的即时查看功能,非常方便。之后,我们才有了结构化数据的统一标准,有标准才好遵循。

 

这是主数据平台模块,一方面是数据交换,另一方面是数据仓库。主数据平台建好之后,可以对业务数据和数据仓库进行全局的管理,数据流向也基本通了,我们现在已经实现了各个应用系统和数据中心双向握手,业务系统产生的数据提供给数据中心,需要其他系统的数据,也从数据中心获取,所以也在建设过程中考虑了数据共享的共享库。目前这个平台已经搭建完成,数据正在清洗、转换和转载的过程中。

 

这是元数据场景。

  1. 统一定义

  2. 数据流程统一管理,破解蜘蛛网

  3. 影响分析、血统分析助力管理

  4. 覆盖全校所有的各个资源环节,重塑数据资产

  5. 快速搜索对象

 

这是我们数据治理的流程展示。从各个业务系统抽取到前置库,经过信息标准对比,来清洗转载到权重库里,权重库里的数据跟业务系统的数据可能字段一样,内容一样,表现方式在各业务系统不一样,但是,标准化之后,在权重库就是一致的。数据同时也进入到共享库,通过服务总线向各个业务系统提供数据服务。沉淀下来的数据进入历史库,数据仓库,形成不同的数据子集,也为大数据平台提供分析和展示的基础。

 

数据质量报告非常重要。现在给大家展示的是静态的质量报告,对系统、表格、级别等进行可视化展示。通过对数据质量做动态的监控,特别是单一来源数据,要进入共享库的数据,要给其他系统提供数据共享,这类数据是不是符合要求的,这是非常重要的。质量监控平台可以自定义配置规则,支持非空、值域、数据范围、正则式校验,还有数据波动、平衡、自定义等等。配置这些规则之后在后台进行质量分析,最后进行质量告警,告警之后我们可以通过消息平台及时发布到应用系统或者应用系统的管理人员,对数据进行维护。这样就可以始终保证我们的数据精确、完整。

 

这是联奕公司为我们做的质量可视化场景。

 

后期,我们将更加广泛地采集和完善数据,不断优化分析算法和模型构建,对数据流做规划,加强管理贯彻并实施好规划异常重要,要丰富数据治理的可视化方式,提供移动端等数据支持,不断完善数据服务和应用,如一表通、网上服务大厅等,让跟多部门直接参与数据分析,充分挖掘数据价值。

 

通过系统建设,我们在体制机制上也有一些变化。比如我们现在就要求各个部门在新建系统或者系统提升改造时必须要遵循我们的信息标准,必须要明确与数据中心的数据交换双向流动,哪些数据是单一来源必须有的,必须通过数据治理,还必须进行安全的质保。

 

以上是我们一些不成熟的探索,欢迎大家批评指正!


(以上内容为现场实录,略有删减。)