数据标准建设
- 信息标准建设是数智校园建设的重点之一,信息标准以学校现有信息标准为准,同时对国家标准、教育部标准、行业标准具备兼容性、一致性以及标准的可扩展性,建设和完善学院的各项标准并给出信息分类编码规格说明书,建设形成一套符合学院自身实际的管理信息化标准。
- 一般以学校现有信息标准为执行标准,执行标准为学校实际落地化的动态标准库。
- 学校信息标准建设需要保证标准在采集、处理、交换、传输的过程中有统一、科学、规范的分类和描述,能够使信息更加有序流通、发挥信息资源的综合效益。
- 学校数据标准建设包括元数据建设、数据代码集建设、数据集建设、数据交换标准建设。
企业级ETL
- ETL,即提取(Extract)、转换(Transform)、加载(Load),是一个广泛采用的方法,用于将来自不同来源的数据集成到单一的集中数据存储库中。
- ETL工具是专门设计来支持ETL过程的软件,能够从各种来源提取数据,清洁并优化数据质量,并将所有数据集成到数据仓库中。
- ETL工具不仅简化了数据管理策略,还通过标准化的方法提高了数据质量。
存储与计算
- 数据模型设计按照层次,主题的数据模型设计的思路。
- 系统根据模型设计会自动转成关系型数据库的存储。
- 层次、主题映射到相应的目录。
数据共享服务
基于标准化接口,实现对标签、客户视图、指标等数据查询API封装;
- 实现与周边系统实时互动,体现数据价值,减少数据冗余,保证数据安全,保证数据的一致性。
数据展现
- 数据开放服务门户:对于数据开放服务提供开发者门户,含有数据服务授权申请、开发者帮助文档、服务注册、创建、注销等。
- 管控平台门户:对整个数据中心管控平台使用者门户,系统管理、运维调度、质量监控等。
- 应用使用门户:对于应用使用者的门户,支持多用户应用、第三方应用的集成统一呈现。
数据监控
- 监控管理提供设备、平台、业务层面全方位的监控能力,提供故障的及时发现、及时告警能力及优化诊断能力,通过对告警、性能数据的集中采集、处理和展现,实现对基础设施的综合监视;
- 支持对集群各节点的存储和计算资源进行可视化展现,如机架、网络拓扑图、网段、服务器配置等;
- 支持对集群各节点资源使用情况进行可视化展现,如数据块数、Job的运行数目、节点健康状态,支持周期性健康状况巡检。支持将产生的告警通过邮件或短信的方式通知给运维人员,也支持将监控生成的监控数据和监控告警通过系统间接口提供给外部系统。