近日,新一届人大审议了《国务院机构改革方案》,其中提到组建 国家数据局 ,这意味着国家的数字化战略转型,这对数据资源的开发挖掘、利用共享,以及数据政策制定、数据交易交换等都非常有意义。
平台建设背景
高校建设的现实需求
平台建设方案
大数据实验室计划建设稳定、可靠、高效的软硬一体化大数据教学科研环境,以及完善的课程体系、项目数据和视频、多样化的教学手段和丰富的实战案例,来满足学生学习和老师科研需求。
1、大数据教学平台
大数据课程平台根据不同学历和职业方向设置不同的课程学习路线,针对每门课程提供教学实验指导手册、在线视频、资源包、实验示例代码等,让学生通过在线学习、原理验证、实训应用、自主设计等多层次的实验操作,实现对大数据开发应用的理解和掌握。
平台整体以大数据Hadoop及其生态组件为核心构建软件系统,支持更多的大数据高级特性,保证平台的高性能与稳定可靠运行。
2、大数据科研平台
结合大数据教学平台的教学内容,通过科研平台进行上手实践操作。科研平台融合大数据相关的开源开发工具,构建包括搜索引擎、自然语言处理、数据可视化等开发工具等开发框架平台,充分进行处理采集、治理、挖掘等项目的研究和探索,全面提升科研成效。
平台建设内容
大数据教学平台:
入门:大数据概论、Hadoop集群安装部署、HDFS分布式文件系统、MapReduce计算框架等课程开始学习;
初级:Flink实时流计算框架、Zoopkeeper分布式协调系统、Kafka分布式发布订阅消息系统、HBase分布式数据库等课程的学习;
进阶:离线计算:ETL工具、数据参数Hive的学习;
高阶:Spark、Spark SQL、Spark Streaming等课程的学习
大数据科研平台:数据源与SQL引擎、数据采集模块、数据处理模块、机器学习算法、搜索引擎模块等,支持包括支持Python、JAVA等主流编程语言
自然语言处理模块:包括词法分析、句法分析、文本分析和情感分析等功能、可进行信息抽取、文本分类和文本聚类等方面的研究。
大数据监控平台:支持Hadoop集群的供应、管理和监控,支持HDFS、Hive、HBase、Zookeper、ES,Kafka,Clickhouse等的集中管理。
建设成效
页面更新:2024-04-16
本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828
© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号