首页 » 职称论文 » 教育 » 正文
对应网络空间安全专业群中大数据开发工程师的基础课程
更新日期:2022-03-10     浏览次数:107
核心提示:2课程目标《Spark开发技术》是本校大数据技术与应用专业的核心课程,对应网络空间安全专业群中大数据开发工程师的基础课程,主要培养学生具备大数据平

2课程目标

《Spark开发技术》是本校大数据技术与应用专业的核心课程,对应网络空间安全专业群中大数据开发工程师的基础课程,主要培养学生具备大数据平台处理、分析、运维等相关能力,并掌握数据采集、分析、存储等方面的核心技能,本课程在大数据专业课程体系起到核心居中作用。

课程知识目标包括:了解大数据系统开发生态组件、职业求职方向;掌握Scala函数式编程与面向对象完美结合的编程艺术;掌握Hadoop和Spark集群安装部署以及Spark在不同集成开发环境的开发实战;掌握Spark核心RDD编程并深度解密RDD的密码;掌握Scala IDE开发Spark程序、IntelliJ IDEA下的Spark程序开发;掌握Spark程序TopN开发实战;掌握Spark core进行离线数据处理开发实战;掌握Spark Streaming 进行实时数据处理开发实战;掌握SparkSQL进行结构化数据处理开发实战。

课程能力目标包括:熟练掌握Scala语言编程语法;会熟练搭建Spark On Yarn和Spark Standalone两种集群环境;会在IDEA下构建Spark应用程序开发环境,掌握maven工程创建方法;能使用Spark core组件进行离线数据处理程序开发;能使用Spark Streaming组件进行实时数据处理开发;能使用Spark SQL组件进行结构化数据处理开发实战,对Spark官网提供的开发案例能熟练分析并掌握。