朱忠山北京石油化工学院人工智能研究院在读硕士研究生 

个人简历

2014.09 - 2018.07鲁东大学     软件工程本科

主修课程

数据结构

操作系统

计算机组成原理

计算机网络

离散数学

软件工程

算法分析与设计

研究方向

大数据

项目经历

数仓离线分析平台

软件环境：Hive+ Spark + Hadoop+ FineReport

项目描述：企业数据通过日志采集平台采集到HDFS中，搭建ODS层、DWD层、DWS层、ADS层四层数仓平台，每层有自己的功能，简化明确开发流程。对于小数据量使用SparkSQL进行分析；对于大数据量使用Hive进行分析。通过分析各种指标来分析用户访问行为，把结果在FineReport上以报表系统形式进行可视化。

数仓采集平台

软件环境：Flume + Kafka + Hadoop + Sqoop + MySQL

项目描述：数据仓库中的数据来源主要有两个渠道，一是在前端通过埋点获得用户访问行为，另一个是来自MySQL数据的业务数据，通过搭建一个采集平台来采集web系统产生的大量数据，为数据分析平台提供数据基础，数据采集完最终存储在HDFS上。