Python3实战Spark大数据分析及调度|完结无密
Python全部课程

Python3实战Spark大数据分析及调度|完结无密

  Python3实战Spark大数据分析及调度 Python3玩转Spark开发,Azkana让作业井然有序 本课程运用python3实战讲解了Spark中心功用组件,并结合调度爆款框架Azkaban,来对作业进行调度,最后以天气数据剖析做为实战项目,让你学会对大数据进行处理与剖析,让Python开发人员也能对Spark应用程序进行开发及调优。 适合人群 了解Python言语的想运用Spark进行数据处理剖析的人员 了解Hadoop,想快速提高Spark技能的小伙伴 想转行投身大数据职业的小伙伴 技术储备要求 熟悉常用Linux命令的运用 把握Python同时有数据库SQL根底 [wm_notice]链接:https://pan.baidu.com/s/12nVrxA0PJj9innSMwiykHQ 提取码:7zb8 –来自百度网盘超级会员V1的分享[/wm_notice]   章节目录: 第1章 课程介绍 试看2 节 | 19分钟 课程介绍 收起列表 视频:1-1 PySpark导学 (12:51)试看 视频:1-2 OOTB环境演示 (05:29) 第2章 实战环境建立7 节 | 32分钟 工欲善其事必先利其器,本章叙述JDK、Scala、Hadoop、Maven、Python3以及Spark源码编译及布置 收起列表 视频:2-1 -课程目录 (00:54) 视频:2-2 -Java环境建立 (02:14) 视频:2-3 -Scala环境建立 (01:50) 视频:2-4...
实战Spark3 实时处理,掌握两套企业级处理方案|完结无密
Python全部课程

实战Spark3 实时处理,掌握两套企业级处理方案|完结无密

  实战Spark3 实时处理,掌握两套企业级处理方案 专攻实时处理技能,掌握Spark Streaming+Structured Streaming两大模块   基于Spark3,在同一项目中,学习两套实时处理的解决方案:Spark Streaming和Structured Streaming,体验完整实时处理方案的全流程,为你梳理大数据常见面试题、大厂的实时解决方案,带你跨过面试最后一公里。   适合人群 想转型或者从事大数据开发的同学 对Spark有浓厚兴趣的同学 想掌握大数据实时处理技术的同学 技术储备要求 Linux命令基本操作 Hadoop命令基本操作 Scala基本语法的使用   [wm_tips]试看链接:https://pan.baidu.com/s/135k1BL7bd9R8CqgSTRgRrg 提取码:r922 [/wm_tips]   章节目录:   第1章 【项目启动】项目背景及架构分析 试看9 节 | 43分钟 本章将介绍实战项目背景、数据流,并让大家对知晓在实际项目中应如何进行技术的选型以及项目架构的迭代过程。 收起列表 视频: 1-1 课程概览 (15:06) 试看 图文: 1-2 ***学前必读***(助你平稳踩坑,畅学无忧,课程学习与解决问题指南) 视频: 1-3 课程目录 (01:31)...
Java大数据实战 Storm构建实时流处理|完结无密|超清原画
Java全部课程

Java大数据实战 Storm构建实时流处理|完结无密|超清原画

  Java大数据实战 Storm构建实时流处理 全方位解剖大数据实时处理利器Storm,让你在流式处理领域得心应手 Storm是实时流处理领域的一柄利器,本课程采用最新的Storm版本1.1.0,从0开始由浅入深系统讲解,深入Storm内部机制,掌握Storm整合周边大数据框架的使用,从容应对大数据实时流处理!   合适人群及技术储备要求 这是一门非常具有可操作性的课程,合适Java工程师正处于瓶颈期想提高自己技术、想转型做大数据的开发者,更合适关于大数据感兴趣、想从事大数据 研发作业的同学。本课程将手把手带你从零循序渐进地解说Storm各方面的技术点,让你轻松胜任实践大数 据实时流处理的作业,稳拿高薪! 技术储备要求 熟练掌握Java SE、Linux即可   [wm_notice]试看链接:https://pan.baidu.com/s/1EnyzdTmE5UqHx-LS8RWV2A 提取码:6ww3 –来自百度网盘超级会员V1的分享[/wm_notice]   章节目录: 第1章 课程导学 试看3 节 | 33分钟 介绍课程相关背景,学习主张等等 收起列表 视频:1-1 -导学 (20:17)试看 视频:1-2 -OOTB环境运用演示 (08:49) 视频:1-3 -授课习气与学习主张 (03:39) 第2章 初识实时流处理Storm10 节 | 66分钟 Storm作为近几年Hadoop生态圈很火爆的大数据实时流处理结构,是成为大数据研制工程师必备的技能之一。 本章将从如下几个方面让我们关于Storm有宏观上的知道:什么是Storm、Storm的开展史、Storm比照Hadoop的差异、Storm比照Spark Streaming的差异、Storm的优势、Storm运用现状及开展趋势、Storm运用事例分享… 收起列表 视频:2-1 -课程目录...
SparkSQL极速入门 整合Kudu实现广告业务数据分析|完结无密
全部课程大数据&人工智能

SparkSQL极速入门 整合Kudu实现广告业务数据分析|完结无密

  SparkSQL极速入门 整合Kudu实现广告业务数据分析 大数据离线处理核心技术 初中级大数据工程师工作提升利器   以案例驱动,全面讲解Spark SQL大数据离线处理必备的知识点。使用Kudu整合Spark进行广告业务功能的实现,并针对已实现的需求代码进行调优;通过扩展Presto和大数据平台建设方面的相关内容,进一步提升技能。   适合人群 具备相关技术储备,想快速提升Spark技能以及想转行投身 大数据行业的小伙伴 技术储备要求 熟悉Linux常用操作 / 熟悉SQL基本使用 了解Hadoop基础知识 / 了解Scala基本语法 [wm_tips]试看链接:https://pan.baidu.com/s/1xVncjOXoW2YnaT2Z7xF8Qg 提取码:7m33 [/wm_tips]   章节目录:   第1章 课程介绍&学习指南 试看2 节 | 13分钟 本章会对这门课程进行说明并进行学习方法介绍。 收起列表 视频:1-1 课程导学 (12:07)试看 图文:1-2 ***学前必读***(助你平稳踩坑,畅学无忧,课程学习与解决问题指南) 第2章 为什么要学Spark21 节 | 149分钟 Spark作为近几年最火爆的大数据处理技术,是成为大数据工程师必备的技能之一。本章节将从如下几个方面对Spark进行一个宏观上的介绍:Spark产生背景、特性、环境部署、Spark与Hadoop的对比、Spark开发语言及运行模式等。 收起列表 视频:2-1 课程目录...
Hadoop 系统入门+核心精讲|完结无密
Java全部课程

Hadoop 系统入门+核心精讲|完结无密

Hadoop 系统入门+核心精讲 新手入门大数据要学的第一门课 本课程带领你从Hadoop入门开始,逐步掌握大数据核心技术(HDFS、YARN、MapReduce、Hive开发与调优),并将这些技术应用到实战中,最终完成电商行为日志分析项目,助力探索高薪职业赛道。 技术要求 熟悉Linux基本命令 了解Java SE的基础知识 / 了解MySQL的基本使用 环境参数 Linux版本: CentOS(7) / Hadoop版本: CDH(5.15.1) 开发工具: IDEA / 编程语言:JAVA [wm_tips]试看链接:https://pan.baidu.com/s/1wcUhvc8Ihdztbq5ECjKAxQ 提取码:zwq6 [/wm_tips] 章节目录: 第1章 大数据概述 试看12 节 | 58分钟 本章将从故事说起,让大家明白大数据是与我们的生活息息相关的,并不是遥不可及的,还会介绍大数据的特性,以及大数据对我们带来的技术变革,大数据处理过程中涉及到的技术以及大数据典型应用。 收起列表 视频: 1-1 课程导学 (14:27) 试看 图文: 1-2 ***学前必读***(助你平稳踩坑,畅学无忧,课程学习与解决问题指南) 视频: 1-3 课程目录 (01:52) 视频: 1-4...
Flink+ClickHouse 玩转企业级实时大数据开发|完结无密
Java全部课程

Flink+ClickHouse 玩转企业级实时大数据开发|完结无密

  Flink+ClickHouse 玩转企业级实时大数据开发 已经在做大数据,Flink让你轻松提薪;尚未入行大数据,Flink让你弯道超车   Flink已经成为高薪大数据工程师的必备技能,越早掌握,越能占得红利。本课程带你原理出发,构建知识体系,并引入热门OLAP引擎ClickHouse,整合Flink搭建企业级大数据实时分析应用,带你彻底打通Flink开发任督二脉。   适宜人群 1. 大数据领域从业者或想转型大数据开发的工程师 2. 想彻底学习Flink框架的小伙伴 技术储备要求 Java、Linux基本命令使用 Hadoop基本命令使用 技术参数 JDK: 1.8 Mavem:3.6.3 Hadoop: 3.2.2 Kafka:2.5.0 Flink:1.12 ClickHouse:21.4.5.46 Canal:1.1.4 Redis:5.x   [wm_notice]试看链接:https://pan.baidu.com/s/1wfDznCu90sUiY78n6JshSA 提取码:yig2 [/wm_notice]   章节目录: 第1章 Flink认知篇 试看7 节 | 58分钟 本章中,将带领大家来一起认识大数据处业界中主流的分布式计算框架有哪些,进而引出为什么要学习的Flink框架、Flink是什么、发展史、特点;了解业务常见的实时处理框架有哪些,并知道在大厂中都在使用Flink做什么。帮助大家对Flink有初步得认识~~ … 收起列表 视频:1-1 课前须知,这里有你需要了解得一切 (09:02)试看 视频:1-2 课程目录 (01:39)...
Spark+ES+ClickHouse 构建DMP用户画像|完结无密
Python全部课程

Spark+ES+ClickHouse 构建DMP用户画像|完结无密

  Spark+ES+ClickHouse 构建DMP用户画像 大数据主流技术,数据挖掘核心算法,用户画像完整知识一课轻松掌握   行业竞争越来越激烈,精细化经营成为各企业取胜的秘籍。用户画像系统作为提供精准用户数据的重要来源,已经成为企业必备的核心平台,人才缺口大,薪资高。本课程将基于大数据主流技术,数据挖掘核心算法,带你打造企业实用的用户画像平台,提升你的个人竞争力。   适合人群 工作1-2年的大数据开发工程师 对用户画像,DMP平台感兴趣的小伙伴 技术储备 熟悉 Springboot 基础操作 了解 Spark/Scala 基本语法 对常见算法有基本了解 环境参数 spark 2.3.0 – 2.4.x clickhouse 21.3.4 hive 2.3.2 — 3.1.x hadoop 2.7.4 — 3.2.x hbase 1.2.6 — 2.3.x es 5.6.7 – 7.x zookeeper 3.5.8 phoenix 4.13.1 –...
Spark进阶 大数据离线与实时项目实战|完结无密
Java全部课程

Spark进阶 大数据离线与实时项目实战|完结无密

  Spark进阶 大数据离线与实时项目实战 整合大数据生态圈多个框架(Spark/Hbase/Redis/Hadoop) ,Spark大技术栈的企业级应用   本课程整合Redis和HBase打造以Spark技术栈为核心的离线处理项目以及实时处理项目,以功能实现为基础,通过调优及重构功能实现,达到企业级生产水平。课程最后讲解Alluxio整合Hadoop和Spark的使用,拓展同学们的视野。   适合人群 想转型或者从事大数据行业的小伙伴 技术储备要求 Spark进阶课程,不是从零基础开始讲解,需要有一定基础 熟悉Scala、Java SE基本语法 熟悉Hadoop基本使用、Linux基本命令 了解Spark SQL和Streaming的基本使用 [wm_tips]试看链接:https://pan.baidu.com/s/10Hn4ALGdd7aYJL40gZLi6A 提取码:q5q1 [/wm_tips]   章节目录: 第1章 课程介绍&学习指南 试看2 节 | 12分钟 本章会对这门课程进行说明并进行学习方法介绍。 收起列表 视频: 1-1 课程介绍 (11:26) 试看 图文: 1-2 ***学前必读***(助你平稳踩坑,畅学无忧,课程学习与解决问题指南) 第2章 Redis入门 试看12 节 | 126分钟 Redis是目前最火爆的内存数据库之一,通过在内存中读写数据,大大提高了读写速度。本章将从Redis特性、应用场景出发,到Redis的基础命令,再到Redis的常用数据类型实操,最后通过Java API来操作Redis,为后续实时处理项目打下坚实的基础…...
慕课大数据工程师2023版完结[最新2023版]
全部课程大数据&人工智能

慕课大数据工程师2023版完结[最新2023版]

大数据工程师2023版  紧跟技术发展,对标高薪岗位技能模型,带你更快进阶合格的大数据工程师  Java/Scala双语言教学,系统构建大数据技能体系 企业级案例驱动学习,还原真实业务场景 试看链接:https://pan.baidu.com/s/1-PUv8IJocfV6PC1XfI4u-Q?pwd=bfzn 章节目录: 阶段一:走进大数据 第1周   学好大数据先攻克Linux 在步入大数据殿堂之前,先带领大家快速掌握大数据的必备技能:Linux的操作使用,为后面学习大数据技术打下坚实基础。 课程安排: 1、掌握Linux虚拟机的安装和配置 2、使用ScecureCRT连接Linux虚拟机 3、掌握Linux中常见高级命令(vi、wc、sort、date、jps、kill等命令)的使用 4、掌握Linux中三剑客(grep、sed、awk)的常见用法 5、掌握Linux的高级配置(ip、hostname、防火墙) 6、掌握Shell脚本的开发 7、掌握Shell中变量、循环和判断的使用 8、掌握Shell中的扩展内容 9、掌握Linux中crontab定时器的使用 10、了解认识什么是大数据 11、大数据产生的背景 12、大数据的4V特征 13、大数据的行业应用 【本周思考与讨论】 1、结合自己的实际情况,明确学习目标、制定学习计划。有计划、有执行、有落实,必有收获! 2、利用学习的Linux高级技能实现论坛访问日志数据分析,看一下到底是谁在暴力攻击你的网站? 3、某云服务器被挖矿病毒程序侵入,病毒程序很顽强,如何开发一个脚本监控并杀掉此病毒程序? 4、手动安装JDK配置环境变量太繁琐了,如何开发一个一键安装配置JDK的程序? 5、为什么使用jps命令查看不到正在运行的Java进程? 6、在SecureCRT中按Ctrl+s会发生什么现象,尝试一下? 7、如何确认Crontab中的定时任务是否正常执行? 8、使用crontab -e 和 vi /etc/crontab配置的定时任务有什么区别? 9、谈一谈你眼中的大数据是什么样的? 学习贵在坚持,每天进步一点点! 第2周   大数据起源之初识Hadoop Hadoop是大数据开创者,引领者,学习大数据必经之路,本周带领大家了解Hadoop,以及Hadoop集群的安装部署。 课程安排: 1、什么是Hadoop 2、Hadoop发行版介绍 3、Hadoop版本演变历史...
玩转热门框架 用企业级思维 开发通用够硬的大数据平台|完结无密
Java全部课程

玩转热门框架 用企业级思维 开发通用够硬的大数据平台|完结无密

  玩转热门框架 用企业级思维 开发通用够硬的大数据平台 针对每个模块,提供成熟的选型视角与详细讲解,一次学习掌握大数据项目开发通用技术   从企业需求入手,构建集数据采集、数据存储、数据处理与分析、BI应用、权限管理、系统监控等于一体的大数据应用平台,帮助我们快速掌握大数据平台开发技术,迅速建立大数据技术的宏观的认识。   适合人群 有大数据基础,希望提升综合运用能力 积累开发经验的 有自学能力,想要培养大数据全局观的 技术储备要求 Java开发经验 熟悉SpringBoot框架 熟悉Linux系统 可熟练安装软件 了解常用大数据组件如Hadoop等 [wm_notice]试看链接:https://pan.baidu.com/s/1WId5U0X5eND1BdbaHIqaDw 提取码:bbai [/wm_notice] 章节目录: 第1章 课程导学与学习指南 试看3 节 | 12分钟 本章中将向大家介绍课程能学到什么、解决什么实际问题、项目成果展示,课程整体安排以及如何学习更高效。 收起列表 视频:1-1 导学【课程背景、项目速览】 (11:53)试看 图文:1-2 怎么更好的使用慕课平台 图文:1-3 你真的会问问题吗? 第2章 认识企业中的大数据平台6 节 | 32分钟 为什么要有大数据平台?大数据平台究竟是为了解决什么问题产生的?如何判断一个大数据平台的好坏?在设计一个数据平台时,需要注意哪些,有什么步骤。各大企业现有的解决方案有哪些,常见的技术栈有哪些,我们自己设计的这个通用的大数据平台是什么结构。… 收起列表 视频:2-1 课程简介与学习建议 (07:32)...
2023升级版-Spark+ClickHouse实战企业级数据仓库,进军大厂必备(21章完整版)
Java全部课程

2023升级版-Spark+ClickHouse实战企业级数据仓库,进军大厂必备(21章完整版)

  2023升级版-Spark+ClickHouse实战企业级数据仓库,进军大厂必备(21章完整版) 掌握数仓构建,完善技术体系,轻松掌握高薪技能 现阶段的数据开发领域,数据仓库作为企业战略决策的“大脑”,地位日益凸显,对数仓技术的掌握程度也成了大厂面试必考的一环。本课程结合ClickHouse+Spark 这一对数据处理的“黄金搭档”,选取“大数据量企业数据仓库“这一典型场景,实战大数据量下数仓的建模、设计与调优等实用技巧,快速掌握ClickHouse+Spark核心技能,为晋级大数据架构师铺路! 适合人群 希望掌握实用的数据仓库建模、设计和调优能力 希望快速提升的ClickHouse技术能力 希望通过贴近生产实践的案例,提升大数据项目能力的同学技术储备 熟悉Java/Scala基础的语法 了解SQL的基本使用 了解Spark基础 环境参数 Spark 3.2 ClickHouse 22.* Hadoop 3.3 Scala 2.12 Java 1.8 试看链接:https://pan.baidu.com/s/1TE8K8fySnD8A3-NYAHroQQ?pwd=fa8z   章节目录: 第1章 从0到1搭建项目开发环境,快速上手大数据开发 视频: 1-1 大数据时代,你还不知道数据仓库么?(10:28) 视频: 1-2 本章概览(02:05) 视频: 1-3 基于IDEA + Maven构建Spark工程(12:18) 图文: 1-4 数据开发环境(Spark/Hive/Hadoop/MySQL/IDEA)搭建 图文: 1-5 Maven安装配置 视频:...
Spark + ElasticSearch 构建电商用户标签系统|完结无密
Java全部课程

Spark + ElasticSearch 构建电商用户标签系统|完结无密

  Spark + ElasticSearch 构建电商用户标签系统 从Java开发过渡到大数据开发的转型课程 核心技术+业务思路 实现精准营销   课程利用 Spark + ElasticSearch 构建用户标签系统,利用 Docker+Docker Compose 实现项目的一键启停。涵盖数据同步、数据清洗、用户标签化等步骤,带你领略企业级数据平台的开发流程。   适合人群 对 Spark, ElasticSearch等大数据技术有强烈兴趣 想转行做大数据的同学 对企业级数据平台开发流程没有概念,但有一定的自学能力,并且愿意 接受挑战的同学 技术储备要求 Java Web 基础 Linux 基础 了解SQL 语法 熟悉数据库操作   [wm_notice]试看链接:https://pan.baidu.com/s/18rAqn3yM2S1xvE4jBTdTZg 提取码:fxh1 [/wm_notice]   章节目录:   第1章 课程介绍与学习指南 试看2 节 | 12分钟...