备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

11月14日Spark社区直播【 Spark on Kubernetes & YARN】

2019-11-12 6832
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本次直播将讨论：以Kubernetes为代表的云原生技术越来越流行起来，spark是如何跑在Kubernetes之上来享受云原生技术的红利？Spark跑在Kubernetes之上和跑在Hadoop YARN上又有什么区别？以及Kubernetes 和YARN的差异点是什么。

主题：
Spark on Kubernetes & YARN

点击这里是直播间直达链接（回看链接）

时间
11月14日：19：00-20：00

直播介绍：
以Kubernetes为代表的云原生技术越来越流行起来，spark是如何跑在Kubernetes之上来享受云原生技术的红利？
Spark跑在Kubernetes之上和跑在Hadoop YARN上又有什么区别？以及Kubernetes 和YARN的差异点是什么。

主讲人：
何剑
阿里巴巴高级技术专家，专注于Kubernetes容器云和大数据底层调度以及基础架构，负责阿里巴巴容器平台在线服务和离线计算任务混部。此前就职于Hortonworks, 是Hadoop 社区Committer和PMC成员

请钉钉扫码至群内观看直播，与嘉宾互动有机会获得社区礼物一份。

11月14 直播.png

文章标签：
容器服务Kubernetes版
容器
Kubernetes
分布式计算
资源调度
Spark
关键词：
Yarn spark
apache spark yarn
容器服务Kubernetes版spark
容器服务Kubernetes版 Spark
容器服务Kubernetes版yarn
相关实践学习
容器服务Serverless版ACK Serverless 快速入门：在线魔方应用部署和监控
通过本实验，您将了解到容器服务Serverless版ACK Serverless 的基本产品能力，即可以实现快速部署一个在线魔方应用，并借助阿里云容器服务成熟的产品生态，实现在线应用的企业级监控，提升应用稳定性。
云原生实践公开课
课程大纲 开篇：如何学习并实践云原生技术 基础篇： 5 步上手 Kubernetes 进阶篇：生产环境下的 K8s 实践 相关的阿里云产品：容器服务 ACK 容器服务 Kubernetes 版（简称 ACK）提供高性能可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力，打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
开源大数据EMR
目录
相关文章
cuicuicuic
|
5天前
|
分布式计算 Kubernetes 监控
容器服务Kubernetes版产品使用合集之怎么实现把 spark 跑在k8s
容器服务Kubernetes版，作为阿里云提供的核心服务之一，旨在帮助企业及开发者高效管理和运行Kubernetes集群，实现应用的容器化与微服务化。以下是关于使用这些服务的一些建议和合集，涵盖基本操作、最佳实践、以及一些高级功能的使用方法。
cuicuicuic
27 1
孙玉洁-47170
|
5天前
|
分布式计算 资源调度 监控
Spark学习--1、Spark入门（Spark概述、Spark部署、Local模式、Standalone模式、Yarn模式）（一）
Spark学习--1、Spark入门（Spark概述、Spark部署、Local模式、Standalone模式、Yarn模式）（一）
孙玉洁-47170
119 1
大数据启示录
|
5天前
|
分布式计算 Kubernetes Java
spark on k8s native
spark on k8s native
大数据启示录
54 1
阿里云云原生
|
6月前
|
分布式计算 Kubernetes Serverless
Hago 的 Spark on ACK 实践
Hago 的 Spark on ACK 实践
阿里云云原生
473 0
北惜
|
7月前
|
分布式计算 资源调度 Hadoop
Spark on Yarn集群模式搭建及测试
Spark on Yarn集群模式搭建及测试
北惜
167 0
赵广陆
|
8月前
|
分布式计算 资源调度 监控
Spark Yarn模式部署集群
Spark Yarn模式部署集群
赵广陆
51 1
疯狂的猿
|
5天前
|
机器学习/深度学习 SQL 分布式计算
Apache Spark 的基本概念和在大数据分析中的应用
介绍 Apache Spark 的基本概念和在大数据分析中的应用
疯狂的猿
168 0
桃李春风一杯酒
|
5天前
|
分布式计算 Hadoop 大数据
大数据技术与Python：结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性，阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce，Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop，可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop，以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
桃李春风一杯酒
365 1
程序猿～厾罗
|
5天前
|
机器学习/深度学习 SQL 分布式计算
介绍 Apache Spark 的基本概念和在大数据分析中的应用。
介绍 Apache Spark 的基本概念和在大数据分析中的应用。
程序猿～厾罗
77 0
三分钟热度的鱼
|
5天前
|
分布式计算 DataWorks 大数据
MaxCompute操作报错合集之大数据计算的MaxCompute Spark引擎无法读取到表，是什么原因
MaxCompute是阿里云提供的大规模离线数据处理服务，用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时，可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
三分钟热度的鱼
28 1
MaxCompute操作报错合集之大数据计算的MaxCompute Spark引擎无法读取到表，是什么原因
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    阿里封神谈hadoop生态学习之路
  • 2
    现代流式计算的基石：Google DataFlow
  • 3
    Spark in action on Kubernetes - Playground搭建与架构浅析
  • 4
    基于Alluxio系统的Spark DataFrame高效存储管理技术
  • 5
    HIVE MapJoin异常问题处理总结
  • 6
    阿里封神-大数据处理技术漫谈
  • 7
    JindoFS概述：云原生的大数据计算存储分离方案
  • 8
    5W1H(六何分析法)全景洞察大数据
  • 9
    基于Spark Streaming 进行 MySQL Binlog 日志准实时传输
  • 10
    在 Apache Spark 中利用 HyperLogLog 函数实现高级分析
  • 1
    文心大模型的智能体（Agent）平台
    12
  • 2
    阿里巴巴的通义千问大模型
    21
  • 3
    基于阿里云向量检索 Milvus 版和 LangChain 快速构建 LLM 问答系统
    161
  • 4
    通过阿里云向量检索 Milvus 版和通义千问快速构建基于专属知识库的问答系统
    392
  • 5
    Apache Hadoop入门指南：搭建分布式大数据处理平台
    240
  • 6
    Paimon 与 Spark 的集成（二）：查询优化
    117582
  • 7
    1688API接口推荐：1688口令转换真实链接接口
    47
  • 8
    实用工具推荐：适用于 TypeScript 网络爬取的常用爬虫框架与库
    252
  • 9
    1688API接口推荐：1688按图搜索拍立淘数据接口
    342
  • 10
    基于阿里云向量检索 Milvus 版与 PAI 搭建高效的检索增强生成（RAG）系统
    187

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • Hadoop 分布式资源管理框架 YARN
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • 深度学习+大数据 TensorFlow on Yarn
  • Docker on Yarn 微服务实践
  • 深度学习+大数据-TensorFlow on Yarn

    • 相关实验场景

    更多
  • 在ACK Serverless中部署Stable Diffusion应用
  • 基于 ACK Serverless 解锁你家萌宠的 AI 形象
  • 基于ACK Serverless实现容器应用弹性伸缩
  • 使用ACK Serverless容器化部署大语言模型FastChat
  • 通过EDAS实现K8s微服务应用的金丝雀发布
  • 通过ACK Serverless搭建企业级网站应用

    • 推荐镜像

    更多
  • kubernetes
  • pouch
  • terraform
    • 下一篇
    2024年阿里云免费云服务器及学生云服务器申请教程参考
    http://www.vxiaotou.com