在使用spark-submit提交Spark任务一般有以下参数：
./bin/spark-submit \
--class <main-class> \
--master <master-url> \
--deploy-mode <...
靠谱运维
1年前 (2018-08-03) 1809℃ 0评论
0喜欢
1，测试或实验性质的本地运行模式 （单机）
该模式被称为Local[N]模式，是用单机的多个线程来模拟Spark分布式计算，通常用来验证开发出来的应用程序逻辑上有没有问题。
其中N代表可以使用N个线程，每个线程拥有一个core。如果不指定N，则默认是1个线程（该线程有1个core...
靠谱运维
1年前 (2018-08-03) 1054℃ 0评论
0喜欢
Container是什么？
Container就是一个yarn的java进程，在Mapreduce中的AM，MapTask，ReduceTask都作为Container在Yarn的框架上执行，你可以在RM的网页上看到Container的状态
基础
Yarn的ResourceMan...
靠谱运维
2年前 (2017-06-28) 2019℃ 0评论
1喜欢
简介
大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。
本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责...
靠谱运维
3年前 (2017-03-15) 1887℃ 0评论
0喜欢
前言
接触Hadoop有两年的时间了，期间遇到很多的问题，既有经典的NameNode和JobTracker内存溢出故障，也有HDFS存储小文件问题，既有任务调度问题，也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷（短板），有些则是使用的不当。
在解决问...
靠谱运维
3年前 (2017-03-14) 3019℃ 0评论
2喜欢
我么知道MRv1存在的主要问题是：在运行时，JobTracker既负责资源管理又负责任务调度，这导致了它的扩展性、资源利用率低等问题。之所以存在这样的问题，是与其最初的设计有关，如下图：
从上图可以看到，MRv1是围绕着MapReduce进行，并没有过多地考虑以后出现的其它数据...
靠谱运维
3年前 (2017-03-13) 1424℃ 0评论
0喜欢
