分类:虚拟化&大数据

storage

Spark运行时产生的临时目录的问题

Spark运行时产生的临时目录的问题
今天,在执行spark-sql时,查询数据量超过1.7亿行,数据量大小38G,出现系统盘占用突然变高的情况, 检查为 /tmp 目录下,spark生成的临时目录占用了大量的磁盘空间,生成的spark临时文件超过15G了。   解决方案为: 1、删除 /tmp/spark...

靠谱运维 3个月前 (08-17) 421℃ 0评论 0喜欢

Spark多种运行模式以及每种模式的执行方法

Spark多种运行模式以及每种模式的执行方法
1,测试或实验性质的本地运行模式 (单机) 该模式被称为Local[N]模式,是用单机的多个线程来模拟Spark分布式计算,通常用来验证开发出来的应用程序逻辑上有没有问题。 其中N代表可以使用N个线程,每个线程拥有一个core。如果不指定N,则默认是1个线程(该线程有1个core...

靠谱运维 4个月前 (08-03) 308℃ 0评论 0喜欢

Docker集群管理之Kubernetes

Docker集群管理之Kubernetes
一、概念简介 Kubernetes是Google开源的容器集群管理系统。它构建Ddocker技术之上,为容器化的应用提供资源调度、部署运行、服务发现、扩容缩容等整一套功能,本质上可看作是基于容器技术的mini-PaaS平台。本文旨在梳理Kubernetes的架构、概念及基本工作流...

靠谱运维 1年前 (2017-11-10) 2123℃ 0评论 3喜欢

Docker 网络实现

Docker 网络实现
基本原理 首先,要实现网络通信,机器需要至少一个网络接口(物理接口或虚拟接口)来收发数据包;此外,如果不同子网之间要进行通信,需要路由机制。 Docker 中的网络接口默认都是虚拟的接口。虚拟接口的优势之一是转发效率较高。 Linux 通过在内核中进行数据复制来实现虚拟接口之间的...

靠谱运维 1年前 (2017-09-13) 815℃ 0评论 1喜欢

Yarn下Mapreduce的内存参数理解

Yarn下Mapreduce的内存参数理解
Container是什么? Container就是一个yarn的java进程,在Mapreduce中的AM,MapTask,ReduceTask都作为Container在Yarn的框架上执行,你可以在RM的网页上看到Container的状态 基础 Yarn的ResourceMan...

靠谱运维 1年前 (2017-06-28) 993℃ 0评论 1喜欢

Docker学习笔记:Docker 基础用法

Docker学习笔记:Docker 基础用法
Docker 基础用法 Docker HUB : Docker镜像首页,包括官方镜像和其它公开镜像 因为国情的原因,国内下载 Docker HUB 官方的相关镜像比较慢,可以使用 Daocloud 镜像加速。 3.1 Search images $ sudo docker se...

靠谱运维 2年前 (2017-03-16) 1393℃ 0评论 1喜欢

Docker学习笔记:Docker 简介

Docker学习笔记:Docker 简介
一、Docker 简介 Docker 两个主要部件: Docker: 开源的容器虚拟化平台 Docker Hub: 用于分享、管理 Docker 容器的 Docker SaaS 平台 – Docker Hub Docker 使用客户端-服务器 (C/S) 架构模式。Docke...

靠谱运维 2年前 (2017-03-16) 1342℃ 0评论 0喜欢

Docker入门教程学习(六)15个Docker命令

Docker入门教程学习(六)15个Docker命令
在这篇文章中,我们将学习另外的15个Docker命令。它们分别是:daemon:Docker daemon是一个用于管理容器的后台进程。一般情况下,守护进程是一个长期运行的用来处理请求的进程服务。-d参数用于运行后台进程。build:如之前所讨论的,可以使用Dockerfile来...

靠谱运维 2年前 (2017-03-15) 1456℃ 0评论 0喜欢