今天，在执行spark-sql时，查询数据量超过1.7亿行，数据量大小38G，出现系统盘占用突然变高的情况，
检查为 /tmp 目录下，spark生成的临时目录占用了大量的磁盘空间，生成的spark临时文件超过15G了。
解决方案为：
1、删除 /tmp/spark...
靠谱运维
1年前 (2018-08-17) 1692℃ 0评论
0喜欢
在使用spark-submit提交Spark任务一般有以下参数：
./bin/spark-submit \
--class <main-class> \
--master <master-url> \
--deploy-mode <...
靠谱运维
1年前 (2018-08-03) 1811℃ 0评论
0喜欢
1，测试或实验性质的本地运行模式 （单机）
该模式被称为Local[N]模式，是用单机的多个线程来模拟Spark分布式计算，通常用来验证开发出来的应用程序逻辑上有没有问题。
其中N代表可以使用N个线程，每个线程拥有一个core。如果不指定N，则默认是1个线程（该线程有1个core...
靠谱运维
1年前 (2018-08-03) 1054℃ 0评论
0喜欢
一、概念简介
Kubernetes是Google开源的容器集群管理系统。它构建Ddocker技术之上，为容器化的应用提供资源调度、部署运行、服务发现、扩容缩容等整一套功能，本质上可看作是基于容器技术的mini-PaaS平台。本文旨在梳理Kubernetes的架构、概念及基本工作流...
靠谱运维
2年前 (2017-11-10) 3951℃ 0评论
3喜欢
基本原理
首先，要实现网络通信，机器需要至少一个网络接口（物理接口或虚拟接口）来收发数据包；此外，如果不同子网之间要进行通信，需要路由机制。
Docker 中的网络接口默认都是虚拟的接口。虚拟接口的优势之一是转发效率较高。 Linux 通过在内核中进行数据复制来实现虚拟接口之间的...
靠谱运维
2年前 (2017-09-13) 1402℃ 0评论
1喜欢
Container是什么？
Container就是一个yarn的java进程，在Mapreduce中的AM，MapTask，ReduceTask都作为Container在Yarn的框架上执行，你可以在RM的网页上看到Container的状态
基础
Yarn的ResourceMan...
靠谱运维
2年前 (2017-06-28) 2019℃ 0评论
1喜欢
harbor安装配置
Centos(7.2)
Docker 1.2
Docker-compose 编排工具
一.环境安装：
Docker install：
curl -fsSL https://get.docker.io | bash
Docker-compose...
靠谱运维
3年前 (2017-03-19) 4222℃ 0评论
1喜欢
Docker 基础用法
Docker HUB : Docker镜像首页，包括官方镜像和其它公开镜像
因为国情的原因，国内下载 Docker HUB 官方的相关镜像比较慢，可以使用 Daocloud 镜像加速。
3.1 Search images
$ sudo docker se...
靠谱运维
3年前 (2017-03-16) 1934℃ 0评论
1喜欢
一、Docker 简介
Docker 两个主要部件：
Docker: 开源的容器虚拟化平台
Docker Hub: 用于分享、管理 Docker 容器的 Docker SaaS 平台 – Docker Hub
Docker 使用客户端-服务器 (C/S) 架构模式。Docke...
靠谱运维
3年前 (2017-03-16) 1820℃ 0评论
0喜欢
在这篇文章中，我们将学习另外的15个Docker命令。它们分别是：daemon：Docker daemon是一个用于管理容器的后台进程。一般情况下，守护进程是一个长期运行的用来处理请求的进程服务。-d参数用于运行后台进程。build：如之前所讨论的，可以使用Dockerfile来...
靠谱运维
3年前 (2017-03-15) 1976℃ 0评论
0喜欢
