1. Docker
Docker是容器打包和runtime标准。开发人员从Dockerfiles构建容器镜像，并从Docker镜像仓库中分发容器镜像。Docker Hub是最受欢迎的公共镜像仓库，许多组织还设置私有Docker镜像仓库。Docker主要用于管理各个节点上的容器。
...
靠谱运维
3个月前 (01-14) 225℃ 0评论
0喜欢
本教程将指导您完成:
安装Rancher Server;
创建第一个集群；
部署一个应用程序，如Nginx；
¶1. 入门须知
熟悉Linux基础命令；
了解SSH使用方法，了解公钥/私钥工作原理；
熟悉Docker基本使用方法及基础命令，比如：容器日志查看；
了解SSL证...
靠谱运维
3个月前 (01-14) 283℃ 0评论
0喜欢
今天，在执行spark-sql时，查询数据量超过1.7亿行，数据量大小38G，出现系统盘占用突然变高的情况，
检查为 /tmp 目录下，spark生成的临时目录占用了大量的磁盘空间，生成的spark临时文件超过15G了。
解决方案为：
1、删除 /tmp/spark...
靠谱运维
2年前 (2018-08-17) 2220℃ 0评论
0喜欢
在使用spark-submit提交Spark任务一般有以下参数：
./bin/spark-submit \
--class <main-class> \
--master <master-url> \
--deploy-mode <...
靠谱运维
2年前 (2018-08-03) 2790℃ 0评论
1喜欢
1，测试或实验性质的本地运行模式 （单机）
该模式被称为Local[N]模式，是用单机的多个线程来模拟Spark分布式计算，通常用来验证开发出来的应用程序逻辑上有没有问题。
其中N代表可以使用N个线程，每个线程拥有一个core。如果不指定N，则默认是1个线程（该线程有1个core...
靠谱运维
2年前 (2018-08-03) 1327℃ 0评论
0喜欢
一、概念简介
Kubernetes是Google开源的容器集群管理系统。它构建Ddocker技术之上，为容器化的应用提供资源调度、部署运行、服务发现、扩容缩容等整一套功能，本质上可看作是基于容器技术的mini-PaaS平台。本文旨在梳理Kubernetes的架构、概念及基本工作流...
靠谱运维
2年前 (2017-11-10) 4666℃ 0评论
3喜欢
基本原理
首先，要实现网络通信，机器需要至少一个网络接口（物理接口或虚拟接口）来收发数据包；此外，如果不同子网之间要进行通信，需要路由机制。
Docker 中的网络接口默认都是虚拟的接口。虚拟接口的优势之一是转发效率较高。 Linux 通过在内核中进行数据复制来实现虚拟接口之间的...
靠谱运维
3年前 (2017-09-13) 1579℃ 0评论
1喜欢
Container是什么？
Container就是一个yarn的java进程，在Mapreduce中的AM，MapTask，ReduceTask都作为Container在Yarn的框架上执行，你可以在RM的网页上看到Container的状态
基础
Yarn的ResourceMan...
靠谱运维
3年前 (2017-06-28) 2400℃ 0评论
1喜欢
harbor安装配置
Centos(7.2)
Docker 1.2
Docker-compose 编排工具
一.环境安装：
Docker install：
curl -fsSL https://get.docker.io | bash
Docker-compose...
靠谱运维
3年前 (2017-03-19) 4860℃ 2评论
2喜欢
Docker 基础用法
Docker HUB : Docker镜像首页，包括官方镜像和其它公开镜像
因为国情的原因，国内下载 Docker HUB 官方的相关镜像比较慢，可以使用 Daocloud 镜像加速。
3.1 Search images
$ sudo docker se...
靠谱运维
3年前 (2017-03-16) 2103℃ 0评论
1喜欢
