分类:虚拟化&大数据

storage

Rancher如何与Docker和Kubernetes进行交互

Rancher如何与Docker和Kubernetes进行交互
1. Docker Docker是容器打包和runtime标准。开发人员从Dockerfiles构建容器镜像,并从Docker镜像仓库中分发容器镜像。Docker Hub是最受欢迎的公共镜像仓库,许多组织还设置私有Docker镜像仓库。Docker主要用于管理各个节点上的容器。 ...

靠谱运维 2周前 (01-14) 46℃ 0评论 0喜欢

Rancher 2.x安装k8s集群快速入门

Rancher 2.x安装k8s集群快速入门
本教程将指导您完成: 安装Rancher Server; 创建第一个集群; 部署一个应用程序,如Nginx; ¶1. 入门须知 熟悉Linux基础命令; 了解SSH使用方法,了解公钥/私钥工作原理; 熟悉Docker基本使用方法及基础命令,比如:容器日志查看; 了解SSL证...

靠谱运维 2周前 (01-14) 53℃ 0评论 0喜欢

Spark运行时产生的临时目录的问题

今天,在执行spark-sql时,查询数据量超过1.7亿行,数据量大小38G,出现系统盘占用突然变高的情况, 检查为 /tmp 目录下,spark生成的临时目录占用了大量的磁盘空间,生成的spark临时文件超过15G了。   解决方案为: 1、删除 /tmp/spark...

靠谱运维 1年前 (2018-08-17) 1927℃ 0评论 0喜欢

Spark多种运行模式以及每种模式的执行方法

1,测试或实验性质的本地运行模式 (单机) 该模式被称为Local[N]模式,是用单机的多个线程来模拟Spark分布式计算,通常用来验证开发出来的应用程序逻辑上有没有问题。 其中N代表可以使用N个线程,每个线程拥有一个core。如果不指定N,则默认是1个线程(该线程有1个core...

靠谱运维 2年前 (2018-08-03) 1202℃ 0评论 0喜欢

Docker集群管理之Kubernetes

Docker集群管理之Kubernetes
一、概念简介 Kubernetes是Google开源的容器集群管理系统。它构建Ddocker技术之上,为容器化的应用提供资源调度、部署运行、服务发现、扩容缩容等整一套功能,本质上可看作是基于容器技术的mini-PaaS平台。本文旨在梳理Kubernetes的架构、概念及基本工作流...

靠谱运维 2年前 (2017-11-10) 4332℃ 0评论 3喜欢

Docker 网络实现

基本原理 首先,要实现网络通信,机器需要至少一个网络接口(物理接口或虚拟接口)来收发数据包;此外,如果不同子网之间要进行通信,需要路由机制。 Docker 中的网络接口默认都是虚拟的接口。虚拟接口的优势之一是转发效率较高。 Linux 通过在内核中进行数据复制来实现虚拟接口之间的...

靠谱运维 2年前 (2017-09-13) 1490℃ 0评论 1喜欢

Yarn下Mapreduce的内存参数理解

Yarn下Mapreduce的内存参数理解
Container是什么? Container就是一个yarn的java进程,在Mapreduce中的AM,MapTask,ReduceTask都作为Container在Yarn的框架上执行,你可以在RM的网页上看到Container的状态 基础 Yarn的ResourceMan...

靠谱运维 3年前 (2017-06-28) 2201℃ 0评论 1喜欢

Docker学习笔记:Docker 基础用法

Docker 基础用法 Docker HUB : Docker镜像首页,包括官方镜像和其它公开镜像 因为国情的原因,国内下载 Docker HUB 官方的相关镜像比较慢,可以使用 Daocloud 镜像加速。 3.1 Search images $ sudo docker se...

靠谱运维 3年前 (2017-03-16) 2033℃ 0评论 1喜欢