分类:虚拟化&大数据

storage

Docker集群管理之Kubernetes

Docker集群管理之Kubernetes
一、概念简介 Kubernetes是Google开源的容器集群管理系统。它构建Ddocker技术之上,为容器化的应用提供资源调度、部署运行、服务发现、扩容缩容等整一套功能,本质上可看作是基于容器技术的mini-PaaS平台。本文旨在梳理Kubernetes的架构、概念及基本工作流...

靠谱运维 8个月前 (11-10) 1136℃ 0评论 3喜欢

Docker 网络实现

Docker 网络实现
基本原理 首先,要实现网络通信,机器需要至少一个网络接口(物理接口或虚拟接口)来收发数据包;此外,如果不同子网之间要进行通信,需要路由机制。 Docker 中的网络接口默认都是虚拟的接口。虚拟接口的优势之一是转发效率较高。 Linux 通过在内核中进行数据复制来实现虚拟接口之间的...

靠谱运维 10个月前 (09-13) 600℃ 0评论 1喜欢

Yarn下Mapreduce的内存参数理解

Yarn下Mapreduce的内存参数理解
Container是什么? Container就是一个yarn的java进程,在Mapreduce中的AM,MapTask,ReduceTask都作为Container在Yarn的框架上执行,你可以在RM的网页上看到Container的状态 基础 Yarn的ResourceMan...

靠谱运维 1年前 (2017-06-28) 585℃ 0评论 1喜欢

Docker学习笔记:Docker 基础用法

Docker学习笔记:Docker 基础用法
Docker 基础用法 Docker HUB : Docker镜像首页,包括官方镜像和其它公开镜像 因为国情的原因,国内下载 Docker HUB 官方的相关镜像比较慢,可以使用 Daocloud 镜像加速。 3.1 Search images $ sudo docker se...

靠谱运维 1年前 (2017-03-16) 1154℃ 0评论 1喜欢

Docker学习笔记:Docker 简介

Docker学习笔记:Docker 简介
一、Docker 简介 Docker 两个主要部件: Docker: 开源的容器虚拟化平台 Docker Hub: 用于分享、管理 Docker 容器的 Docker SaaS 平台 – Docker Hub Docker 使用客户端-服务器 (C/S) 架构模式。Docke...

靠谱运维 1年前 (2017-03-16) 1161℃ 0评论 0喜欢

Docker入门教程学习(六)15个Docker命令

Docker入门教程学习(六)15个Docker命令
在这篇文章中,我们将学习另外的15个Docker命令。它们分别是:daemon:Docker daemon是一个用于管理容器的后台进程。一般情况下,守护进程是一个长期运行的用来处理请求的进程服务。-d参数用于运行后台进程。build:如之前所讨论的,可以使用Dockerfile来...

靠谱运维 1年前 (2017-03-15) 1248℃ 0评论 0喜欢

Hadoop、Storm、Samza、Spark和Flink大数据框架对比

Hadoop、Storm、Samza、Spark和Flink大数据框架对比
简介 大数据是收集、整理、处理大容量数据集,并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限,但这种计算类型的普遍性、规模,以及价值在最近几年才经历了大规模扩展。 本文将介绍大数据系统一个最基本的组件:处理框架。处理框架负责...

靠谱运维 1年前 (2017-03-15) 1193℃ 0评论 0喜欢

Docker入门教程学习(五)Docker安全

Docker入门教程学习(五)Docker安全
我们必须高度重视开源软件的安全问题,当开发者在使用Docker时,从本地构建应用程序到生产环境部署是没有任何差异的(译者注:作者的言外之意是更应该重视Docker的安全问题)。当Docker被越来越多的平台使用的时候,我们需要严格保证Docker作为一个项目或者平台的安全性。因此...

靠谱运维 1年前 (2017-03-14) 1110℃ 0评论 0喜欢

Hadoop运维必须知道的10个运维技能

Hadoop运维必须知道的10个运维技能
前言 接触Hadoop有两年的时间了,期间遇到很多的问题,既有经典的NameNode和JobTracker内存溢出故障,也有HDFS存储小文件问题,既有任务调度问题,也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷(短板),有些则是使用的不当。 在解决问...

靠谱运维 1年前 (2017-03-14) 1210℃ 0评论 0喜欢