分类:虚拟化&大数据

storage

Hadoop、Storm、Samza、Spark和Flink大数据框架对比

Hadoop、Storm、Samza、Spark和Flink大数据框架对比
简介 大数据是收集、整理、处理大容量数据集,并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限,但这种计算类型的普遍性、规模,以及价值在最近几年才经历了大规模扩展。 本文将介绍大数据系统一个最基本的组件:处理框架。处理框架负责...

靠谱运维 2年前 (2017-03-15) 1692℃ 0评论 0喜欢

Docker入门教程学习(五)Docker安全

Docker入门教程学习(五)Docker安全
我们必须高度重视开源软件的安全问题,当开发者在使用Docker时,从本地构建应用程序到生产环境部署是没有任何差异的(译者注:作者的言外之意是更应该重视Docker的安全问题)。当Docker被越来越多的平台使用的时候,我们需要严格保证Docker作为一个项目或者平台的安全性。因此...

靠谱运维 2年前 (2017-03-14) 1583℃ 0评论 0喜欢

Hadoop运维必须知道的10个运维技能

Hadoop运维必须知道的10个运维技能
前言 接触Hadoop有两年的时间了,期间遇到很多的问题,既有经典的NameNode和JobTracker内存溢出故障,也有HDFS存储小文件问题,既有任务调度问题,也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷(短板),有些则是使用的不当。 在解决问...

靠谱运维 2年前 (2017-03-14) 2295℃ 0评论 0喜欢

Yarn简单介绍及内存配置

Yarn简单介绍及内存配置
我么知道MRv1存在的主要问题是:在运行时,JobTracker既负责资源管理又负责任务调度,这导致了它的扩展性、资源利用率低等问题。之所以存在这样的问题,是与其最初的设计有关,如下图: 从上图可以看到,MRv1是围绕着MapReduce进行,并没有过多地考虑以后出现的其它数据...

靠谱运维 2年前 (2017-03-13) 1182℃ 0评论 0喜欢

Docker入门教程学习(四)Docker Registry

Docker入门教程学习(四)Docker Registry
DockerOne组织翻译了Flux7的Docker入门教程,本文是系列入门教程的第四篇,介绍了Docker Registry,它是Docker中的重要组件。本文通过情景演绎的方式对其进行了介绍,图文并茂,强烈推荐读者阅读。在Docker系列教程的上一篇文章中,我们讨论了Dock...

靠谱运维 2年前 (2017-03-13) 1582℃ 0评论 0喜欢

Docker入门教程学习(三)Dockerfile

Docker入门教程学习(三)Dockerfile
上一篇文章中,我们介绍了15个Docker命令,你应该对Docker有个大致的了解了。那15个命令在手动创建镜像时会用到,它们涵盖了镜像的创建、提交、搜索、pull和push的功能。现在问题来了,既然Docker能自动创建镜像,那为什么要选择耗时而又乏味的方式来创建镜像呢?Doc...

靠谱运维 2年前 (2017-03-13) 1310℃ 0评论 0喜欢

Docker入门教程学习(二)命令

Docker入门教程学习(二)命令
在这篇文章中,我们将学习15个Docker命令,并通过实践来学习它是如何工作的。首先,让我们通过下面的命令来检查Docker的安装是否正确: docker info  如果没有找到这条命令,则表示Docker安装错误。如果安装正确,则会输出类似下面的内容: 到这一步Dock...

靠谱运维 2年前 (2017-03-13) 1385℃ 0评论 0喜欢

Docker入门学习教程(一)介绍

Docker入门学习教程(一)介绍
本文主要涉及Docker的基础知识:Docker的特征、理念以及如何安装使用Docker。 Docker 特征 Docker有不少有趣的功能,通过本教程相信你会更好地理解它们。Docker的特性主要包括以下几点: 速度飞快以及优雅的隔离框架 物美价廉 CPU/内存的低消耗 快速...

靠谱运维 2年前 (2017-03-11) 1548℃ 0评论 1喜欢

Hadoop/Yarn/MapReduce内存分配(配置)方案

Hadoop/Yarn/MapReduce内存分配(配置)方案
以horntonworks给出推荐配置为蓝本,给出一种常见的Hadoop集群上各组件的内存分配方案。方案最右侧一栏是一个8G VM的分配方案,方案预留1-2G的内存给操作系统,分配4G给Yarn/MapReduce,当然也包括了HIVE,剩余的2-3G是在需要使用HBase时预留...

靠谱运维 2年前 (2017-03-10) 1177℃ 0评论 1喜欢