靠谱运维的文章

靠谱运维,Linux运维实战技能分享平台,企业一线原创运维经验总结。
虚拟化&大数据

Spark运行时产生的临时目录的问题

今天,在执行spark-sql时,查询数据量超过1.7亿行,数据量大小38G,出现系统盘占用突然变高的情况, 检查为 /tmp 目录下,spark生成的临时目录占用了大量的磁盘空间,生成的spark临时文件超过15G了。   解决方案为: 1、删除 /tmp/spark...

2年前 (2018-08-17) 2509℃ 0评论 0喜欢

MySQL运维

mysql 如何给大表添加字段

基本思路: ① 创建一个临时的新表,首先复制旧表的结构(包含索引) create table new_table like old_table; ② 给新表加上新增的字段 ③ 把旧表的数据复制过来 insert into new_table(filed1,filed2…) sel...

2年前 (2018-08-14) 1626℃ 0评论 0喜欢

MySQL运维

copy to tmp table与tmp_table_size

mysql默认情况下:   tmp_table_size 33554432 max_heap_table_size 16777216 copy to tmp talbe 语句产生的原因是查询需要Order By 或者Group By等需要用到结果集时,参数中设置的临时表...

2年前 (2018-08-14) 2000℃ 0评论 0喜欢

hadoop运维

Spark多种运行模式以及每种模式的执行方法

1,测试或实验性质的本地运行模式 (单机) 该模式被称为Local[N]模式,是用单机的多个线程来模拟Spark分布式计算,通常用来验证开发出来的应用程序逻辑上有没有问题。 其中N代表可以使用N个线程,每个线程拥有一个core。如果不指定N,则默认是1个线程(该线程有1个core...

2年前 (2018-08-03) 1474℃ 0评论 0喜欢

监控报警

zabbix使用Web监控实例

zabbix使用Web监控实例
Web monitoring是用来监控Web站点多方面的可用性,可以监控Web站点的下载速度、返回码和响应时间。Zabbix能够检测HTML中包含的预先定义的字符串,也可以模拟登录网站和鼠标的动作,对特定的结果进行比较,例如特定字符串、返回码等,从而判断站点服务的可用性。Zabb...

2年前 (2018-04-02) 5657℃ 0评论 5喜欢

MySQL运维

php mysql localhost,127.0.0.1和ip区别

一家之言: localhost与127.0.0.1的区别 localhost与127.0.0.1的区别是什么?相信有人会说是本地ip,曾有人说,用127.0.0.1比localhost好,可以减少一次解析。 看来这个入门问题还有人不清楚,其实这两者是有区别的。 no1: loca...

2年前 (2018-03-15) 2208℃ 0评论 1喜欢

Nginx应用

nginx 之 proxy_pass详解

在nginx中配置proxy_pass代理转发时,如果在proxy_pass后面的url加/,表示绝对根路径;如果没有/,表示相对路径,把匹配的路径部分也给代理走。 假设下面四种情况分别用 http://192.168.1.1/proxy/test.html 进行访问。 ...

2年前 (2018-01-12) 2676℃ 0评论 4喜欢