今天，在执行spark-sql时，查询数据量超过1.7亿行，数据量大小38G，出现系统盘占用突然变高的情况，
检查为 /tmp 目录下，spark生成的临时目录占用了大量的磁盘空间，生成的spark临时文件超过15G了。
解决方案为：
1、删除 /tmp/spark...
靠谱运维
2年前 (2018-08-17) 2521℃ 0评论
0喜欢
基本思路：
① 创建一个临时的新表，首先复制旧表的结构（包含索引）
create table new_table like old_table;
② 给新表加上新增的字段
③ 把旧表的数据复制过来
insert into new_table(filed1,filed2…) sel...
靠谱运维
2年前 (2018-08-14) 1634℃ 0评论
0喜欢
mysql默认情况下：
tmp_table_size 33554432
max_heap_table_size 16777216
copy to tmp talbe 语句产生的原因是查询需要Order By 或者Group By等需要用到结果集时，参数中设置的临时表...
靠谱运维
2年前 (2018-08-14) 2007℃ 0评论
0喜欢
在使用spark-submit提交Spark任务一般有以下参数：
./bin/spark-submit \
--class <main-class> \
--master <master-url> \
--deploy-mode <...
靠谱运维
2年前 (2018-08-03) 3308℃ 0评论
3喜欢
1，测试或实验性质的本地运行模式 （单机）
该模式被称为Local[N]模式，是用单机的多个线程来模拟Spark分布式计算，通常用来验证开发出来的应用程序逻辑上有没有问题。
其中N代表可以使用N个线程，每个线程拥有一个core。如果不指定N，则默认是1个线程（该线程有1个core...
靠谱运维
2年前 (2018-08-03) 1477℃ 0评论
0喜欢
Web monitoring是用来监控Web站点多方面的可用性，可以监控Web站点的下载速度、返回码和响应时间。Zabbix能够检测HTML中包含的预先定义的字符串，也可以模拟登录网站和鼠标的动作，对特定的结果进行比较，例如特定字符串、返回码等，从而判断站点服务的可用性。Zabb...
靠谱运维
2年前 (2018-04-02) 5672℃ 0评论
5喜欢
一家之言：
localhost与127.0.0.1的区别
localhost与127.0.0.1的区别是什么？相信有人会说是本地ip，曾有人说，用127.0.0.1比localhost好，可以减少一次解析。 看来这个入门问题还有人不清楚，其实这两者是有区别的。
no1:
loca...
靠谱运维
2年前 (2018-03-15) 2219℃ 0评论
1喜欢
MYSQL 也叫 Original MySQL，PHP4版本的MYSQL扩展，从PHP5起已经被废弃，并别从PHP7开始已经被移除。
MYSQLI 叫做 “MySQL增强扩展”。
MYSQLND MYSQL NATIVE DIRVER 叫做MYSQL “官方驱动”或者更加直接点的...
靠谱运维
2年前 (2018-03-15) 4545℃ 0评论
1喜欢
php-fpm.conf有两个至关重要的参数：
一个是”max_children”，另一个是”request_terminate_timeout”。
pm.max_children 表示 php-fpm 能启动的子进程的最大数量。
request_terminate_timeou...
靠谱运维
2年前 (2018-03-15) 6158℃ 0评论
5喜欢
在nginx中配置proxy_pass代理转发时，如果在proxy_pass后面的url加/，表示绝对根路径；如果没有/，表示相对路径，把匹配的路径部分也给代理走。
假设下面四种情况分别用 http://192.168.1.1/proxy/test.html 进行访问。
...
靠谱运维
2年前 (2018-01-12) 2680℃ 0评论
4喜欢
