这是一篇自我反思的文章，因为我总觉得自己像个没头苍蝇：感觉有很多事要做，但其实又没做什么，把自己搞得很累却又没啥大的收获。要么毫无追求，至少有个平淡的心态去享受每天的生活；要么有所追求，努力的去达成自己的目标。我不是第一种，至少还没到那个境界，所以必须是第二条路。
那么究竟是哪里...
靠谱运维
2年前 (2018-08-29) 1521℃ 0评论
3喜欢
今天，在执行spark-sql时，查询数据量超过1.7亿行，数据量大小38G，出现系统盘占用突然变高的情况，
检查为 /tmp 目录下，spark生成的临时目录占用了大量的磁盘空间，生成的spark临时文件超过15G了。
解决方案为：
1、删除 /tmp/spark...
靠谱运维
2年前 (2018-08-17) 2725℃ 0评论
0喜欢
基本思路：
① 创建一个临时的新表，首先复制旧表的结构（包含索引）
create table new_table like old_table;
② 给新表加上新增的字段
③ 把旧表的数据复制过来
insert into new_table(filed1,filed2…) sel...
靠谱运维
2年前 (2018-08-14) 1832℃ 0评论
0喜欢
mysql默认情况下：
tmp_table_size 33554432
max_heap_table_size 16777216
copy to tmp talbe 语句产生的原因是查询需要Order By 或者Group By等需要用到结果集时，参数中设置的临时表...
靠谱运维
2年前 (2018-08-14) 2182℃ 0评论
0喜欢
在使用spark-submit提交Spark任务一般有以下参数：
./bin/spark-submit \
--class <main-class> \
--master <master-url> \
--deploy-mode <...
靠谱运维
2年前 (2018-08-03) 3727℃ 0评论
5喜欢
1，测试或实验性质的本地运行模式 （单机）
该模式被称为Local[N]模式，是用单机的多个线程来模拟Spark分布式计算，通常用来验证开发出来的应用程序逻辑上有没有问题。
其中N代表可以使用N个线程，每个线程拥有一个core。如果不指定N，则默认是1个线程（该线程有1个core...
靠谱运维
2年前 (2018-08-03) 1605℃ 0评论
0喜欢
Web monitoring是用来监控Web站点多方面的可用性，可以监控Web站点的下载速度、返回码和响应时间。Zabbix能够检测HTML中包含的预先定义的字符串，也可以模拟登录网站和鼠标的动作，对特定的结果进行比较，例如特定字符串、返回码等，从而判断站点服务的可用性。Zabb...
靠谱运维
2年前 (2018-04-02) 6025℃ 0评论
10喜欢
一家之言：
localhost与127.0.0.1的区别
localhost与127.0.0.1的区别是什么？相信有人会说是本地ip，曾有人说，用127.0.0.1比localhost好，可以减少一次解析。 看来这个入门问题还有人不清楚，其实这两者是有区别的。
no1:
loca...
靠谱运维
2年前 (2018-03-15) 2353℃ 0评论
1喜欢
MYSQL 也叫 Original MySQL，PHP4版本的MYSQL扩展，从PHP5起已经被废弃，并别从PHP7开始已经被移除。
MYSQLI 叫做 “MySQL增强扩展”。
MYSQLND MYSQL NATIVE DIRVER 叫做MYSQL “官方驱动”或者更加直接点的...
靠谱运维
2年前 (2018-03-15) 4847℃ 0评论
1喜欢
php-fpm.conf有两个至关重要的参数：
一个是”max_children”，另一个是”request_terminate_timeout”。
pm.max_children 表示 php-fpm 能启动的子进程的最大数量。
request_terminate_timeou...
靠谱运维
2年前 (2018-03-15) 6418℃ 0评论
7喜欢
