软件开发过程中经常我们可能会感叹或佩服某个大神或牛人多少得厉害强大。其中可能就存在大神或牛人对Linux或Mac操作系统的Shell的精通熟练。学习好Shell和用好Shell的确可以提升我们的开发效率。解决我们工作中的繁琐问题。
一条Shell可能解决了我们写大量代码的问题。
一条Shell可能提升了我们线上问题处理能力。
一条Shell可能提升了我们线上服务稳定性。
一条Shell可能让我们在别人面前炫耀了一下。
一条Shell可能让我们从复杂繁忙的工作中解脱出来。
下面是我根据我的工作经历总结的一些常用Shell脚本（能想起来的）。有些事例可以举一反三。
1、nginx日志追查问题
#查看nginx访问日志tail -f /usr/local/var/log/nginx/access.log #查看HTTP 500的请求地址fgrep "HTTP/1.1" 500" /usr/local/var/log/nginx/access.log.2022032615 #查看HTTP 504的请求地址fgrep "HTTP/1.1" 504" /usr/local/var/log/nginx/access.log.2022032615 #查看HTTP 404的请求页面地址fgrep "HTTP/1.1" 404" /usr/local/var/log/nginx/access.log.2022032615
2、替换代码
#批量替换代码Unix(Mac)find . -type f -name "*.php"|xargs sed -i "" "s/execute()/execute($arrParam)/g"; #批量替换代码Linuxfind . -type f -name "*.php"|xargs sed -i "s/execute()/execute($arrParam)/g";
3、检查代码静态语法
#检查PHP文件静态语法错误文件find . -type f -name "*.php" -exec /usr/local/opt/php@7.4/bin/php -l {} ;|grep -v "No syntax errors"; #查看PHP Fatal核心错误fgrep Fatal /usr/local/var/log/php/php-error.log
4、数据分析
#分组求和并排序awk '{s[$1] = $2}END{ for(i in s){ print i, s[i] } }' cal.txt|sort -nrk2 |head -n 10 #查询访问TOP10 IPawk -F" " '{print $1}' /usr/local/var/log/nginx/access.log|awk '{s[$1] = 1}END{ for(i in s){print i, s[i] } }'|sort -nrk2 |head -n 10#数据去重并求行数awk -F"t" '{print $1}' cal.txt |uniq|wc -l#数据求和awk -F"t" '{print $2}' cal.txt| awk '{sum =$1}END{print sum}'
5、导出数据
#导出指定字段表数据mysql -uroot -p test -e "select id,name,addr from `group` limit 10;" > group.table.data#导出数据表结构mysqldump -uroot -p test --no-data --default-character-set=utf8 --lock-tables=false > test.sql#导入表数据mysql -uroot -p test < test.tables.data
6、批量语句
#批量杀死PHP进程(举例）#先拼接shell命令再bash执行ps aux|grep php-fpm|grep -v grep|awk -F" " '{print "kill -9 "$2";"}'|bash#批量杀死mysql长时间运行语句或锁表语句mysql -uroot -p123456 -e "show processlist"|awk -F" " '{print $1}'|grep -v "Id"|awk -F" " '{print "kill "$1";"}'
7、磁盘空间
#查找大于1G文件find . -type f -size 1024M#hadoop删除2021年12月的历史存储文件hadoop -lsr hdfs://xxx.test.com/a/b/c/*202112*hadoop -rrmr hdfs://xxx.test.com/a/b/c/*202112*#清空文件内容echo '' > access.log#正确切换nginx access_logmv access_log access_log.2022032615 && /usr/local/opt/nginx/bin/nginx -s reload#杀死文件不存在但进程未释放的存储lsof -nl|grep deleted|awk -F" " '{print $2}'|xargs kill -9 {} ;
8、服务进程
#查看nginx端口号netstat -anpl|grep nginx #查看网络情况netstat -an|awk '/tcp/ {print $6}'|sort|uniq -c [一般需要优化/etc/sysctl.conf配置参数]#查看sshps aux|grep sshd#重启sshservice sshd restart
9、进程监控
#监控php-fpm进程是否down掉(举例)#!/bin/shNUM=`ps aux|grep php-fpm|grep -v grep|wc -l`if [ "$NUM" -lt "3" ];then /usr/local/opt/php@7.4/sbin/php-fpm -D echo `date ' %x %X'`" reload" >> monitor_reload.logelse echo `date ' %x %X'`" running" >> monitor_running.log;fi
10、调试工具
#接口是否正常#响应头信息curl -I http://localhost:8080/get.php#响应body信息curl http://localhost:8080/get.php#输出到文件curl http://localhost:8080/get.php -o get.data#下载文件wget http://localhost:8080/get.php#输出到文件wget -O get.tar.gz http://localhost:8080/get.tar.gz#查看接口耗时time curl http://localhost:8080/get.php#查看服务是否正常telnet xxx.xxx.xxx.xxx(ip地址) 8080#传输文件scp -r get.tar.gz work@xxx.xxx.xxx.xxx:/home/work/data/#同步文件rsync -avz /home/work/log/access_log*. work@xxx.xxx.xxx.xxx:/home/work/nginx/log/
感谢大家评论、点赞、分享。。。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。