01-Linux Manual

1: 文件

1.1 查看文件内容

1.1.1 head

显示文件的头部内容,默认前 10 行

01-Go格式化占位符汇总

Go格式化占位符汇总

1:占位符 placeholder

1.1 通用占位符 placeholder

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
// %v: 值的默认格式表示
fmt.Printf("%v\n", 100) //100

// %+v: 类似%v,但输出结构体时会添加字段名
o := struct{ name string }{"tim"}
fmt.Printf("%+v\n", o)  //{name:tim}

// %#v: 值的 Go 语法表示
o := struct{ name string }{"tim"}
fmt.Printf("%#v\n", o)  //struct { name string }{name:"tim"}

// %T: 打印值的类型
o := struct{ name string }{"tim"}
fmt.Printf("%T\n", o) //struct { name string }

// %%: 打印%百分号
fmt.Printf("100%%\n")  //100%

// %t: 布尔型 boolean(true,flase)
t := true
fmt.Printf("value: %t", t)

1.2 整形占位符 placeholder

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
// %b 整形二进制
fmt.Printf("%b\n", 65)//1000001

// %c 该值对应的unicode码值
fmt.Printf("%c\n", 65)//A

// %d 表示为十进制
fmt.Printf("%d\n", 65)//65

// %o 表示为八进制
fmt.Printf("%o\n", 65)//101

// %x 表示为十六进制,使用1-f
fmt.Printf("%x\n", 65)//41

// %X 表示为十六进制,使用A-F
fmt.Printf("%X\n", 65)//41

// %U 表示为Unicode格式:U+1234,等价于”U+%04X”
fmt.Printf("%U\n", 65) // U+0041

// %q 该值对应的单引号括起来的go语法字符字面值必要时会采用安全的转义表示
fmt.Printf("%q\n", 65)//'A'

1.3 浮点数与复数 placeholder

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
f := 12.34
// 浮点型,有小数部分但无指数部分
fmt.Printf("%f\n", f) // 12.340000
// 小数点后2位小数
fmt.Printf("%.2f\n", f) // 12.34
fmt.Printf("%F\n", f)   // 12.340000
// 无小数部分、二进制指数的科学计数法
fmt.Printf("%b\n", f) // 6946802425218990p-49
// 科学计数法
fmt.Printf("%e\n", f) // 1.234000e+01
// 根据实际情况采用%e或%f格式
fmt.Printf("%g\n", f) // 12.34
// 根据实际情况采用%E或%F格式
fmt.Printf("%G\n", f) // 12.34

1.4 字符串和[]byte placeholder

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
// %s  直接输出字符串或者[]byte
fmt.Printf("%s\n", "tim") //tim

// %q 该值对应的双引号括起来的go语法字符串字面值,必要时会采用安全的转义表示
fmt.Printf("%q\n", "tim") //"tim"

// %x 每个字节用两字符十六进制数表示(使用1-f)
fmt.Printf("%x\n", "tim") //74696d

// %X 每个字节用两字符十六进制数表示(使用1-F)
fmt.Printf("%X\n", "tim") //74696D

1.5 pointer

1
2
3
4
// %p 表示为十六进制,并加上前导的0x
t := []int{1}
fmt.Printf("value: %p", t)
// value: 0x14000190008

1.6 宽度标识符 placeholder

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
// %f 默认宽度,默认精度
v := 92873.2309837
fmt.Printf("value: %f\n", v) // value: 92873.230984

// %9f 宽度9,默认精度
fmt.Printf("value: %9f\n", v) // value: 92873.230984

// %9.f  宽度9,精度0
fmt.Printf("value: %9.f\n", v) // value:     92873

// %9.2f 宽度9,精度2
fmt.Printf("value: %9.2f\n", v) // value:  92873.23

1.7 其他 flag

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
'+'
总是输出数值的正负号%q%+q会生成全部是ASCII字符的输出通过转义
v := 92873.2309837
fmt.Printf("value: %+f", v) // value: +92873.230984

' '
对数值正数前加空格而负数前加负号对字符串采用%x或%X时% x或% X会给各打印的字节之间加空格
v := 92873.2309837
fmt.Printf("value: %+f\n", v) // value: +92873.230984
fmt.Printf("value: % f\n", v) // value:  92873.230984

'0'
使用0而不是空格填充对于数值类型会把填充的0放在正负号后面
fmt.Printf("value: %07.2f\n", v) // value: 92873.23

'#'
八进制数前加0%#o),十六进制数前加0x%#x或0X%#X),指针去掉前面的0x%#p%q%#q),%U%#U会输出空格和单引号括起来的go字面值

'-'
在输出右边填充空白而不是默认的左边即从默认的右对齐切换为左对齐
v := 101.35345345
fmt.Printf("value: %-3.1f\n", v) // value: 101.4

2:go 占位符

通用占位符 placeholder

01-Go开发效率神器汇总

Table of Contents

1:开发工具

1: sql2go sql 语句转换为 Go 结构体,使用 ddl。 http://stming.cn/tool/sql2go.html

2: json2go 将 json 格式转为 Go struct https://mholt.github.io/json-to-go/

3: toml2go 将编码后的 toml 文本转为 Go struct https://xuri.me/toml-to-go/

4: curl2go 将 curl 命令转为 go 代码 https://mholt.github.io/curl-to-go/

5: msql 转 ES sql 语句转换为 ES 语句. http://www.ischoolbar.com/EsParser/

02-Go常用库积累

1:日志库

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
https://github.com/hunterhug/golog

https://github.com/uber-go/zap
https://github.com/rs/zerolog
https://github.com/Sirupsen/logrus


// 日志滚动包
https://github.com/natefinch/lumberjack


// 日志分析和查询平台
https://github.com/clickvisual/clickvisual

2:配置库

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
// viper 兼容 json,toml,yaml,hcl 等格式的配置库.
https://github.com/spf13/viper

// configor Golang Configuration tool that support YAML, JSON, TOML, Shell Environment
https://github.com/jinzhu/configor



// env
https://github.com/caarlos0/env

// Support for JSON, TOML, YAML, env, command line, file, S3 etc. Alternative to viper.
https://github.com/knadh/koanf

// A dead simple configuration manager for Go applications.
https://github.com/tucnak/store

3:存储相关

1
2
3
4
5
mysql: https://github.com/go-xorm/xorm
es: https://github.com/elastic/elasticsearch
redis: https://github.com/gomodule/redigo
mongo: https://github.com/mongodb/mongo-go-driver
kafka: https://github.com/Shopify/sarama

4:数据结构

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
https://github.com/emirpasic/gods (go数据结构,sets,lists,stacks,maps.trees,queues ...)

// mapstructure
https://github.com/mitchellh/mapstructure (map和struct转换)


// json
https://github.com/liu-cn/json-filter

// 延迟队列(delay queue)
github.com/morikuni/go-dqueue

// 无锁队列
https://github.com/lppgo/go-lockfree-queue


// map
https://github.com/cornelk/hashmap (线程安全,lockfree hashmap)
https://github.com/alphadose/haxmap (Fastest and most memory efficient golang concurrent hashmap)
https://github.com/orcaman/concurrent-map


// xmap

5:CLI 命令行

1
2
https://github.com/spf13/cobra
https://github.com/urfave/cli/

6:web 框架

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
// gin
https://github.com/JGLTechnologies/gin-rate-limit
https://github.com/appleboy/gin-jwt
// echo
// beego
// goframe
// firber

gocondor [A golang framework for building modern APIs]
// https://github.com/gocondor/gocondor
...

7:RPC 和微服务

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
// grpc
https://github.com/grpc/grpc-go

// micro
https://github.com/asim/go-micro

// kratos
https://go-kratos.dev/docs/getting-started/usage

//
https://github.com/air-go/rpc

7.1 Remote Procedure Call

7.1.1 原生 RPC

7.1.2 GRPC

7.1.2.1 GRPC 安装

7.1.2.2 GRPC 使用

7.1.2.3 grpc-middleware

1
https://github.com/grpc-ecosystem/go-grpc-middleware

7.1.2.4 GRPC 测试

01-加密技术,数字签名,数字证书

. Table of Contents

1:前言 Perface

  1. 什么是数字签名,数字签名的作用是什么?
  2. 什么是数字证书,数字证书解决了什么问题?
  3. 什么是对称加密和对称加密,区别是什么?
  4. 非对称加密公私钥都可加密,那什么时候用用公钥加密,什么时候用私钥加密?
  5. 为什么要对数据的摘要进行签名,而不是计算原始数据的数字签名?

加密 encrypt 解密 decrypt

01-Linux添加cron定时任务

1: 安装 Cron

1.1 Ubuntu 下 crontab 的安装和使用

crontab 命令常见于 Unix 和 Linux 的操作系统之中,用于设置周期性被执行的指令。该命令从标准输入设备读取指令,并将其存放于“crontab”文件中,以供之后读取和执行。通常,crontab 储存的指令被守护进程激活。crond 常常在后台运行,每一分钟检查是否有预定的作业需要执行。这类作业一般称为 cron jobs。

03-在线修改大表结构pt-online-schema-change

1: 使用场景 Scenario

在线数据库的维护中,总会涉及到研发修改表结构的情况,修改一些小表影响很小,而修改大表时,往往影响业务的正常运转,如表数据量超过 500W,1000W,甚至过亿时.

05-Linux基本命令

1: 系统的关机、重启以及登出

1
2
3
4
5
6
7
8
shutdown -h now # 关闭系统(1) 
init 0 关闭系统(2) 
telinit 0 关闭系统(3) 
shutdown -h hours:minutes & # 按预定时间关闭系统 
shutdown -c # 取消按预定时间关闭系统 
shutdown -r now # 重启(1) 
reboot # 重启(2) 
logout # 注销 

2: 文件和目录

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
cd /home # 进入 '/ home' 目录' 
cd .. # 返回上一级目录 
cd ../.. # 返回上两级目录 
cd - # 返回上次所在的目录 
pwd # 显示工作路径 
ls # 查看目录中的文件 
ls -F # 查看目录中的文件 
ls -l # 显示文件和目录的详细资料 
ls -a # 显示隐藏文件 
ls *[0-9]* # 显示包含数字的文件名和目录名 
tree # 显示文件和目录由根目录开始的树形结构(1) 
lstree # 显示文件和目录由根目录开始的树形结构(2) 
mkdir dir1 dir2 # 同时创建两个目录 
mkdir -p /tmp/dir1/dir2 # 创建一个目录树 
rm -f file1 # 删除一个叫做 'file1' 的文件' 
rmdir dir1 # 删除一个叫做 'dir1' 的目录' 
rm -rf dir1 # 删除一个叫做 'dir1' 的目录并同时删除其内容 
rm -rf dir1 dir2 同时删除两个目录及它们的内容 
mv dir1 new_dir 重命名/移动 一个目录 
cp file1 file2 复制一个文件 
cp dir/* . 复制一个目录下的所有文件到当前工作目录 
cp -a /tmp/dir1 . 复制一个目录到当前工作目录 
cp -a dir1 dir2 复制一个目录 
ln -s file1 lnk1 创建一个指向文件或目录的软链接 
ln file1 lnk1 创建一个指向文件或目录的物理链接 
touch -t 0712250000 file1 修改一个文件或目录的时间戳 - (YYMMDDhhmm) 
file file1 outputs the mime type of the file as text 
iconv -l 列出已知的编码 
iconv -f fromEncoding -t toEncoding inputFile > outputFile creates a new from the given input file by assuming it is encoded in fromEncoding and converting it to toEncoding. 
find . -maxdepth 1 -name *.jpg -print -exec convert "{}" -resize 80x60 "thumbs/{}" \; batch resize files in the current directory and send them to a thumbnails directory (requires convert from Imagemagick) 

3: Linux 查看磁盘 io 的几种方法

1
2
3
4
5
6
7
8
9
1. 用 top 命令 中的cpu 信息观察. (还有htop,gotop)

2. vmstat:vmstat 命令报告关于线程、虚拟内存、磁盘、陷阱和 CPU 活动的统计信息

3. iostat

4. iotop

5. sar -d

4: 查看网卡流量方法

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
1. sar -n DEV 1 2   (命令后面1 2 意思是:每一秒钟取1次值,取2次。)

2. cat /proc/net/dev

3. iftop

4. ifstat

5. nload

6. gotop

5: 使用 watch 命令,配合 ifconfig、more /proc/net/dev、cat /proc/net/dev 来实时监控系统信息

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
arch # 显示机器的处理器架构(1) 
uname -m # 显示机器的处理器架构(2) 
uname -r # 显示正在使用的内核版本 
dmidecode -q # 显示硬件系统部件 - (SMBIOS / DMI) 
hdparm -i /dev/hda # 罗列一个磁盘的架构特性 
hdparm -tT /dev/sda # 在磁盘上执行测试性读取操作 
cat /proc/cpuinfo # 显示CPU info的信息 
cat /proc/interrupts # 显示中断 
cat /proc/meminfo # 校验内存使用 
cat /proc/swaps # 显示哪些swap被使用 
cat /proc/version # 显示内核的版本 
cat /proc/net/dev # 显示网络适配器及统计 
cat /proc/mounts # 显示已加载的文件系统 
lspci -tv # 罗列 PCI 设备 
lsusb -tv # 显示 USB 设备 
date # 显示系统日期 
cal 2021 # 显示2021年的日历表 
date 041217002007.00 设置日期和时间 - 月日时分年.秒 
clock -w 将时间修改保存到 BIOS 

6: 文件搜索

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
find / -name file1 从 '/' 开始进入根文件系统搜索文件和目录 
find / -user user1 搜索属于用户 'user1' 的文件和目录 
find /home/user1 -name \*.bin 在目录 '/ home/user1' 中搜索带有'.bin' 结尾的文件 
find /usr/bin -type f -atime +100 搜索在过去100天内未被使用过的执行文件 
find /usr/bin -type f -mtime -10 搜索在10天内被创建或者修改过的文件 
find / -name \*.rpm -exec chmod 755 '{}' \; 搜索以 '.rpm' 结尾的文件并定义其权限 
find / -xdev -name \*.rpm 搜索以 '.rpm' 结尾的文件,忽略光驱、捷盘等可移动设备 
locate \*.ps 寻找以 '.ps' 结尾的文件 - 先运行 'updatedb' 命令 
whereis halt 显示一个二进制文件、源码或man的位置 
which halt 显示一个二进制文件或可执行文件的完整路径 

7: 磁盘空间

1
2
3
4
5
6
df -h 显示已经挂载的分区列表 
ls -lSr |more 以尺寸大小排列文件和目录 
du -sh dir1 估算目录 'dir1' 已经使用的磁盘空间du -sk * | sort -rn 以容量大小为依据依次显示文件和目录的大小 
rpm -q -a --qf '%10{SIZE}t%{NAME}n' | sort -k1,1n 以大小为依据依次显示已安装的rpm包所使用的空间 (fedora, redhat类系统) 
dpkg-query -W -f='${Installed-Size;10}t${Package}n' | sort -k1,1n 以大小为依据显示已安装的deb包所使用的空间 (ubuntu, debian类系统) 

8: 用户和群组

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
groupadd group_name 创建一个新用户组 
groupdel group_name 删除一个用户组 
groupmod -n new_group_name old_group_name 重命名一个用户组 
useradd -c "Name Surname " -g admin -d /home/user1 -s /bin/bash user1 创建一个属于 "admin" 用户组的用户 
useradd user1 创建一个新用户 
userdel -r user1 删除一个用户 ( '-r' 排除主目录) 
usermod -c "User FTP" -g system -d /ftp/user1 -s /bin/nologin user1 修改用户属性 
passwd 修改口令 
passwd user1 修改一个用户的口令 (只允许root执行) 
chage -E 2005-12-31 user1 设置用户口令的失效期限 
pwck 检查 '/etc/passwd' 的文件格式和语法修正以及存在的用户 
grpck 检查 '/etc/passwd' 的文件格式和语法修正以及存在的群组 
newgrp group_name 登陆进一个新的群组以改变新创建文件的预设群组 

9: 文件的权限 - 使用 “+” 设置权限,使用 “-” 用于取消

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
ls -lh 显示权限 
ls /tmp | pr -T5 -W$COLUMNS 将终端划分成5栏显示 
chmod ugo +rwx directory1 设置目录的所有人(u)、群组(g)以及其他人(o)以读(r )、写(w)和执行(x)的权限 
chmod go -rwx directory1 删除群组(g)与其他人(o)对目录的读写执行权限 
chown user1 file1 改变一个文件的所有人属性 
chown -R user1 directory1 改变一个目录的所有人属性并同时改变改目录下所有文件的属性 
chgrp group1 file1 改变文件的群组 
chown user1:group1 file1 改变一个文件的所有人和群组属性 
find / -perm -u+s 罗列一个系统中所有使用了SUID控制的文件 
chmod u+s /bin/file1 设置一个二进制文件的 SUID 位 - 运行该文件的用户也被赋予和所有者同样的权限 
chmod u-s /bin/file1 禁用一个二进制文件的 SUID位 
chmod g+s /home/public 设置一个目录的SGID 位 - 类似SUID ,不过这是针对目录的 
chmod g-s /home/public 禁用一个目录的 SGID 位 
chmod o+t /home/public 设置一个文件的 STIKY 位 - 只允许合法所有人删除文件 
chmod o-t /home/public 禁用一个目录的 STIKY 位 

10: 文件的特殊属性 - 使用 “+” 设置权限,使用 “-” 用于取消

1
2
3
4
5
6
7
8
chattr +a file1 只允许以追加方式读写文件 
chattr +c file1 允许这个文件能被内核自动压缩/解压 
chattr +d file1 在进行文件系统备份时,dump程序将忽略这个文件 
chattr +i file1 设置成不可变的文件,不能被删除、修改、重命名或者链接 
chattr +s file1 允许一个文件被安全地删除 
chattr +S file1 一旦应用程序对这个文件执行了写操作,使系统立刻把修改的结果写到磁盘 
chattr +u file1 若文件被删除,系统会允许你在以后恢复这个被删除的文件 
lsattr 显示特殊的属性 

11: 打包和压缩文件

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
bunzip2 file1.bz2 解压一个叫做 'file1.bz2'的文件 
bzip2 file1 压缩一个叫做 'file1' 的文件 
gunzip file1.gz 解压一个叫做 'file1.gz'的文件 
gzip file1 压缩一个叫做 'file1'的文件 
gzip -9 file1 最大程度压缩 
rar a file1.rar test_file 创建一个叫做 'file1.rar' 的包 
rar a file1.rar file1 file2 dir1 同时压缩 'file1', 'file2' 以及目录 'dir1' 
rar x file1.rar 解压rar包 
unrar x file1.rar 解压rar包 
tar -cvf archive.tar file1 创建一个非压缩的 tarball 
tar -cvf archive.tar file1 file2 dir1 创建一个包含了 'file1', 'file2' 以及 'dir1'的档案文件 
tar -tf archive.tar 显示一个包中的内容 
tar -xvf archive.tar 释放一个包 
tar -xvf archive.tar -C /tmp 将压缩包释放到 /tmp目录下 
tar -cvfj archive.tar.bz2 dir1 创建一个bzip2格式的压缩包 
tar -xvfj archive.tar.bz2 解压一个bzip2格式的压缩包 
tar -cvfz archive.tar.gz dir1 创建一个gzip格式的压缩包 
tar -xvfz archive.tar.gz 解压一个gzip格式的压缩包 
zip file1.zip file1 创建一个zip格式的压缩包 
zip -r file1.zip file1 file2 dir1 将几个文件和目录同时压缩成一个zip格式的压缩包 
unzip file1.zip 解压一个zip格式压缩包 

12: 查看文件内容

1
2
3
4
5
6
7
cat file1 从第一个字节开始正向查看文件的内容 
tac file1 从最后一行开始反向查看一个文件的内容 
more file1 查看一个长文件的内容 
less file1 类似于 'more' 命令,但是它允许在文件中和正向操作一样的反向操作 
head -2 file1 查看一个文件的前两行 
tail -2 file1 查看一个文件的最后两行 
tail -f /var/log/messages 实时查看被添加到一个文件中的内容 

13: Linux 包管理器

介绍常见 Linux 操作系统的安装包管理工具,主要介绍其使用命令.