阿小信大人的头像
Life is short (You need Python) Bruce Eckel

使用Github Actions自动部署Golang应用到VPS服务器2021-06-19 15:01

image

使用GitHub Actions可以在你提交代码后自动将最新代码编译发布部署到你的VPS服务器,这里记录一下配置步骤。

服务没有使用 Docker 部署,直接通过supervisord启动二进制文件,期望每次提交代码后自动完成编译部署发布上线,通过Github Actions可以实现自动化。

## 部署步骤说明:
0. 提交代码到主分支
1. Github拉取最新代码跑单元测试后编译二进制文件
2. scp 二进制文件到VPS服务器
3. ssh 在VPS上远程执行服务重启命令

## 创建SSH KEY

由于是使用 ssh 进行部署,需要让github能登录服务

......
#Golang#   评论[0]阅读全文[217]

新网站 http://x-stock.axiaoxin.com 上线2021-06-16 11:00

Golang实现,财报分析,股票检测,基本面选股,基金检测,基金筛选,4433法则,基金持仓相似度检测

欢迎访问

还有很多功能想做,后续会持续迭代(周末有空闲时间的话)

......
#WEB/前端#   评论[0]阅读全文[169]

Golang 并发 append slice 时的并发安全问题总结2021-05-13 18:53

## 背景

导出数据库中的数据,由于数据量巨大且查询复杂,完成导出的时间很长,因此通过将并发查询然后将结果合并到一起。

在导出的数据量只有30多万时,导出的记录数和sql count出的数量一致;
但当导出超过数据量超过百万时,导出的数据量变少了。

此时意识到是忽略了并发问题,将 append 操作加上锁后验证一切正常。

## 代码示例

通常对 map 的并发读写问题很容易发现,因为一旦并发的更新一个 map 时,golang 会 panic ,单纯的并发读没有问题。
对 slice 进行 append 时也有并发安全问题,但是由于不会 panic 因此很

......
#Golang#   评论[0]阅读全文[346]

实现自定义的 gin Logger 中间件2021-05-13 18:50

image

## gin 的中间件原理解析
在 gin 中,中间件是一系列 `gin.HandlerFunc`链,它的函数签名类型和我们业务中写的URL对应的 handler 是一样的,都是`gin.HandlerFunc`。

gin 创建实例时返回一个 `Engine`,该`Engine`包含一个`RouterGroup`,而`RouterGroup`是一个`IRoutes`接口的实现,实现了路由注册的各种方法。

使用 `engine.Use` 方法可以全局注册多个中间件,也可以在注册URL handler 时局部添加中间件。

gin 在处理请求时,按顺序调用这条`gin.Handl

......
#Golang#   评论[0]阅读全文[293]

goroutine 中的 panic 处理2021-05-13 18:42

在 go 的函数中使用 defer + recover 不能捕获在当前函数里面新开的 goroutine 的 panic。
在新的 goroutine 里面 panic 了即使上层有 recover 也会导致进程退出。

原因在于 panic 仅保证当前 goroutine 下的 defer 都会被调到,但不保证其他协程的defer也会调到。
panic 发生时会先处理完当前goroutine已经defer挂上去的任务,执行完毕后再退出整个程序(注意是退出进程而不只是协程)。

因此在开新的 goroutine 的时候,一定要要注意这里,不要以为最外层有了 recover 程序就一

......
#Golang#   评论[0]阅读全文[290]

lua 获取 nginx get 请求中的数组参数的坑2021-05-13 18:41

lua 在 nginx 里面获取 http get 请求的 url 数组参数时有个小坑需要特别注意。

线上的 get 请求传数组参数的形式让人眼花缭乱:

:::url
?p=v1&p;=v2
?p[]=v1&p;[]=v2
?p[0]=v1&p;[1]=v2

三种形式都有,然后 lua 的坑在于获取没有数组下标的数组参数的时候,数据格式可能不一样...导致程序异常。

lua 在 nginx 里面获取到的是:

:::text
raw: ?p=v1&p;=v2 -> {"p":["v1","v2"]}

......
#Linux/Mac#   #nginx 评论[0]阅读全文[354]

php-fpm 超时原因分析 2021-05-13 18:36

## 背景

线上PHP服务,同一台机器上部有AB两个服务,A接收外部请求后再通过本地nginx请求部署在本地的B服务获取数据,同时也有大量的请求直接请求B服务获取数据,偶发会在一段时间内Nginx大量返回504请求超时和少量502连接被断开。

超时期间机器的CPU、内存、IO等负载都正常,请求量相对有增加但QPS不到100,比起高峰时间的请求量(QPS差不多2800)这点起伏几乎可以忽略不计,高峰时期服务却没有任何异常。通过日志中的requestid分析,发现从A服务到B服务之间的日志打印时间间隔很长,请求链路从A服务的最后一条日志到B服务的第一条日志之间间隔有10多秒之长。

......
#Linux/Mac#   评论[0]阅读全文[258]

Nginx + Lua + Redis 实现基础的令牌桶算法限流2020-06-16 17:30

image

## 关于令牌桶( token bucket )

令牌桶限流的原理是系统以一个恒定的速度往固定容量的桶里放入令牌,当有请求进来时,需要先从桶里获取并消耗一个令牌,当桶里没有令牌可取时,则拒绝服务或让请求等待。

如图:

![image](https://user-images.githubusercontent.com/2876405/84757479-cb8c3300-aff6-11ea-9be7-7d941ce1a2df.png)

每隔 1/r 秒向 bucket 中填充一个 token ;
bucket 最多只能存放 b 个 token ,如果填充 token 时

......
#数据库#   #redis #nginx 评论[0]阅读全文[479]