如何使用Golang实现日志分析工具_读取日志文件并统计信息

Go日志分析工具用bufio.Scanner逐行读取大文件，正则解析Nginx日志字段，map统计状态码、路径、IP及QPS，支持命令行对齐输出与CSV导出。

用 Go 语言写一个轻量级日志分析工具，核心是：按行读取日志文件、解析每条日志（如时间、状态码、路径）、用 map 或结构体做统计，最后输出结果。不需要依赖复杂框架，标准库 bufio、strings、regexp 和 fmt 就够用了。

逐行读取大日志文件不卡顿

日志文件可能几百 MB，不能一次性加载进内存。用 bufio.Scanner 是最稳妥的方式，它默认缓冲 64KB，支持超长行（可调 Scanner.Buffer），也比 bufio.Reader.ReadLine 更简洁。

设置最大扫描长度，避免因某行过长导致 panic：
scanner := bufio.NewScanner(file)
buf := make([]byte, 1024*1024) // 1MB 缓冲
scanner.Buffer(buf, 1024*1024)
跳过空行和注释行（如以 # 开头）可加简单判断：
line := strings.TrimSpace(scanner.Text())
if line == "" || strings.HasPrefix(line, "#") { continue }

解析常见日志格式（如 Nginx access.log）

典型 Nginx 日志形如：
192.168.1.1 - - [10/Jan/2025:14:23:05 +0800] "GET /api/users HTTP/1.1" 200 1243 "https://example.com" "Mozilla/..."
推荐用正则提取关键字段，比字符串切分更健壮。

定义正则（支持 IPv4/IPv6、带时区的时间、请求行、状态码等）：
pattern := `^(\S+) \S+ \S+ \[([^\]]+)\] "(\w+) ([^"]+)" (\d{3}) (\d+|-)`
用 regexp.MustCompile 编译一次，循环中反复 FindStringSubmatch 提取子组，分别获取 IP、时间、方法、路径、状态码、字节数
若日志是 JSON 格式（如 Logrus 输出），直接用 json.Unmarshal 解析到结构体，更清晰

统计维度与数据结构设计

统计目标决定怎么存数据。常用维度包括：HTTP 状态码分布、请求路径 TOP10、IP 访问频次、每秒请求数（QPS）趋势（需解析时间戳）。

状态码计数：
statusCount := make(map[string]int)
statusCount["200"]++
路径频次（限制只统计前缀，避免 /user/123 /user/456 被当成不同路径）：
path := strings.SplitN(fields[3], "?", 2)[0] // 去掉 query 参数
pathCount[path]++
按分钟聚合 QPS（将时间字符串转为 time.Time，再用 t.Truncate(time.Minute) 归一化）：
minuteKey := t.Truncate(time.Minute).Format("2006-01-02 15:04")
qpsPerMinute[minuteKey]++

输出结果：命令行友好 + 可选导出 CSV

终端输出建议按列对齐（用 fmt.Printf 控制宽度），关键指标加粗或高亮；导出 CSV 时注意转义逗号和换行符。

打印 TOP10 路径示例：
fmt.Printf("%-8s %-12s %s\n", "COUNT", "STATUS", "PATH")
fmt.Println(strings.Repeat("-", 50))
for _, p := range topPaths {
fmt.Printf("%-8d %-12s %s\n", p.Count, p.Status, p.Path)
}
导出 CSV：用 encoding/csv 包写入，自动处理引号和转义，比手动拼接安全
支持 flag 控制输出格式：
var exportCSV = flag.String("csv", "", "export to CSV file path")

# js # json # go # nginx # golang # ipv6 # 字节 # access # 工具 # csv # 状态码 # 标准库 # String # if # count # for # format # printf # continue # 字符串 # 结构体 # int # 循环 # 数据结构 # var # map # regexp # http # https

返回目录在线咨询

上一篇：jquery做个日期选择适用于手机端示例
下一篇：较难制作的网站软件有哪些,零基础入门网页编程，有哪些好用的软件？

您的项目需求