日志清洗脚本与正则校验

输入日志样例行,输出带命名分组的正则与自检脚本

更新于 今天

适用场景

  • 访问日志清洗,慢请求筛选,批量文本格式转换
PROMPT
运维要从几十 GB 的访问日志里挑出慢请求并统计来源,手工写的正则总是整行失配,需要一个能自检的清洗脚本和配套正则。

【需求】
1. 先给出目标行的样例格式,逐字段说明含义以及哪些位置可能缺失。
2. 写出一条匹配整行的正则,用命名分组提取时间、路径、耗时与状态码。
3. 说明正则对转义字符、多余空格与缺失字段的处理方式,避免因单点异常导致整行丢弃。
4. 给出脚本的处理流程,包含跳过坏行、计数统计与结果输出三部分。
5. 附三条自测样例,其中一条必须是故意构造的异常行。

【输出要求】
1. 正则单独一行给出,随后用列表解释每个分组的含义。
2. 脚本用常见命令行工具实现,不依赖额外安装的库。
3. 输出结果为制表符分隔的文本,字段顺序固定。
4. 路径一律用相对路径,避免写死本机目录。
5. 若日志字段顺序可能变化,说明兼容写法与失效时的告警方式。
6. 给出两行命令示例,展示如何只处理最近一小时的数据。
标签
脚本 正则表达式