Java中利用正则表达式从复杂日志字符串提取KEY=VALUE对-java教程-PHP中文网

Java中利用正则表达式从复杂日志字符串提取KEY=VALUE对

本文旨在提供一个java解决方案，利用强大的正则表达式从包含多种值类型（包括简单值、双引号字符串和嵌套json结构）的复杂日志字符串中准确提取出所有的key=value对，并将其存储到map中。文章详细解析了核心正则表达式的构成，并提供了完整的java代码实现及使用说明，帮助开发者高效处理非结构化日志数据。

在日常的系统维护和故障排查中，解析日志文件是必不可少的工作。然而，日志数据往往是非结构化的，尤其是当日志条目中包含大量以 KEY=VALUE 形式表示的配置或事件属性时，如何高效、准确地提取这些信息成为一个挑战。传统的字符串分割方法在遇到值中包含空格、引号或嵌套结构时，往往力不从心。本教程将展示如何利用Java的正则表达式功能，解决从复杂日志字符串中提取 KEY=VALUE 对的问题。

挑战与正则表达式的优势

考虑以下日志字符串示例：

String s0 = "DC696,"/xi/ajax/remoting/call/plaincall/adhocReportBuilderControllerProxy.getRortList.dwr","2222-11-10 08:32:22,351               PLV=REQ CIP=9.9.9.7 CMID=syairp CMN=""Dub Airport Corporation Limited"" SN=sfv4_APM180885. DPN=dbPool66HFT01 UID=3862D04108 UN=91F6025D47F01D IUID=1931 LOC=en_GB EID=""EVENT-UNKNOWN-UNKNOWN-ob55abe0118-201110083217-396080"" AGN=""[Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.35]"" RID=REQ-[7274545]  MTD=POST URL=""/xi/ajax/remoting/call/plaincall/adhocRrtBuilderCoollerProxy.getRtList.dwr"" RQT=2835 MID=ADIN PID=ADMIN PQ=ADIN_PAGE SUB=0 MEM=2331036 CPU=2410 UCPU=2300 SCPU=110 FRE=10 FWR=0 NRE=2281 NWR=218 SQLC=43 SQLT=142 RPS=200 SID=60826A3FAB005A8A9B930177C5******.pc6bc1029 GID=e262dde6d0e040070b58afd4c8 HSID=ddc665538db779508d3213c0bb63bcb1c49fe8236d5f0884ae975915728e61 CSL=CRITICAL CCON=0 CSUP=0 CLOC=0 CEXT=0 CREM=0 STK={""n"":""/xi/ajax/remoting/call/plaincall/adhocReportBuilderControllerProxy.getrtList.dwr"",""i"":1,""t"":2835,""slft"":2679,""sub"":[{""n"":""SQL:select * from sfv4_HOUA180885.REPORT_DEF WHERE REPORT_DEF_ID IN (SELECT REPORT_DEF_ID FROM sfv4_HA80885.REPORT_DTASET WHERE REPORT_ID=?) AND DELETED=? ORDER BY REPORT_DEF_ID asc NULLS LAST"",""i"":17,""t"":40,""slft"":40,""st"":337,""m"":220958,""nr"":154,""rt"":0,""rn"":22,""fs"":0}]}   ","2022-11-09T21:32:22.351+0000",p66cf1029,"dc606_ss_application",1,"/app/tomcat/logs/pef.log","perf_log_yxx",swsskix13";

登录后复制

其中，键（KEY）和值（VALUE）的格式多种多样：

简单值：PLV=REQ
双引号包裹的值：CMN=""Dub Airport Corporation Limited"" (注意双引号在字符串中表示为 "")
嵌套的JSON-like结构：STK={"n":"...", "sub":[{"n":"SQL:..."}]}

由于值本身可能包含空格、等号，甚至嵌套的括号，简单的 String.split(" ") 无法正确识别键值对的边界。正则表达式则提供了强大的模式匹配能力，能够精确地定义和捕获这些复杂的结构。

立即学习“Java免费学习笔记（深入）”；

核心正则表达式解析

我们将使用以下正则表达式来匹配 KEY=VALUE 对：

(w+)=((?=\{)(?:(?=.*?\{(?!.*?\3)(.*\}(?!.*\4).*))(?=.*?\}(?!.*\4)(.*)).)+?.*?(?=\3)[^{]*(?=\4$)|"{2}(.*?)"{2}|(\S+))

登录后复制

这个正则表达式虽然看起来复杂，但可以分解为以下几个关键部分：

一键职达

AI全自动批量代投简历软件，自动浏览招聘网站从海量职位中用AI匹配职位并完成投递的全自动操作，真正实现'一键职达'的便捷体验。

查看详情

(w+): 第1捕获组，用于匹配键（KEY）。w+ 表示匹配一个或多个字母、数字或下划线。
=: 匹配键和值之间的等号分隔符。
(...): 第2捕获组，用于匹配整个值（VALUE）。这个组内部包含了三种不同的值匹配模式，通过 |（或）操作符连接：
- (?=\{)(?:(?=.*?\{(?!.*?\3)(.*\}(?!.*\4).*))(?=.*?\}(?!.*\4)(.*)).)+?.*?(?=\3)[^{]*(?=\4$): 这是一个用于匹配嵌套花括号结构（如 STK={...}）的复杂模式。它通过前瞻断言 ((?=...)) 来实现对平衡括号的匹配，避免了简单贪婪匹配可能导致的错误。具体来说，它寻找一个以 { 开头并以 } 结尾的字符串，同时确保内部的 { 和 } 能够正确配对。和是反向引用，用于辅助匹配平衡的括号。
- *`"{2}(.?)"{2}`: 匹配双引号包裹的值**。
  - "{2}：匹配两个双引号 ""。在Java字符串中，" 需要被转义为 "，所以 "" 变成了 ""。
  - (.*?)：第5捕获组，匹配任意字符（除了换行符）零次或多次，非贪婪模式。这捕获了双引号内的实际内容。
  - "{2}：再次匹配两个双引号 ""。
- (S+): 第6捕获组，匹配简单值。S+ 表示匹配一个或多个非空白字符。这是最通用的匹配模式，用于捕获那些既不是嵌套结构也不是双引号包裹的简单值。

通过这种组合，正则表达式能够优先匹配最复杂的结构（嵌套花括号），然后是双引号字符串，最后是简单的非空白字符序列，从而确保了值的准确提取。

Java实现

在Java中，我们使用 java.util.regex.Pattern 和 java.util.regex.Matcher 类来应用正则表达式。

import java.util.HashMap;
import java.util.Map;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class LogParser {

    public static void main(String[] args) {
        String logString = "DC696,"/xi/ajax/remoting/call/plaincall/adhocReportBuilderControllerProxy.getRortList.dwr","2222-11-10 08:32:22,351               PLV=REQ CIP=9.9.9.7 CMID=syairp CMN=""Dub Airport Corporation Limited"" SN=sfv4_APM180885. DPN=dbPool66HFT01 UID=3862D04108 UN=91F6025D47F01D IUID=1931 LOC=en_GB EID=""EVENT-UNKNOWN-UNKNOWN-ob55abe0118-201110083217-396080"" AGN=""[Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/555.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.35]"" RID=REQ-[7274545]  MTD=POST URL=""/xi/ajax/remoting/call/plaincall/adhocRrtBuilderCoollerProxy.getRtList.dwr"" RQT=2835 MID=ADIN PID=ADMIN PQ=ADIN_PAGE SUB=0 MEM=2331036 CPU=2410 UCPU=2300 SCPU=110 FRE=10 FWR=0 NRE=2281 NWR=218 SQLC=43 SQLT=142 RPS=200 SID=60826A3FAB005A8A9B930177C5******.pc6bc1029 GID=e262dde6d0e040070b58afd4c8 HSID=ddc665538db779508d3213c0bb63bcb1c49fe8236d5f0884ae975915728e61 CSL=CRITICAL CCON=0 CSUP=0 CLOC=0 CEXT=0 CREM=0 STK={""n"":""/xi/ajax/remoting/call/plaincall/adhocReportBuilderControllerProxy.getrtList.dwr"",""i"":1,""t"":2835,""slft"":2679,""sub"":[{""n"":""SQL:select * from sfv4_HOUA180885.REPORT_DEF WHERE REPORT_DEF_ID IN (SELECT REPORT_DEF_ID FROM sfv4_HA80885.REPORT_DTASET WHERE REPORT_ID=?) AND DELETED=? ORDER BY REPORT_DEF_ID asc NULLS LAST"",""i"":17,""t"":40,""slft"":40,""st"":337,""m"":220958,""nr"":154,""rt"":0,""rn"":22,""fs"":0}]}   ","2022-11-09T21:32:22.351+0000",p66cf1029,"dc606_ss_application",1,"/app/tomcat/logs/pef.log","perf_log_yxx",swsskix13";

        // 注意：Java字符串中的反斜杠需要双重转义，所以 \{ 变为 \\{
        // 原始正则表达式：(w+)=((?=\{)(?:(?=.*?\{(?!.*?\3)(.*\}(?!.*\4).*))(?=.*?\}(?!.*\4)(.*)).)+?.*?(?=\3)[^{]*(?=\4$)|"{2}(.*?)"{2}|(\S+))
        String regex = "(\w+)=((?=\\{)(?:(?=.*?\\{(?!.*?\3)(.*\\}(?!.*\4).*))(?=.*?\\}(?!.*\4)(.*)).)+?.*?(?=\3)[^{]*(?=\4$)|\"{2}(.*?)\"{2}|(\S+))";

        Pattern p = Pattern.compile(regex);
        Matcher m = p.matcher(logString);

        Map<String, String> result = new HashMap<>();

        while (m.find()) {
            String key = m.group(1); // 键在第1捕获组
            String value;

            // 根据哪个捕获组匹配到了值来确定最终的值
            if (m.group(5) != null) { // 如果是双引号包裹的值
                value = m.group(5);
            } else if (m.group(6) != null) { // 如果是简单值
                value = m.group(6);
            } else { // 否则是嵌套花括号结构，其完整内容在第2捕获组
                value = m.group(2);
            }

            result.put(key, value);
            System.out.println(key + " => " + value);
            System.out.println("----");
        }

        // 打印最终的Map
        // System.out.println("
Extracted Map: " + result);
    }
}

登录后复制

代码说明：

Pattern.compile(regex): 编译正则表达式，提高匹配效率。
Matcher m = p.matcher(logString): 创建 Matcher 对象，用于在目标字符串中执行匹配操作。
while (m.find()): 循环查找所有匹配项。每次调用 find() 都会尝试在当前位置之后查找下一个匹配序列。
m.group(1): 获取第1捕获组的内容，即键。
m.group(5), m.group(6): 分别获取第5捕获组（双引号内的值）和第6捕获组（简单值）的内容。
m.group(2): 获取第2捕获组的内容，即整个值（特别是针对嵌套花括号结构，因为其内部没有独立的子捕获组）。
值提取逻辑: 由于正则表达式中使用了 | 运算符，不同的值类型会被捕获到不同的组中。代码通过检查 m.group(5) 和 m.group(6) 是否为 null 来判断哪种类型的值被匹配到，并优先使用更具体的匹配（双引号或简单值），否则使用包含整个复杂值的第2组。

示例输出

运行上述Java代码，将得到以下键值对的输出：

PLV => REQ
----
CIP => 9.9.9.7
----
CMID => syairp
----
CMN => Dub Airport Corporation Limited
----
SN => sfv4_APM180885.
----
DPN => dbPool66HFT01
----
UID => 3862D04108
----
UN => 91F6025D47F01D
----
IUID => 1931
----
LOC => en_GB
----
EID => EVENT-UNKNOWN-UNKNOWN-ob55abe0118-201110083217-396080
----
AGN => [Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/555.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.35]
----
RID => REQ-[7274545]
----
MTD => POST
----
URL => /xi/ajax/remoting/call/plaincall/adhocRrtBuilderCoollerProxy.getRtList.dwr
----
RQT => 2835
----
MID => ADIN
----
PID => ADMIN
----
PQ => ADIN_PAGE
----
SUB => 0
----
MEM => 2331036
----
CPU => 2410
----
UCPU => 2300
----
SCPU => 110
----
FRE => 10
----
FWR => 0
----
NRE => 2281
----
NWR => 218
----
SQLC => 43
----
SQLT => 142
----
RPS => 200
----
SID => 60826A3FAB005A8A9B930177C5******.pc6bc1029
----
GID => e262dde6d0e040070b58afd4c8
----
HSID => ddc665538db779508d3213c0bb63bcb1c49fe8236d5f0884ae975915728e61
----
CSL => CRITICAL
----
CCON => 0
----
CSUP => 0
----
CLOC => 0
----
CEXT => 0
----
CREM => 0
----
STK => {""n"":""/xi/ajax/remoting/call/plaincall/adhocReportBuilderControllerProxy.getrtList.dwr"",""i"":1,""t"":2835,""slft"":2679,""sub"":[{""n"":""SQL:select * from sfv4_HOUA180885.REPORT_DEF WHERE REPORT_DEF_ID IN (SELECT REPORT_DEF_ID FROM sfv4_HA80885.REPORT_DTASET WHERE REPORT_ID=?) AND DELETED=? ORDER BY REPORT_DEF_ID asc NULLS LAST"",""i"":17,""t"":40,""slft"":40,""st"":"337,""m"":220958,""nr"":154,""rt"":0,""rn"":22,""fs"":0}]}
----

登录后复制

注意事项与总结

正则表达式的复杂性与可读性：用于匹配嵌套结构的正则表达式非常复杂，难以理解和维护。在实际项目中，如果日志格式频繁变化或嵌套深度不确定，可能需要考虑其他解析策略，例如使用专门的日志解析库，或者在日志生成时就采用更结构化的格式（如JSON）。
性能考量：复杂的正则表达式在处理超大日志文件时可能会有性能开销。对于性能敏感的应用，应进行基准测试，并考虑是否需要优化正则表达式或采用流式处理、分块读取等方式。
日志格式的稳定性：此解决方案高度依赖于日志字符串的特定格式。如果日志格式发生微小变化（例如，键值对之间使用不同的分隔符，或嵌套结构使用其他类型的括号），则正则表达式需要相应调整。
转义字符处理：在Java字符串中定义正则表达式时，所有反斜杠都需要双重转义（例如变为 \）。同时，对于双引号 "，在正则表达式中也需要转义。
值的进一步处理：提取出的值（特别是嵌套的JSON-like字符串）通常还需要进一步解析。例如，对于 STK 的值，可以将其视为一个JSON字符串，然后使用 ObjectMapper 等工具进行反序列化。