https://www.xlabs.club/tags/aiops/Recent content in AIOps on XLabsHugozh-CNCopyright (c) 2020-2025 XLabs ClubFri, 18 Sep 2026 00:05:21 +0800https://www.xlabs.club/blog/prompt-regression-testing/Fri, 18 Sep 2026 00:00:00 +0800https://www.xlabs.club/blog/prompt-regression-testing/<p>「prompt 改好了」这句话，通常来自一次运行、一个模型、肉眼看输出。</p> <p>我搭了一个 11 条告警日志的回归台，同一批用例跑 4 个 prompt 版本、2 个模型，共 198 次调用。主表是 <code>deepseek-v4-flash</code>，temperature=0.7，每题 3 次重复：</p> <table> <thead> <tr> <th>prompt 版本</th> <th>调用</th> <th>裸输出能 <code>json.loads</code></th> <th>满足契约</th> <th>四字段全对</th> </tr> </thead> <tbody> <tr> <td>v1：只说「提取字段，用 JSON 输出」</td> <td>33</td> <td>31</td> <td>0</td> <td>0</td> </tr> <tr> <td>v1b：v1 + error_type/severity 枚举取值域</td> <td>11</td> <td>11</td> <td>2</td> <td>2</td> </tr> <tr> <td>v1c：v1 + 禁止 markdown 包裹</td> <td>11</td> <td>11</td> <td>0</td> <td>0</td> </tr> <tr> <td>v2：工程化（取值域 + 类型 + 反例 + null 规则）</td> <td>33</td> <td>32</td> <td>32</td> <td>28（85%）</td> </tr> </tbody> </table> <p>v1 是最常见的写法：31/33 次输出了合法 JSON，看着挺好。但没有一次满足下游契约——JSON 合法不等于能被消费。</p> <p>（v1、v2 各 3 次重复；v1b、v1c 是消融版本，单轮 11 个样本。）</p>