https://www.xlabs.club/tags/%E6%B5%8B%E8%AF%95%E7%94%A8%E4%BE%8B%E7%94%9F%E6%88%90/Recent content in 测试用例生成 on XLabsHugozh-CNCopyright (c) 2020-2025 XLabs ClubWed, 23 Sep 2026 00:10:25 +0800https://www.xlabs.club/blog/ai-generated-e2e-tests-mutation-testing/Mon, 21 Sep 2026 00:00:00 +0800https://www.xlabs.club/blog/ai-generated-e2e-tests-mutation-testing/<p>让模型写 E2E 用例，跑出来一片绿。问题在于「绿」本身不携带信息。我在一个真实的单页应用上注入了 8 个真缺陷，让 5 个模型各自生成 Playwright 用例，然后用变异检测的方式判断哪些用例真的在防回归。</p> <p>结论先放这里：40 个在正确页面上能通过的用例里，<strong>5 个（12%）在整个实验里从未失败过一次</strong>；8 个缺陷里有 1 个只有 1 家抓到，其余 4 家全漏；用例数最多的模型花了 1.5 倍的输出 token，只多抓到 1 个缺陷。</p> <h2 id="环境与实验设计">环境与实验设计</h2> <ul> <li>网关：内网 OpenAI 兼容网关 <code>https://aihub.firstshare.cn/v1</code>，2026-09-21 实测，<code>temperature=0</code>，每个模型只生成一次。</li> <li>运行：Playwright 1.63.0 + 系统自带的 Chromium 152。不下载 Playwright 自带浏览器，直接 <code>launchOptions.executablePath</code> 指向系统 chromium：</li> </ul> <div class="expressive-code"> <figure class="frame not-content"> <figcaption class="header"> <span class="title"></span> </figcaption> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-js" data-lang="js"><span class="line"><span class="cl"><span class="c1">// playwright.config.js </span></span></span><span class="line"><span class="cl"><span class="nx">module</span><span class="p">.</span><span class="nx">exports</span> <span class="o">=</span> <span class="nx">defineConfig</span><span class="p">({</span> </span></span><span class="line"><span class="cl"> <span class="nx">testDir</span><span class="o">:</span> <span class="s1">&#39;./specs&#39;</span><span class="p">,</span> </span></span><span class="line"><span class="cl"> <span class="nx">use</span><span class="o">:</span> <span class="p">{</span> <span class="nx">headless</span><span class="o">:</span> <span class="kc">true</span><span class="p">,</span> <span class="nx">launchOptions</span><span class="o">:</span> <span class="p">{</span> <span class="nx">executablePath</span><span class="o">:</span> <span class="s1">&#39;/usr/bin/chromium&#39;</span> <span class="p">}</span> <span class="p">},</span> </span></span><span class="line"><span class="cl"><span class="p">});</span></span></span></code></pre></div> </figure> </div> <ul> <li>被测页面：单文件 HTML，内联 JS，无框架，5.6 KB。包含登录（空字段时按钮禁用，<code>admin</code> / <code>secret</code> 通过）、成员表（12 条数据、每页 5 条、「共 N 条」计数、点姓名表头切换排序、按姓名搜索且大小写不敏感）、添加成员（新增后清空输入框）。</li> <li>页面用 <code>file://</code> 打开，整个实验没有任何常驻进程和监听端口。</li> </ul> <p><strong>8 个变异体，每个只改一行</strong>，都是外部可观察行为的改变：</p> <table> <thead> <tr> <th>ID</th> <th>改动</th> <th>可观察差异</th> </tr> </thead> <tbody> <tr> <td>m1</td> <td>搜索去掉 <code>toLowerCase()</code></td> <td>搜 <code>ALICE</code> 由 1 条变 0 条</td> </tr> <tr> <td>m2</td> <td><code>PAGE_SIZE = 5</code> → <code>10</code></td> <td>每页行数与「第 1 / 3 页」变化</td> </tr> <tr> <td>m3</td> <td>错误提示文案改掉</td> <td>断言固定文案的用例失败</td> </tr> <tr> <td>m4</td> <td>添加成员后不清空输入框</td> <td>输入框 value 变化</td> </tr> <tr> <td>m5</td> <td>排序开关失效，永远升序</td> <td>首次点击表头不再变降序</td> </tr> <tr> <td>m6</td> <td>登录按钮不再按空字段禁用</td> <td><code>toBeDisabled()</code> 失败</td> </tr> <tr> <td>m7</td> <td>末页「下一页」不再禁用</td> <td>边界态变化</td> </tr> <tr> <td>m8</td> <td>「共 N 条」改用全量数据</td> <td>搜索后计数不更新</td> </tr> </tbody> </table> <p>变异体和基线页面由脚本从同一份 <code>app.html</code> 做单点字符串替换生成，每个锚点在基线中唯一，改动内容可复核。</p>