传统测试如何转 AI 测试?
AI 浪潮来了,很多测试同学最焦虑的问题是:测试工程师会不会被取代?
我的判断是:只会重复点点点的人会越来越危险,但能掌握 AI 测试方法和 AI 测试开发能力的人,机会会变多。
一、AI 测试不是会用 ChatGPT
很多人以为会用 ChatGPT 写用例、写 SQL、写脚本,就叫 AI 测试。
这只是 AI 工具使用,不是 AI 测试能力。
真正的 AI 测试包括:
- 大模型回答质量评测;
- Prompt 测试;
- 幻觉率评估;
- RAG 知识库测试;
- AI Agent 工具调用测试;
- AI 应用安全测试;
- AI 服务性能和稳定性测试;
- 自动化评测平台建设。
也就是说,AI 测试不是让 AI 替你测试,而是你要测试 AI 应用是否可靠。
二、传统测试转 AI 测试,先补哪些能力?
建议按这个顺序:
1. 先理解大模型基础
你要知道:
- Prompt 是什么;
- Token 是什么;
- 上下文窗口是什么;
- 幻觉是什么;
- 温度参数是什么;
- API 调用和网页对话有什么区别。
2. 学会设计 AI 测试场景
比如测试一个 AI 客服,你要关注:
- 回答是否准确;
- 是否引用了正确知识;
- 不知道时会不会胡编;
- 多轮对话是否保持上下文;
- 敏感问题是否拒答;
- 输出格式是否稳定;
- 响应速度是否可接受。
3. 学会 RAG 测试
企业 AI 应用很多都会接知识库,所以 RAG 测试很重要。
你要会测:
- 文档切分是否合理;
- 向量召回是否准确;
- TopK 结果是否覆盖关键内容;
- 回答是否忠实于知识库;
- 引用来源是否正确;
- 知识更新后答案是否同步。
4. 学会 Agent 测试
Agent 不只是回答问题,还会调用工具、拆解任务、执行动作。
测试重点包括:
- 任务规划是否合理;
- 工具选择是否正确;
- 参数传递是否准确;
- 调用失败后是否能恢复;
- 是否存在越权调用;
- 多步骤执行是否稳定。
三、为什么自动化基础很重要?
AI 测试最终一定会走向自动化评测。
你需要用 Python 或 Java 去做:
- 批量构造问题集;
- 调用大模型 API;
- 收集模型回答;
- 根据规则或模型自动评分;
- 统计准确率、幻觉率、拒答率;
- 生成评测报告;
- 接入 CI/CD。
所以传统测试同学想转 AI 测试,接口测试、Python、自动化基础仍然非常重要。
四、AI 测试项目怎么准备?
可以准备 3 类项目:
1. 大模型问答质量评测平台
支持批量导入问题、调用模型、保存回答、自动评分、生成报告。
2. RAG 知识库测试平台
测试文档召回、答案忠实度、引用准确性和知识更新效果。
3. AI Agent 测试平台
测试任务拆解、工具调用、执行链路、异常恢复和权限边界。
这些项目写进简历,比“熟悉 ChatGPT”有价值很多。
五、推荐学习路径
建议按顺序看:
如果你想系统学习 AI 测试开发项目,可以看:
如果你只是想先了解资料和交流群,可以领取:

