2025年10月15日上午，“六秩风华 商约未来”商学系列讲座之“学术大讲堂”第11期以线上形式成功举行。本次讲座特邀亚马逊美国高级应用科学家潘琛作主题分享，报告主题为 “A/B Test在互联网与大模型中的应用”。讲座由我院研究生办公室副主任孙玉姣主持。

潘琛分享

潘琛以“从工厂到算法”为主线，对比了传统工业与互联网场景下A/B测试的本质差异。她指出，在传统工业中，A/B测试用于检验产品质量，依赖小样本与长周期迭代，核心目标是提升“良品率”；而在互联网时代，A/B测试已演变为驱动用户行为与商业决策的核心工具，通过海量用户数据实现天级反馈，优化点击率、转化率与留存率等关键指标。她结合生动案例，阐释了互联网企业如何以数据驱动优化用户体验与商业价值。

在介绍互联网企业“中央测试平台”机制时，潘琛深入解析了如何通过灵活流量分配和用户标签筛选实现精准实验设计。例如，可“以5%流量测试新模型、保留90%旧模型”以规避全量上线风险，或“针对特定消费群体”以提升实验精度。她还以亚马逊广告系统为例，说明了在复杂业务场景中进行测试设计的关键考量。

谈及大模型时代的A/B测试新趋势，潘琛指出，测试对象正从“界面设计”向“Prompt优化”转变。她分享了行业前沿探索，如利用大模型生成“虚拟用户”进行广告测试或设计文案预测工具，但同时提醒“虚拟用户方法仍需谨慎，真实用户反馈才是核心依据”。结合自身实践，她总结了三大实验“避坑指南”：一是避免反复刷新结果操纵P值；二是规避“双11”等外部干扰时段；三是运用图模型减少用户间的社交溢出效应，从而确保实验结果的科学性与可靠性。

  在互动环节中，学院师生就A/B测试在学术研究与企业应用中的难点展开热烈讨论。潘琛耐心细致地回应了问题，分享了宝贵的实务经验。本次讲座内容兼具理论深度与实战价值，不仅打破了A/B测试的“工业思维”局限，更让师生系统理解其在互联网与大模型时代的应用逻辑。潘琛的分享为相关领域的学术研究提供了新视角，也为未来数据驱动的职业实践提供了有益启示。

主讲人简介

潘琛，亚马逊美国高级应用科学家，现主要负责以大语言模型（LLM）为核心的新一代推荐系统研发，重点关注时尚行业的用户需求洞察与解决方案。潘琛本科毕业于北京航空航天大学经管学院工业工程专业，2016年进入康奈尔大学信息科学硕士项目学习，并于2017年毕业后加入亚马逊美国，从事算法研发工作。

图文：陈虹妤

初审：孙玉姣

复审：韩小花

终审：肖锋