专题演讲嘉宾：魏瑶

在支付风险领域，AI发挥着不可或缺的作用，尤其在eBay交易风控业务中，其广泛采用AI模型来识别欺诈活动并保护用户的合法交易。AI模型的性能和准确性很大程度上依赖于准确标注的数据集的可用性。然而，传统的数据标注过程耗时长，成本高且效率低下，标注专家在数据标注过程中难以识别最具价值的数据样本，导致资源浪费，进而造成模型训练和迭代过程中的瓶颈。为了提升数据标注效率和质量，加速风控机器学习模型生产化，魏瑶及其团队为eBay交易风控开发了智能数据标注系统，该系统不仅便于标签的组织、跟踪和版本控制，并通过结合RLHF和Finetune 大语言模型，增强了人类专家与AI之间的协作，优化标注工作流程，利用微调的大语言模型来生成预打标，识别和分配关键数据样本给人类专家进行精准标注，从而在保持高对齐度的同时，大幅度降低标注的时间和成本显著提高数据标注的效率和质量。目前，该平台已经支持检测Off-Ebay交易中，标注量减少了90%，时间从几周缩短到1-2天，成本降低了90%以上。

演讲提纲：

1. 引言
   • 机器学习模型训练的挑战：数据标注的重要性与难点
   • eBay支付风控领域，机器学习模型数据标签的主要来源
   • LLM自动化数据标注的影响和价值
2. 智能数据标注系统介绍
   • 用户界面和操作流程
   • 用户和权限管理
   • 数据管理
   • 自动化标注技术
   • 质量控制和审核流程
   • 系统集成与扩展性
3. 基于LLM自动化数据标注的核心技术
   • Reinforcement learning with human feedback
   • Finetune高精度的大语言模型
4. 成功案例分析：基于买卖家聊天消息检测Off-Ebay交易
   • 问题定义和挑战
   • Smart Label 的应用和效果
   • 注释量、时间和成本的降低
5. 总结和未来展望
   • 回顾内容
   • 潜在金融服务应用领域探讨
   • 持续改进与迭代的可能性

听众受益：

• 了解机器学习模型训练中数据标注的重要性及传统方法的局限性；
• 了解eBay支付风控智能数据标注系统设计和实现；
• 探索人工智能与人类专家之间的协作机制，形成标注系统和机器学习模型的持续优化和发展