专题：打造面向 AI 时代的云架构实践

Kubernetes 已成为云原生应用部署和管理的事实标准，很多金融企业的云原生用量已经达到相当规模，但受限于资源利用率不高，不少用户的 K8s 集群 CPU 平均利用率在 10%以内。降本增效一直是企业 IT 投资不断的追求，字节开源 Katalyst 在离线混部后，有效提升资源利用率，很多企业客户关注问询混部的落地，侧面印证了企业降本增效的核心诉求。

然而，在离线混部技术在企业中的落地非常漫长。首先是组织壁垒，传统企业中，在线业务、离线业务、运维、财务、采购往往横跨多个部门，涉及资源池合并、业务融合、成本核算和分摊、资源采购等多个方面需要协作，在离线混部往往很难落地。

实际上，虽然在离线混部是提升资源利用率的一大利器，但并不是解决资源效能问题的唯一手段。除在离线混部外，还有规格推荐（container right-sizing）、资源超售（overcommit）、潮汐混部（aka. 01 混部或分时复用）、智能 HPA 等一系列常见的技术手段，来解决资源利用率的问题。本分享侧重于介绍包含在离线混部的 5 种有效提升资源利用率能力的实践与商用验证的方法论，希望客户能够在降本增效的实践上有所收获。

演讲提纲：

1. 云原生资源利用率的痛点；
2. 五种资源效能能力的产品技术介绍；
3. 字节跳动的落地实践效果；
4. 未来演进方向与展望。

你将获得：

• 在小规模集群的情况下，如何提升利用率；
• 在业务算力潮汐需求下，如何分时复用资源；
• 如何用更智能的手段，动态调整业务应用的副本数和质量；
• 在大规模在离线业务背景下，如何利用混部解决问题。

在大模型时代，AI 智能生产力无处不在，将重新定义数字金融、保险行业，火山引擎提供大规模 AI 基础设施解方案，保障效率、稳定性的同时提供创新的生产力，加速金融行业智能化。

演讲提纲：

1. 大模型基础设施挑战；
2. 大算力基础设施技术探索；
3. 大算力基础设施推荐实践；
4. 展望技术发展。

你将获得：

• 了解大规模基础设施的建设的实践与方法论；
• 了解大规模基础设施的组网的实践与方法论；
• 了解大规模基础设施的监控运维的实践与方法论。

通过观察海外大模型领先应用实践，结合国内产业生产效率痛点，明确大模型应用蓝图，及围绕蓝图展开的探索与实践。

演讲提纲：

1. 大模型在金融行业典型应用分析；

2. 围绕金融行业的探索和实践；

3. 展望未来。

你将获得：

• 了解火山引擎在金融行业的探索实践；

• 共同畅想大模型未来行业应用。

金融行业信息化和数字化一直走在国内前沿，对于科技风险、安全合规、攻防能力方面要求高，挑战巨大，火山引擎基于自身安全和风控的最佳实践，结合金融行业业务特点，为行业定制适合的安全技术框架和解决方案，云原生安全解决金融行业云基础架构底座安全问题，隐私计算保障金融行业数据共享交换的安全合规和业务价值增长，大模型安全帮助金融行业发现模型安全问题，提供大模型底座和模型算法安全的保障措施。

演讲提纲：

1. 金融行业安全现状，挑战和发展趋势；
2. 金融行业安全技术框架建议；
3. 云原生安全：构建金融行业稳定弹性的云安全底座；
4. 数据安全：降低合规风险；
5. 隐私计算：助力金融行业数据合规互联互通，提升营销增长；
6. 大模型安全，帮助金融行业大模型探索提供安全保障；
7. 云原生、数据安全成功案例分析。

你将获得：

• 了解云原生安全最佳实践和关键点；
• 隐私和数据安全合规实践和可落地做法；
• 了解业内安全助力业务增长的方法；
• 了解大模型安全风险，备案所需的安全评估要点。