导读 本次分享主题为大模型时代 AI 基础软件在金融行业的部署应用，分享内容将聚焦于金融行业，重点介绍某银行在 AI 基础软件部署和应用方面的经验与心得。

本次分享主要分为以下三个部分：

1. 大模型时代，AI 技术在金融行业的应用趋势

2. 大模型时代，AI 基础软件在金融行业的设计思路

3. 大模型时代，AI 基础软件在金融行业的部署应用畅想

享嘉宾｜九章云极DataCanvas

编辑整理｜马信宏

内容校对｜李瑶

出品社区｜DataFun

01

大模型时代，AI 技术在金融行业的应用趋势

首先，介绍一下 AI 技术的发展历程，及其在金融行业的应用趋势。

从机器学习与 AI 工程化开始，企业通过构建各类机器学习和深度学习场景，逐步实现数字化创新。随着场景复杂度的提升和多模态模型以及融合模型的出现，出现了更多 OCR 结构化数据与自然语言数据结合的场景，以及机器学习预测与运筹优化相匹配的场景。这些模型结合的场景使我们对 AI 基础平台的要求从模型开发升级到了 ModelOps 阶段。在构建 ModelOps 系统时，企业的数智化能力也达到了新的高度。近期，AIGC 的出现利用自然语言而非机器代码构建数据和信息搜索、分析和挖掘，为企业以 AI 低门槛进入数智文化新阶段铺平了道路。

可以看到，AIGC 的出现，使得企业原本分散的 AI 能力开始向上发展到企业经营的各个方面，甚至决策层。这种变革是自顶向下的，是前所未有的。随着人工智能技术的发展，AI 在金融行业的应用也逐渐成为了一个行业热点。从智慧营销、智慧风控到信贷审批，AI 技术正在改变金融行业的传统业务模式，提高服务效率，降低运营成本，同时为消费者带来更加便捷和个性化的金融服务。例如，在营销领域，AI 技术通过大数据及机器学习方法分析营销客户的消费行为和购买历史，更好地了解客户需求，制定更准确的营销策略，并向客户提供更有针对性的产品和服务，从而提高了客户满意度和营销效果。在风控领域，AI 技术通过知识图谱及机器学习方法，实时分析海量的交易数据，挖掘潜在的异常交易行为，从而有效识别欺诈风险。相较于传统的人工审核方式，AI 技术在反欺诈领域的应用大大提高了识别速度和准确性，降低了金融风险。而在运营领域，AI 技术通过对借款人的信用报告、消费行为等数据进行深度挖掘，实现快速准确的信用评估。这不仅有助于金融行业降低坏账率，提高贷款审批效率，还能为借款人提供更加公平合理的贷款利率。随着 AI 技术的不断演进，近期大模型技术的出现将对金融行业的未来应用产生深远的影响。

下面从三个方面分析大模型技术如何影响金融行业的场景应用。首先，大模型技术变革的核心对象是知识，它将降低知识的获取成本，提升知识的应用能力，并辐射到更广泛的专业领域。对于金融行业这样一个知识密集型行业来说，这将带来巨大的影响。其次，大模型的应用将逐步渗透到包括客服、营销、风控等业务创新的多个领域。大模型表现出的上下文学习泛化性以及复杂推理能力，将重塑文字、数据、图像等处理工具，带来支持工作者的效率、体验以及价值的提升。这也意味着金融从业人员的专业工作方式和方法可能会发生很大的变化。通过 AI 大模型赋能金融从业者，可以提高工作效率并降低成本。最后，大模型的出现大幅降低了 AI 技术的应用门槛，这也可能重塑未来的人机交互体验。在金融行业，大模型未来可能将提供更智能、个性化、高效的交互方式，甚至颠覆金融行业的客户服务模式。

从宏观角度看，通过大模型助手的应用，银行业在单人节、单人、单人产能等核心竞争力环节有望实现大幅提升。微观层面上，大模型可以在银行业的前中后各个环节实现规模化降本增效。具体来说，在前台，大模型可以应用于分支行人员的聊天机器人和知识中心，帮助他们减少业务制度和业务条款的搜索时间。在中台，大模型可以为运营和风控人员生成风险报告，使他们能够更高效地访问数据和分析报告来进行决策。在后台，大模型可以作为代码生成工具，帮助科技人员提升开发效率和质量。

传统 AI 模型与大模型在金融行业中的应用各有优劣。传统 AI 模型在处理特定任务时表现出较高的精确度，且训练和运行所需的计算资源相对较少。相比之下，大模型在学习能力和泛化能力上具有显著优势，可以处理更复杂的任务，甚至可以处理多类型的多模态任务。然而，大模型的劣势在于其参数量巨大，导致训练和运行需要大量的计算资源。此外，大模型的工程化难度也远高于传统 AI 模型。因此，在实际应用中，选择使用传统 AI 模型还是大模型需要进行全面的权衡和评估。

大模型在金融行业的实际应用中存在三个主要难点。首先，大模型的工程化难度较高，目前尚无成熟的技术框架可供参考。其次，由于金融行业对应用的可靠性和准确性要求极高，大模型在这方面的表现可能会受到影响。第三个问题是性价比。大模型的资源消耗巨大，但其单个应用的用户量可能受限，因此如何平衡大模型的投入与产出关系需要仔细衡量。为了实现大模型在金融行业的广泛应用，我们需要尽量降低大模型落地的难度，以实现规模化的产业应用。

·

金融行业 AI 基础软件的演进路线可划分为四个阶段。早期阶段，AI 能力零散，应用建设与垂直领域建模能力逐步加强。随后，逐渐更加关注并加强工具能力平台建设，统一数据算力、工程化能力、资产和运营，实现 AI 体系的治理和运营。随着大模型的出现，我们已进入第四个阶段，即大模型适配的 AI 基础软件。通过建设白盒大模型训练和微调能力，企业可以持续构建 AI 和 AIGC，将智能化作为企业持续创新的核心竞争力。这有助于降低 AI 建设与应用的门槛，逐步转向智能化，并引领金融行业的经营与运营。02

大模型时代，AI 基础软件在金融行业的设计思路

金融行业 AI 技术软件在进入大模型时代后，需要一种新的设计思路，以适应大模型在金融行业的应用需求。

在金融行业 AI 技术软件演进的第四个阶段，我们提出了一种基于大模型的新的 AI 设计模式，主要包括以下四个方面：

§ AIaaS 和数据驱动：大模型强调数据驱动，因此整个 AI 基础软件的架构需要构建一个数据管道清洗系统，以支持模型的训练和更新。

§ 知识管理系统：通过知识图谱或知识库来支持模型的知识获取和沉淀。

§ 可解释性工具：由于大模型需要可解释性，而生成结果存在不可靠性，需要可解释工具来支持大模型的可解释性和监督工作。

§ 调优自动化：大模型需要通过自动机器学习的方式来实现模型的优化和智能化调优。

为了应对大模型对数据驱动的需求，在原有的基础平台中增加了向量数据库，构建了大模型所需的知识管理能力，并增强了数据准备、标注以及数据增强能力。为了更好地服务基础模型层，我们搭建了一套大模型工具链，其中包括提示词管理、多种 PEFT 微调方法的集成以及一键式 RLHF。这些工具旨在构建大模型的自动化调优能力。最后，在模型服务模块中，我们增加了大模块的支持，以便保证大模型的可解释性和监督。这些工具的增加使得我们的 AI 基础软件设计目标更加完善，为大模型的应用提供了强有力的技术支持。

为了实现上述 AI 基础软件设计目标，我们构建了一套完整的 AI 基础软件设计架构。该架构的底层是算力资源层，包括各类高性能异构 GPU 资源、高性能存储资源和高性能网络资源。之上是功能强化的 AI 技术平台，包括算力资源存储和管理调度模块，以及从数据标注到模型训练再到模型推理的全套 ModelOps 九章云极DataCanvas APS 机器学习产品模块。这两个模块确保了 AI 模型在开发和训练过程中的稳定高效，构成了 AI 中台的初始两层模块。为了使大模型更好地支持业务场景应用，增加了模型能力层、模型工具层和应用支撑层。模型能力层包括已引入的基础开源或商用大模型、未来可能引入的行业大模型以及根据行内语料预训练的企业大模型。这些大模型为上层大模型应用提供了基础支撑。大模型工具层则包含大模型优化及应用扩展能力，使大模型能够更有针对性地服务特定应用。应用支撑层最上层，提供了一个大小模型结合乃至多个大模型返回结果的决策引擎，使多个大模型能够支撑业务应用并返回最佳结果。小模型辅助大模型生成结果，从而提高大模型生成结果的准确性和可控性。

大模型工具层的 6 个主要功能模块包括：提示词管理器、微调训练工具、样本数据生成器、大模型后评估、向量数据库、大模型训练框架。

上图展示了整个 AI 基础软件如何通过大模型的语言能力、知识能力、逻辑与复杂问题推理能力，以及通用任务能力等关键能力，实现敏捷业务赋能。通过上述 AI 基础软件的架构和大模型扩展能力，进一步创造出服务于场景的协同办公、知识管理、内容生成以及数据分析能力。这些能力在营销、风控、运营、研发、财务以及投顾等场景中实现了业务的敏捷赋能。

03

大模型时代，AI 基础软件在金融行业的部署应用畅想

在 AI 基础软件的应用过程中，我们不仅使用了大型模型，还使用了小型模型。通过大小模型的结合，能够更好地服务金融行业，实现 AI 基础软件对金融业务的快速赋能。

展望未来，大模型时代的 AI 基础软件将在金融行业部署应用方面产生深远影响。我们可以预见，AI 技术软件将在交互方式变革、产品种类丰富以及商业模式创新三个方面，进一步对金融行业产生影响。通过构建一个新兴的生态平台，实现一个超级应用，该应用可以覆盖金融行业的所有应用场景，提供统一的入口，从而实现 AI 技术软件对金融行业的迅速赋能。

出自：https://mp.weixin.qq.com/s/WuaHizHKNIsEy9aAF2i2Hg