文章列表-AI魔法学院

文章列表

大模型训练工程那些事

曼哈顿工程并不仅仅是一项科技挑战，它是一个集科技、人力、资源和时间于一体的复杂系统工程。

训练工程大模型

Prompt工程如此强大，我们还需要模型训练吗？

3.如果我们还需要模型训练，例如在GPT3基础上把21年以后的数据喂进去，其中学到的新信息与

大模型

个人从零预训练1B LLM心路历程

其实在当时就有不少些这种“从零预训练LLM”的开源项目了，但是大多训练的数据量或者是模型都很小（几块4090+几十G数据就能跑起来），并没有暴露出一些工程上的问题，训练细节也没有分享的特别清晰。

LLM 训练

HAI-Chat：高效且轻量的一键式 RLHF 训练工具

对话式人工智能工具的流行引发了人们对人工智能安全的担忧。

HAI-Chat RLHF

领域大模型LLM训练Trick

答：通过分析发现现有的开源大模型进行预训练的过程中会加入书籍、论文等数据。

垂直训练大模型

领域大模型-训练Trick&落地思考

现有大模型在预训练过程中都会加入书籍、论文等数据，那么在领域预训练时这两种数据其实也是必不可少的，主要是因为这些数据的数据质量较高、领域强相关、知识覆盖率（密度）大，可以让模型更适应考试。

垂直训练大模型

人工智能训练的灾难性遗忘以及解决方案

例如，一些研究人员正在尝试通过改进模型的结构和训练方法来缓解灾难性遗忘问题，而另一些研究人员则试图通过结合深度学习和生物神经网络的方法，来构建更接近生物神经网络的人工神经网络。

人工智能大模型

如何使用 Megatron-LM 训练语言模型

在 PyTorch 中训练大语言模型不仅仅是写一个训练循环这么简单。

开源模型

免训练！单图秒级别生成AI写真，人像生成进入无需训练的单阶段时代

这一创新版本摒弃了传统的人物模型训练过程，能够直接生成 zero-shot 目标人像，引领 AI 人像生成进入了无需训练的单阶段时代。

FaceChain FACT 文生图

使用自己的数据训练清华ChatGLM2-6B 模型

o o • dev.json文件也是一样的格式,但是它是用于验证的,会在训练过程中用于评估模型在这部分数据上的表现。

ChatGLM2-6B

大模型训练为什么用A100不用4090

看算力和内存也能看出来，H100 的 FP16 算力大约是 4090 的 6 倍，内存带宽是 3.35 倍，训练过程中由于 batch size 比较大，大多数算子是 compute bound（计算密集型

大模型

视频大模型训练相关词条解释

OpenAI在22年发布的ChatGPT改变了语言人工智能格局，24年发布的Sora目测也在改变着视频人工智能格局。

视频生成 sora 词条

微调百川Baichuan-13B保姆式教程，手把手教你训练百亿大模型

本文是一个Step By Step的大模型训练教程，即使你是训练大模型的新手，通过本教程，也可以快速在一张显卡上训练自己的大模型。

大模型微调

【一步一步引导】从零详细地梳理一个完整的 LLM 训练流程

1.预训练阶段（Pretraining Stage）工欲善其事，必先利其器。

大模型训练

大规模训练系列之技术挑战

0 前言本次分享是大规模训练技术系列的第一篇，主要包括两个部分： · 大规模训练技术的意义 · 大规模训练的技术挑战 1 大规模训练技术的意义 1.1 训练的精度极限

开源模型

<12 3 4 5 6 7 8 9 10 ...>

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2024 AI魔法学院

京ICP备20027199号-1