文章列表-AI魔法学院

文章列表

个人从零预训练1B LLM心路历程

因此，项目后期我就把收集数据的这个事情从github主页上下架了，在我的第一篇文章中，读者还是能看到“收集数据”相关的描述。

LLM 训练

HAI-Chat：高效且轻量的一键式 RLHF 训练工具

前两个步骤是基于特定的数据训练准备模型，属于人类反馈（HF）的部分；而 PPO 则是 OpenAI 提出的强化学习算法（RL），基于前两步构建的准备模型再训练提升主干网络。

HAI-Chat RLHF

总结！大模型微调（Tuning）的常见方法

这是通过在与任务相关的数据集上训练模型来完成的。

微调大模型

AI里的大模型，你了解么

AI大模型是“人工智能预训练大模型”的简称，是指具有大量参数和复杂结构的机器学习模型。

人工智能

GPU 性能（数据表）快速参考

o FP代表浮点运算数据格式，包括双精度（FP64）、单精度（FP32）、半精度（FP16）以及FP8等，INT代表整数格式，包括INT8、INT4等。

GPU 算力

一文读懂GPT-1：生成式预训练如何提升语言理解

GPT-1基本原理 GPT-1模型主要包含两个阶段： 1.利用大量未标注的语料预训练一个语言模型； 2.对预训练好的语言模型进行微改，将其迁移到各种有监督的NLP任务，并对参数进行fine-tuning

GPT

模拟ChatGPT流式数据——SSE最佳实践

对于这种对话场景，ChagtGPT 将先计算出的数据“推送”给用户，采用 SSE 技术边计算边返回，避免用户因为等待时间过长关闭页面。。

打字机 sse 大模型

点评：六大向量数据库

这一波gpt热潮，90%的企业开发，都是llm+本地知识库集成。

向量数据库

主流向量数据库一览

什么是向量数据库？

向量数据库

重磅来袭！Llama中文社区开源预训练中文版Atom-7B大模型

| 中文优化从中文预训练开始，持续迭代升级 🎯中文数据通过测试我们发现，Meta原始的Llama2 Chat模型对于中文问答的对齐效果欠佳，大部分情况下都不能给出中文回答，或者是中英文混杂的形式

大模型

Prompt工程如此强大，我们还需要模型训练吗？

3.如果我们还需要模型训练，例如在GPT3基础上把21年以后的数据喂进去，其中学到的新信息与

大模型

图解大模型训练之：张量模型并行(TP)，Megatron-LM

今天我们将要介绍最重要，也是目前基于Transformer做大模型预训练最基本的并行范式：来自NVIDIA的张量模型并行(TP)。

开源模型

微调、训练大模型概念介绍及论文笔记：Tuning系列论文笔记

Tuning整体介绍微调（Fine-tunning）语言模型的参数需要一起参与梯度更新轻量微调（lightweight fine-tunning）冻结了大部分预训练参数，仅添加任务层，语言模型层参数不变

训练微调

Transformer速查宝典：模型、架构、训练方法的论文都在这里了

· 它在一个 300B token 的数据集上进行训练。

Transformer

人工智能训练的灾难性遗忘以及解决方案

假定我们遇到了一个非常吝啬的数据提供者，每次只提供一种动物的数据，并在学习完成识别该动物后，将数据收缴上去；然后才给下一个动物的训练数据。

人工智能大模型

<1 234 5 6 7 8 9 10 ...>

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2025 AI魔法学院

京ICP备20027199号-1