文章列表-AI魔法学院

文章列表

大规模训练系列之技术挑战

0 前言本次分享是大规模训练技术系列的第一篇，主要包括两个部分： · 大规模训练技术的意义 · 大规模训练的技术挑战 1 大规模训练技术的意义 1.1 训练的精度极限

开源模型

来自Microsoft Build 2023：大语言模型是如何被训练出来的

本场汇报共40多分钟，包含2个方面，一个是如何训练出GPT这样的大语言模型，里面包含了大语言模型的训练过程以及相关的技术，虽然是一种high-level的讲解，但是对于理解ChatGPT的训练十分有用。

大模型

一文读懂GPT-1：生成式预训练如何提升语言理解

首期，我们将共同探索ChatGPT的起源：GPT-1，跟随论文深入理解其技术细节，见证人工智能新篇章的启幕。

GPT

OpenAI开源大模型调测工具Transformer Debugger：可以在训练大模型之前理解模型的运行情况并干预

Viewer） · Transformer Debugger开源地址和其它资源为什么大语言模型难以调测和解释大语言模型需要大量的计算资源来训练

大模型调试工具

重磅来袭！Llama中文社区开源预训练中文版Atom-7B大模型

Llama中文社区联合AtomEcho（原子回声）重磅发布基于Llama2的中文预训练大模型：原子大模型 Atom-7B | Atom-7B 介绍目标泛智能体大模型不同原子有不同的特性

大模型

图解大模型训练之：张量模型并行(TP)，Megatron-LM

今天我们将要介绍最重要，也是目前基于Transformer做大模型预训练最基本的并行范式：来自NVIDIA的张量模型并行(TP)。

开源模型

微调、训练大模型概念介绍及论文笔记：Tuning系列论文笔记

Tuning整体介绍微调（Fine-tunning）语言模型的参数需要一起参与梯度更新轻量微调（lightweight fine-tunning）冻结了大部分预训练参数，仅添加任务层，语言模型层参数不变

训练微调

教你打造属于自己的AI孙燕姿，AI歌手模型使用及训练保姆级课程 #1/2 使用模型

简单解释一下，这个项目分为两个部分，模型的使用和模型的训练，模型使用的话对电脑的要求不是很高基本上差不多点的N卡都可以，模型的训练其实对显卡要求还挺高的小于6G会有各种各样的问题，当然也能炼，不过太麻烦了不建议

生成式AI

Transformer速查宝典：模型、架构、训练方法的论文都在这里了

AlphaCode 是在 715GB（967B token）代码基础上训练出来的模型，可以用于解决编程竞赛问题。

Transformer

Prompt、RAG、微调还是重新训练？如何选择正确的生成式AI的使用方法

从头开始训练肯定具有最高的实现复杂性，因为它需要大量的数据管理和处理，并且训练一个相当大的模型，这需要深入的数据科学和ML专业知识。

生成式AI

哈工大科大讯飞联合推出中文LLaMA-2 & Alpaca-2大语言模型

这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升。

训练

Prompt工程入门

例子5：写文章写一篇关于人工智能的优点的文章。

prompt 提示词

一文讲明白什么是预训练、微调和上下文学习

主要特点：无监督学习：预训练通常是一个无监督学习过程，模型在没有明确指导或标签的情况下从未标记的文本数据中学习。

大模型训练

SDXL模型lora训练参数详细设置，显存占用22G，不用修脸原图直出

的脚本集成的，现在更新到最新版本，就可以训练SDXL模型的lora了。

SDXL 训练

如何从零开始训练专属 LoRA 模型？4600字总结送给你！

一、训练数据集准备这个过程主要做三件事：训练素材处理图像预处理打标优化 1.

训练

<123 4 5 6 7 8 9 10 ...>

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2025 AI魔法学院

京ICP备20027199号-1