文章列表-AI魔法学院

文章列表

国内外开源大语言模型一览表

https://huggingface.co/IDEA-CCNL/Ziya-LLaMA-13B-v1 https://github.com/IDEA-CCNL/Fengshenbang-LM

大模型

大模型实践总结

分布式并行及显存优化技术并行技术：数据并行（如：PyTorch DDP）模型/张量并行（如：Megatron-LM（1D）、Colossal-AI（2D、2.5D、3D））

大模型训练

最新最全的开源中文大语言模型列表

Fengshenbang-LM：地址：https://github.com/IDEA-CCNL/Fengshenbang-LM 简介：Fengshenbang-LM

大模型

一文带你认识ELMo

.,��) ，对于前向语言模型（forward LM），我们基于 (t1,..

embedding

如何修复GPT幻觉、及评估数据集的挑战

这种方法使 LM 能够自我评估中间思想通过深思熟虑的推理过程解决问题所取得的进展。

大模型

七问大模型幻觉｜LLM Hallucination

因为在句子的开始没有前文，所以只要它在语法和上下文上是正确的，LM就可以生成任何内容。

大模型

向量数据库失宠了？OpenAI 力捧检索增强生成（RAG）技术，对行业来说意味着什么？

这个想法是使用预先训练的语言模型 (LM) 来生成文本，但使用单独的检索系统来查找相关文档来调节语言模型。

检索增强生成大语音模型

大模型微调方法总结

关于前缀/提示的设计，我们可以给模型若干的字词作为提示，比如我们想让模型生成“Obama”，那我们可以在其常见的搭配前加上上下文(例如，Barack)，那么 LM 就会把更高的可能性分配给想要的单词

开源模型

Giraffe：世界上第一个商业可用的32K长上下文开源LLM（基于Llama-2）

我们将年份视为特殊情况，以免因弄乱年代信息而使文件的解释变得荒谬 · · 如果答案是任何其他数字，我们将其更改为具有相同位数的不同随机数 · 结果 LM

开源模型

大语言模型的拐杖——RLHF基于人类反馈的强化学习

此外，该库易于定制，允许基于任何任意用户指定的奖励函数来训练任何编码器-解码器或基于encoder transformer 的LM。

大模型训练

万字长文，AI大模型的应用实践总结

07 分布式并行及显存优化技术并行技术： · 数据并行（如：PyTorch DDP） · 模型/张量并行（如：Megatron-LM（1D）、Colossal-AI（2D、

大模型

Transformer速查宝典：模型、架构、训练方法的论文都在这里了

10.Anthropic LM · 属性：52B 参数，64 层，8192 嵌入维度 · 论文地址：https://arxiv.org/pdf/2112.00861

Transformer

来自Microsoft Build 2023：大语言模型是如何被训练出来的

下图是LM-SYS展示的大模型匿名评分结果（就是给定一个问题，随机匿名给出2个模型的答案，让普通用户比较好坏，结果进行排名）。

大模型

国产编程大模型CodeGeex

为适配更多平台，我们将其转换到Megatron-LM框架，支持Pytorch+GPU环境。

编程

人手一个编程助手！北大最强代码大模型CodeShell-7B开源，性能霸榜，IDE插件全开源

为了获得最大的分布式训练效率，Codeshell基于Megatron-LM，在Attention算子优化、数据预处理、数据加载、日志输出、状态监控、分布式训练管理等方面进行了深度定制，支持Flash Attention2

开源模型 AI编程

<1 234 >

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2025 AI魔法学院

京ICP备20027199号-1