文章列表-AI魔法学院

文章列表

图解检索增强式生成（RAG）技术 | 万字长文

关于检索器评估的简单管道例子请看： https://github.com/run-llama/finetune-embedding/blob/main/evaluate.ipynb 它已应用于编码器微调部分

检索增强式生成 RAG

大模型的研究新方向：混合专家模型（MoE）

近期Mistral AI发布的Mistral 8x7B模型是由70亿参数的小模型组合起来的MoE模型，直接在多个跑分上超过了多达700亿参数的Llama 2。

MoE 大模型

2024，智谱如何更快？

而国内很多厂商都是基于Llama开源来训练的模型。

GPT-4 大语言模型

全球最强长文本大模型，一次可读35万汉字：Baichuan2-192K上线

这些大模型也因为其能力在业内备受青睐：Baichuan 系列开源模型在各大开源社区的累积下载量已突破六百万次；Baichuan 2 更是在各维度全面领先 Llama 2，引领了中国开源生态发展。

Baichuan2 百川开源

一个小妙招从Prompt菜鸟秒变专家！加州大学提出PromptAgent，帮你高效使用ChatGPT！

由于较低级别和较小规模的LLM模型（如GPT-2或LLaMA）可能无法熟练掌握这些专家级Prompt的微妙之处，会导致显著的性能下降。

PromptAgent 大模型

通俗解读大模型微调(Fine Tuning)

论文中举的例子，65B的LLaMA 的微调要780GB的GPU内存；而用了QLoRA之后，只需要48GB。

大模型微调

构建开源多模态RAG系统

值得注意的是，我们的重点是在不依赖LangChain或Llama索引的情况下实现这一点；相反，我们将利用ChromeDB和Hugging Face框架。

RAG 大模型

混合专家模型 (MoE) 详解

· OpenMoE: 社区对基于 Llama 的模型的 MoE 尝试。

MoE大模型

一文探秘LLM应用开发-Prompt(相关概念)

1）llama Stanford Alpaca ：模版： 1 { 2 3 "description": "Template used by Alpaca-LoRA

prompt 大模型

为什么说AI现在还不行！

注2：关于AI的计算模式参见《开源大模型LLaMA 2会扮演类似Android的角色么？》

大模型

微软Phi-3、Mixtral 8x22B等小模型过拟合，三分之二存在数据污染

刚刚，Scale AI 的一篇论文对当前最热门的大模型进行了深度调查，包括 OpenAI 的 GPT-4、Gemini、Claude、Mistral、Llama

过拟合小模型

Deepseek-V2技术报告解读！全网最细！

Linear(in_features=5120, out_features=102400, bias=False) ) 我们从上往下，从embedding层的维度来看，与Gemma, LLaMA

Deepseek-V2 大模型

谈谈LLM在推荐域的渗透，探索推荐新范式

Billion参数(也有人认为是6B、7B, 工业界用, 开始展现涌现能力);经典大模型有GPT-3、BLOOM、Flan-T5、GPT-NeoX、OPT、GLM-130B、PaLM、LaMDA、LLaMA

大模型

Yann LeCun杨立昆最新观点：AGI不存在

您在职业生涯中一直是开放研究的大力倡导者，Meta 采取了有效开源其最强大的大型语言模型（最近的Llama 3）的政策。

AGI 大语言模型观点

大模型压缩首篇综述来啦~

LLM-QAT能够将带有量化权重和KV缓存的大型LLaMA模型蒸馏为仅有4位的模型。

大模型

<...3 4 5 6 7 8 9 101112 >

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2024 AI魔法学院

京ICP备20027199号-1