文章列表-AI魔法学院

文章列表

【CLIP系列Paper解读】CLIP: Learning Transferable Visual Models From Natural Language Supervision

embedding； · 以N个text embedding为key，以当前image embedding为query

OpenAI 自然语言监督

大模型应用的10种架构模式

用户proxy代理在查询发出和返回的过程中对用户的query进行拦截。

大模型架构

人手一个编程助手！北大最强代码大模型CodeShell-7B开源，性能霸榜，IDE插件全开源

以GPT-2为基础，采用fill-in-middle（FIM）模式支持代码特有的补齐生成方法，引入Grouped-Query Attention和ROPE位置编码，最终形成了CodeShell高性能且易于扩展上下文窗口的独特架构

开源模型 AI编程

中文通用大模型最全汇总

部署门槛较低等众多优秀特性的基础之上，引入了GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练；基座模型的上下文长度扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练；基于 Multi-Query

大模型开源模型

【万字长文】LLaMA, ChatGLM, BLOOM的参数高效微调实践

二者之间存在一些细微差别，添加soft prompt时只修改输入的key和value 序列，而不修改query。

大模型微调训练

用了一个月，终于找到点写 AI Agent 的思路

;pipelineGetClusterIP = ops.LLMPipeline{ Desc: "Query

AI Agent Ops 运维工具

Falcon 180B 开源影响了谁？

时隔4个月时间，TII便开源了Falcon 180B，从架构维度来看，Falcon 180B 是 Falcon 40B 的升级版本，并在其基础上进行了创新，比如利用 Multi-Query Attention

大模型

Stable Diffusion

硬核解读Stable Diffusion（系列一）

其中CrossAttnDownBlock2D模块的主要结构如下图所示，text condition将通过CrossAttention模块嵌入进来，此时Attention的query是UNet的中间特征，

StableDiffusion 文生图

Transformer速查宝典：模型、架构、训练方法的论文都在这里了

多查询注意力（Multi-Query Attention，MQA）论文地址： https://arxiv.org/pdf/1911.02150.pdf Noam Shazeer

Transformer

RAG检索增强技术在知识库智能检索场景下的应用实践

2.1.2、步骤2：检索在检索阶段，模型接收到用户的查询（Query），然后利用编码模型将查询转换为向量形式，并在向量数据库中进行相似度比较，找出与查询最相关的K个文本块。

知识库 RAG检索增强

最新最全的开源中文大语言模型列表

部署门槛较低等众多优秀特性的基础之上，引入了GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练；基座模型的上下文长度扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练；基于 Multi-Query

大模型

Stable Diffusion

万字长篇！超全Stable Diffusion AI绘画参数及原理详解

diffusers/main/en/training/lora Additional network超网络是一种微调技术，它是一个附加到稳定扩散模型的小型神经网络，通过插入两个网络来转换key向量和query

文生图

谈Agent构建平台的设计

他们不太可能理解： · 这个query需要并发执行，充分利用CPU，减少延迟 · 这个请求和另一个请求读写了相同的行，必要等那个事务运行完才能执行 · 为什么某些很简单的数据库变更请求会长时间锁死整个表导致数据库不可用

Agent 构建

万字长文-大语言模型指令调优综述

为了降低GPU微调阶段的内存成本，采用了multi-query attention和causal mask strategies。

大语言模型

国内外开源大语言模型一览表

更高效的推理：基于 Multi-Query Attention 技术，ChatGLM2-6B 有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G

大模型

<1 2 3 4 567 >

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2025 AI魔法学院

京ICP备20027199号-1