文章列表-AI魔法学院

文章列表

硬核Prompt赏析：HuggingGPT告诉你Prompt可以有多“工程”

比如文本生成类的模型，有10000+个，gpt-3.5-turbo的token限制是4096，显然不能包含这个类别的所有模型描述。

提示词 prompt

RAG检索增强技术在知识库智能检索场景下的应用实践

检索的粒度可以从最小的词元（Token）扩展到词组、句子、段落，甚至是结构化的实体和知识图谱。

知识库 RAG检索增强

九问中国大模型掌门人，万字长文详解大模型进度趋势

Ilya（Ilya Sutskever，OpenAI 首席科学家）说如果能做到预测 Next Token，就离通用人工智能不远了。

大模型详解

对于AI，我们现阶段可以有的态度

【Claude：】作为ChatGPT3.5类似级别的大语言模型，基本能力差不多，据说最近有了个新能力，就是一口气能吃10w个token的数据量，这是目前其他大语言模型还做不到的。

文生图

OpenAI Sora视频生成模型技术报告中英全文+总结+影响分析

这种范式的成功在一定程度上得益于使用词元编码/令牌（token），它们巧妙地统一了文本的多种形式——代码、数学和各种自然语言。

sora openai 视频生成

语言大模型100K上下文窗口的秘诀

上下文窗口（context window）是指语言模型在进行预测或生成文本时，所考虑的前一个词元（token）或文本片段的大小范围。

大模型

人工智能大语言模型微调技术：SFT 、LoRA 、Freeze 监督微调方法

舍弃词汇 Mapping 的 Verbalizer 的使用，重新利用 [CLS] 和字符标签，跟传统微调方法一样利用 cls 或者 token 的输出做自然语言理解，以增强通用性，可以适配到序列标注任务

大模型微调

用了一个月，终于找到点写 AI Agent 的思路

但这种处理方式比较耗 Token，而且项目开发的早期，Prompt、Task、环境感知都没有准备完善，很难有好的效果。

AI Agent Ops 运维工具

9个范例带你入门langchain

close and it was really, really big. 2，长文本总结对于文本长度较短的文本我们可以直接这样执行summary操作但是对于文本长度超过lLM支持的max token

大模型

如何用大语言模型构建一个知识问答系统

分片要使用 tokenizer，原始文本经过分词然后再进行 embedding，分片大小需要考虑分词之后生成的 token 数量。

知识库

宁德核电推出全球参数量最大的核工业大模型｜InfoQ 独家

此外，「锦书」拥有中国最大的核工业大模型语料库，训练语料超过 20 亿 token，涵盖了核运行、核物理、核燃料、水化学十余类通用核工业语料以及规程、系统设计书、经验反馈单等十余种工作文件语料。

宁德核电大模型

姚班天才开发《完蛋！我被大模型包围了》游戏爆火，一日用户过万挤爆服务器

但事实证明，这个想法有些太简单了：先不说大模型的数数能力，就算能数好，大模型眼里的基本元素是token，而不是我们所看到的文字…… 随着游戏的深入，问题变得越来越刁钻，解法中包含的运气成分……也越来越少了

大模型游戏

StreamingLLM 框架：利用最新标记让 AI 记住你的话、创作长篇小说，探索无限长度文本

01 — 在和ChatGPT这类的大模型LLM对话时，有时候会感觉好像在与一只七秒记忆的鱼对话，因为它能处理的令牌token长度是有限制的。

大模型 llm框架

一人搞定30万商品分类：AI落地实践故事！

由于AI推理的一定局限性和输出有token限制，我们不要一次性让它生成所有的商品分类。

embedding 大数据分类

基于 Kimi Chat 的 AI 渐进式阅读法

这导致了大量输出 token 数的浪费并且在让 AI 阅读文章，生成内容的过程中，加入大量本不属于文章内容的专有名词解释，这样的上下文可能会误导 AI 的总结效果，让 AI 产生更多的幻觉。

Kimi Chat 阅读

<...5 6 7 8 91011 12 13 14 >

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2025 AI魔法学院

京ICP备20027199号-1