训练魔法-AI魔法学院

训练魔法

从零开始学习大模型-第一章-大模型简介

大模型是人工智能领域拥有大量参数的深度学习模型，通过学习大规模数据，能处理复杂任务。大模型具有高性能、泛化能力和多功能性，广泛应用于自然语言处理、图像识别等领域。其兴起得益于数据量的增加、计算能力的提升和算法的改进。初学者需掌握基础知识、大模型原理、工具和框架，通过实践项目、参与社区和持续学习提升能力。大模型的微调是将预训练模型适配到特定任务的关键过程，需注意学习率选择、冻结层和数据不平衡等问题。

大模型从零开始 2024-05-24

动作识别模型有哪些

动作识别模型主要包括TWO-STREAM CNN、TSN、C3D、RNN等。TWO-STREAM CNN由处理RGB图像和光流图像的两个部分构成，并联合训练。TSN是TWO-STREAM的改进版，通过将视频分段并随机选取片段进行训练，解决了TWO-STREAM不能对长时间视频建模的问题。C3D则使用三维卷积核处理视频，虽效果略低但训练速度快且网络结构简洁。RNN因能处理序列问题而被用于动作识别，相关研究工作提出了结合姿态注意力的RNN模型。此外，还有TRN、TSM和SlowFast等模型，它们分别对TSN的融合方式、2D网络的时序建模以及不同时间频率的语义捕获进行了改进和优化。

动作识别模型 2024-05-24

回望做大模型一年后的感悟

本文总结了AI领域的多个观点，包括OpenAI的稳定性问题、大模型领域的进步、开源与闭源的差距、LLaMA对大模型生态的影响以及中国研究者的实力。文章认为，尽管OpenAI在某些方面领先，但并非稳如泰山；国内在大模型领域的进步显著，且部分研究者的实力超过外界预期。同时，文章也指出了开源与闭源之间的差距，并强调了数据在模型训练中的重要性。最后，文章对中国在AI领域的发展充满期待。

大模型感悟 2024-05-24

吴恩达老师建议大家关注 AI 智能体工作流

吴恩达老师强调关注AI智能体工作流，可显著提升AI应用性能。他总结了一套智能体设计模式，包括反思、使用工具、规划及多智能体合作。通过迭代处理和多智能体协同，AI能产生更优质成果。近期研究也显示，采用迭代智能体工作流可大幅提升AI性能。未来将深入探讨这些设计模式并提供相关阅读材料。

智能体大语言模型 2024-05-24

AI国力战争：GPU是明线，HBM是暗线

本文指出，随着AI技术的迅猛发展，算力已成为国家竞争力的重要体现。当前，全球范围内在AI算力领域的竞争日趋激烈，大模型和GPU作为算力核心，备受关注。然而，在这场竞争中，HBM（高带宽内存）作为关键一环，却往往被忽视。 HBM是DRAM的一种升级产品，基于3D堆栈工艺，可以实现更高的内存带宽和更低的能耗，完美契合大模型对数据量和算力的近乎无上限需求。然而，HBM市场高度垄断，主要由韩国的海力士和三星主导，这使得其他国家在HBM供应上面临高风险。随着AI基础算力需求的大爆发，HBM供应紧张，价格高昂，成为制约AI算力进一步发展的瓶颈。文章强调，从2024年起，HBM将继GPU之后成为各个国家在算力竞争的关键。目前，韩国在HBM领域遥遥领先，美国虽有独苗美光科技苦苦支撑，但与中国相比仍具优势。而中国在HBM产业链上的存在感尚弱，国内尚无法量产HBM，这成为国内自研AI芯片的重大隐忧。为了突破这一困境，文章提出了两条投资逻辑：一是参与全球HBM产业链，选择能够参与到全球HBM供应链中的企业；二是相信国产化能够成功，选择可能在HBM封装上发挥作用的上市公司。然而，由于HBM技术难度高、投资金额大，且需要存储厂、晶圆代工厂、封装厂的通力合作，因此国产HBM的突破仍面临诸多挑战。总的来说，本文深入剖析了HBM在AI算力竞争中的关键作用以及全球HBM市场的现状与挑战，强调了国产HBM突破的重要性和紧迫性，为相关企业和投资者提供了有价值的参考。

GPU HBM 大模型 2024-05-23

大模型应用的10种架构模式

本文总结了大模型应用领域的架构模式，包括路由分发、大模型代理、多任务微调、面向微调的分层缓存策略、混合规则、知识图谱、智能体蜂巢、智能体组合、记忆认知及双重安全等十个模式。这些模式旨在解决大模型应用中的成本、性能、准确性以及安全性等问题，使人工智能服务更加高效、准确且安全。文章强调，随着技术的不断探索和创新，未来可能还会出现更多新的架构模式，为人工智能服务的发展提供更多可能性。

大模型架构 2024-05-23

24年首篇离奇论文：加点噪声，RAG效果翻倍？

本文研究了基于检索增强的语言模型（RAG）中信息检索组件对系统性能的影响，发现添加不相关文档可提高准确性，揭示了RAG系统的优化方向和局限性。论文首次关注RAG的IR方面，提出了方法策略并利用实验结果进行验证，为未来发展新一代信息检索技术提供了基础。未来可进一步研究内在机制，探索更复杂的模型和技术以提高性能。

RAG 检索增强 2024-05-23

使用大模型自动回复小红书/抖音/快手评论：通过RAG 优化LLMs实现

本文介绍了使用检索增强生成（RAG）技术改进大型语言模型（LLM）性能的方法，特别是在YouTube自动评论回复中的应用。文章首先解释了LLM的作用，即取代人工进行降本增效，并以自动回复用户提问为例说明其应用场景。然而，LLM存在两个关键限制：静态的知识和对小众及专业信息理解不足，这可能导致对用户查询产生不良或虚构的模型响应。为减轻这些限制，文章提出了RAG技术。RAG通过向基本LLM处理过程添加检索步骤，根据用户提示从外部知识库中提取相关信息并注入到提示中，从而增强LLM的性能。这种方法灵活且直接，可以改进基于LLM的系统。此外，由于知识存储在外部数据库中，更新系统知识也变得简单。文章详细描述了RAG系统的两个关键要素：检索器和知识库。检索器接受用户提示并从知识库中返回相关项目，通常使用文本嵌入来表示和比较用户查询与知识库中每个项目的相似度。知识库则包含想要提供给LLM的所有信息，可以通过从一组文档中构建得到。文章还讨论了构建RAG系统时的一些细微差别，如文档准备、选择合适的块大小以及改善搜索策略等。最后，文章提供了一个示例代码，展示了如何使用RAG技术改进YouTube评论回复程序，包括安装必要的Python库、建立知识库、设置检索器以及将RAG添加到LLM中。通过比较无上下文和有上下文的模型响应，文章展示了RAG技术如何帮助LLM更准确地回答技术问题，并捕捉更丰富的解释。这一方法不仅提高了LLM的性能，也使其更适用于实际应用场景。

RAG 大模型自动回复 2024-05-22

0基础！动手部署Qwen1.5-MoE模型！能力如何？API接入fastgpt等任何应用！喂饭到嘴教程，附模型下载！

本文介绍了moe模型的开发背景及优势，特别强调了新发布的Qwen1.5-MoE-A2.7B模型的能力超过7B，具有推理速度快、部署成本低的特点。文章还通过一系列问题测试了该模型的能力，并详细描述了如何在本地部署该模型，包括所需算力、环境配置、模型下载等步骤。最后，文章提到模型权重和推理仓库的下载方式，但仅限特定会员专享。

Qwen1.5-MoE 大模型下载 2024-05-22

【提前体验GPT-5】吴恩达AI智能体工作流详细解读

吴恩达教授提出AI智能体驱动的工作流方式将成为未来趋势，并证实通过此技术GPT3.5的效果可超越GPT4。他在斯坦福大学的演讲中详细解释了四种实现智能体工作流的设计模式：反思、使用工具、规划和多智能体协作。反思模式涉及让智能体检查并优化其工作；使用工具模式强调智能体依赖外部工具提升能力；规划模式要求智能体预先规划执行路径；多智能体协作模式则涉及智能体间的角色扮演和辩论以提升性能。这些模式将大幅扩展AI的功能。尽管智能体工作流需要时间来生成答案，但快速生成token的技术研究也在兴起。在使用智能体工作流时，需要保持耐心。

GPT-5 智能体 2024-05-22

弱智吧竟成最佳中文AI训练数据？！中科院等：8项测试第一，远超知乎豆瓣小红书

研究团队使用充满荒谬、离奇言论的中文社区“弱智吧”的数据训练AI模型，该模型在多项测试中表现卓越，甚至超过了使用其他平台数据训练的模型。研究团队认为，这种数据增强了AI的逻辑推理能力。此研究为中文大模型开发提供了有价值的指令微调数据集，展现了社交媒体数据在AI训练中的潜力。

弱智吧训练数据集 2024-05-22

开源！数字人资源大集合！

本文介绍了完整数字人项目及其资源合集，包含数字人相关的大量论文和源代码。文章列举了多个团队与人员的研究成果，以及相关的数据集，如SMPL、THUmanDataset和AGORA等。此外，还介绍了3D人体头像生成和动画以及穿衣人体运动生成等方面的研究进展，包括使用文本生成可动画的数字化身和具有高效3D铰接人体生成的技术。同时，文章还涉及了穿衣人数字化的研究，包括从单目图像恢复3D人体网格的方法以及具有镜像意识的神经人类等。最后，文章提及了智能手机视频中的逼真虚拟人技术，以及使用隐式表面对应和自监督学习进行3D人体网格配准的方法。

数字人开源 2024-05-21

微信为什么使用 SQLite 保存聊天记录？

本文介绍了SQLite作为一个被低估但功能强大的数据库，尽管没有网络层，但适用于多种场合。文章重点讨论了SQLite在2018年新增的SQL功能，包括布尔字面量和判断、窗口函数、Filter子句、Insert … on conflict (“Upsert”)、重命名列等。SQLite支持布尔值判断，窗口函数功能领先业界，Filter子句提供更易理解的聚合过滤方式，Upsert功能优雅处理主键和唯一约束冲突，并引入重命名列功能。此外，还提到了SQLite在API方面的一些变化。总之，SQLite在不断完善其SQL功能，成为一个可靠且广泛应用的数据库引擎。

SQLite 微信数据库 2024-05-21

社区供稿｜GPT-4 与国产模型，大！横！评！

本文测评了三款国产大模型——智谱GLM-4、文心一言4.0和字节的豆包，以GPT-4为基准，通过基础测试和应用实践两个环节来评估它们的性能。在基础测试中，各模型在联网查询、数据分析、多模态文生图、长文档解读以及智能体等方面的表现各有千秋。智谱GLM-4在各项功能上表现稳定，与GPT-4的功能布局相似，但在智能体功能上稍逊于GPT-4。文心一言4.0在数据分析方面存在不足，但在高考数学大题等场景下表现出色。字节的豆包在语义理解和常识查询方面表现突出，但在其他功能上还有待提升。在应用实践中，各模型在文本生成、语义理解、数理计算和代码解释等方面的表现也各具特色。智谱GLM-4在多个场景下表现稳定，尤其在数理计算和代码解释方面表现突出。文心一言4.0在高考数学大题上得分较高，但在代码解释方面表现不佳。字节的豆包在常识查询方面表现出色，但在其他场景下的表现平平。此外，文章还对比了智谱GLM-4与其上一代模型GLM-3的性能差异，显示出GLM-4在各项基础模型能力上的全面强化和进步。最后，文章指出，虽然ChatGPT等国外大模型在技术上具有优势，但在本地化表现上并不尽如人意，对于中文普通用户而言仍存在使用门槛。国产大模型在努力提升技术实力的同时，也需关注本地化需求和用户体验，以更好地满足国内用户的需求。

GPT-4 大模型 2024-05-21

国产AI，逃过一劫

文章简要概括了去年ChatGPT的崛起引发的国内大模型创业潮，以及随后行业的冷静和商业化进程。特别关注了美团联合创始人王慧文在此过程中的起伏，包括他高调宣布进军AI赛道，设立光年之外科技有限公司，但随后因个人原因退出，并将光年之外并入美团。文章还提到了王慧文近期作为投资人和创始股东参与硅动科技的创业，该公司致力于解决大模型推理和部署的高成本问题。此外，文章还分析了国内大模型行业的发展趋势，包括从追赶ChatGPT到注重应用场景落地，以及面临OpenAI等国外巨头的竞争压力。最后，文章对王慧文回归AI赛道的未来表现持观望态度。

ChatGPT 大模型 2024-05-20

<...8 9 10 111213 14 15 16 17 ...>

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2024 AI魔法学院

京ICP备20027199号-1