训练魔法-AI魔法学院

MLScraper是一个强大的Python库，利用机器学习和自然语言处理技术自动解析和提取网页数据。它支持各种网页类型，并提供灵活的选择器来定位和提取数据。MLScraper还具备智能识别能力和高效性能，适用于数据采集、价格比较、舆情分析和学术研究等领域。尽管在处理复杂和动态网页时可能需要额外配置，但总体上，它是一个值得推荐的网页数据提取工具。

MLScraper Python库 2024-04-29

RAG

RAG与Long-Context之争—没必要争

文章讨论了RAG与Long-Context在大模型应用中的不同角色和争议。RAG被视为粗排，通过检索系统从数据库/知识库中找到相关片段内容，再利用大模型查找或总结出答案。Long-Context则是精排，将所有文本内容输入大模型，用户提问后，大模型直接查找或总结答案。文章指出，两者的本质区别在于外部知识如何给到大模型，以及给多少。虽然Long-Context随着模型支持长度增加可能降低检索的重要性，但由于大模型处理长度增加会导致KV Cache资源占用剧增，因此RAG仍有其存在价值。文章还探讨了Long-Context对RAG场景的影响，以及部署大模型服务的挑战和成本问题。最后强调，在技术发展中，Long-Context和RAG都是为了让大模型找到更好的答案，而真正的智能还需依赖模型本身。

RAG Long-Context 大模型 2024-04-29

数字人

最强开源数字人对口型系统介绍

本文介绍了开源的数字人克隆方法Easy-Wav2Lip，无需额外训练即可实现高清口型同步。相比其他开源方法，该方法具有更高的清晰度和更快的推理速度。提供了三种推理模型：原始模型、改进模型和增强模型。虽然增强模型推理速度较慢，但在非实时场景下仍具有应用价值。此外，文章还提供了一个在线服务网站，方便用户体验该代码。使用要求包括声音时长与视频时长等长、视频分辨率不超过1080P、帧率不超过30、音频为单人声、噪音降到最低、视频为单人露面视频且脸部清晰。

数字人开源模型 2024-04-29

芯片拼接技术：英伟达新核弹，站在苹果的肩膀上！

在2024年的GTC大会上，英伟达发布了新型GPU架构Blackwell和B200 GPU，该GPU的理论AI性能可达20PFLOPS，是前一代H100的五倍，晶体管规模也高达2080亿。不同于以往通过先进制程提升性能的方法，B200通过物理上将两块芯片“粘合”成一个更大的芯片来实现性能的提升。这种方案在物理学边缘进行了大胆的冲锋与冒险，虽然面临技术挑战和成本问题，但为芯片行业带来了新的思考方向。英伟达通过合作和技术研发，成功实现了这一创新，为未来的计算性能提升提供了新的路径。同时，文章也回顾了芯片封装技术的发展历程，以及苹果、台积电等公司在这一领域的探索和实践。最终，这种创新的封装技术为整个行业带来了新的机遇和挑战，推动了科技革命的进程。

芯片拼接技术 2024-04-29

RAG

如何提高RAG 的效果

本文探讨了如何提高RAG（Retrieval-Augmented Generation）的效果，包括参考信息主题的唯一性、预设多个Prompt模板、query改写、多种检索方式以及rerank等策略。文章强调了落地过程中细节问题的重要性，并提供了一些实践经验和解决方案。这些方法旨在帮助模型更好地利用参考信息，提高生成质量。

RAG 大模型 2024-04-28

大模型

大模型在金融行业的应用场景

本文概述了大模型在金融行业中的应用场景，包括知识库/知识问答、智能客服、运营助手、风控、催收、信用评估、反欺诈、智能投顾、研发辅助和HR等。文章通过国内外实例展示了这些应用场景的具体应用和效果，如农业银行推出的ChatABC、摩根士丹利的知识问答系统、工商银行的智能客服等。这些应用不仅提高了金融业务的效率和准确性，还为客户提供了更个性化的服务。

大模型金融应用 2024-04-28

OpenAI

whisper-live：OpenAI Whisper模型的近实时实现

本文介绍了OpenAI的Whisper的近乎实时实现项目——WhisperLive。该项目是一个实时转录应用程序，可以将语音输入转换为文本输出，支持实时音频输入和预录制的音频文件。WhisperLive使用语音活动检测（VAD）技术，仅在检测到语音时才发送音频数据，提高了转录输出的准确性和效率。用户可以通过安装PyAudio和ffmpeg，运行转录服务器和客户端程序，使用Whisper模型进行实时转录。此外，WhisperLive还支持多语言转录和翻译功能，用户可以通过设置选项来指定目标语言和任务。项目链接为https://github.com/collabora/WhisperLive。

OpenAI Whisper 大模型 2024-04-28

Stable Diffusion

Stable Diffusion插件：提示词

本文介绍了两个Stable Diffusion WebUI的提示词插件：sd-webui-prompt-all-in-one和SDWebUI Tag Autocomplete。前者提供书写提示词的辅助功能，如自动翻译和预置关键词；后者则具有自动完成提示词的能力，并支持翻译功能。文章还详细说明了这两个插件的安装和使用方法。

Stable Diffusion 提示词 2024-04-28

教程

openpose原理及安装教程（姿态识别）

OpenPose是一个基于深度学习的开源库，用于实时多人姿态估计。它采用卷积神经网络（CNN）准确识别图像或视频中的人体关键点，包括头部、肩部、手肘等，进而生成完整的多人姿态估计结果。安装OpenPose需下载源代码或预编译版本，安装依赖库，使用CMake配置和生成项目文件，编译生成可执行文件或库文件，最后运行示例程序或集成到项目中。OpenPose具有多人姿态估计、多关键点检测、跨平台支持和开放源代码等优势，可用于精细的姿态分析。在GitHub上安装OpenPose需克隆代码库，下载并编译依赖库，配置和编译OpenPose，最后安装并运行。使用时需注意选择合适的硬件设备和参数配置以保证准确性和效率。

行为识别姿态识别 2024-04-27

实测：本地跑llama3:70B需要什么配置

文章介绍了开源大语言模型Llama 3 70B的能力达到了新的高度，可与顶级模型相媲美，并超过了某些GPT-4模型。文章强调了Llama 3的普及性，任何人都可以在本地部署，进行各种实验和研究。文章还提供了在本地PC上运行70B模型所需的资源信息，并展示了模型加载前后系统硬件占用情况的对比。最后，文章认为Llama 3 70B模型作为本地化Agent的底座模型非常适合，并预示着未来将有更多有趣的应用出现。

llama GPU内存 2024-04-25

为什么说AI现在还不行！

AI最近有点被妖魔化了，很像一个老虎在还没有橘猫大的时候，就已经被天天当成虎力大仙来讨论。这种普遍的高预期其实是有害的，尤其是当事情本身还需要耐心细致深耕且长跑的时候。资本、品牌可以匹配高预期所对应的增长倍数，业务则不行，业务先天挤出一切泡沫。也正因此最近写了几篇文章都在提应该以一种更加理性的态度来看待AI的进展，甚至设想了一种测试智能程度的方式：图灵测试2.0。这篇文章则是对此前各文章的综合。

大模型 2024-04-25

微信向量检索分析一体化数仓探索：OLAP For Embedding

在过去的一年里，大型语言模型 (LLM) 以及 ChatGPT 等产品吸引了全世界的想象力，推动新一轮技术浪潮。embedding 和 vector search(向量搜索)的概念是支持推荐、问答、图像搜索等功能的核心。我们发现社区中“向量搜索”的兴趣显著增加;具体来说，大家感兴趣了解的是：何时需要专门向量数据库，何时不需要？相比于语义性检索引擎（ES）与专业的高性能检索服务，OLAP 数仓的向量检索能力在场景有何区别？

OLAP For Embedding 一体化数仓 2024-04-25

大模型

整理了近期所有TTS相关的大模型

从 XTTS 到 Pheme,从OpenVoice 到 VITS，每个大模型包括源码地址，支持的语言，非常棒！

TTS 大模型 2024-04-25

LLM

让AI记住你说的话、让AI给你生成几十万字的小说！StreamingLLM 让无限长token成为可能

如今全世界有很多公司都在研究AI大模型（LLM）。但是在我们使用ChatGPT这样AI时候，可能聊着聊着它就告诉你要重新开始对话了！这就好像七秒记忆的鱼一样，转身就忘记了刚才聊天内容。你不得不重新开始！

StreamingLLM 写作 2024-04-25

爬虫

微信搜狗爬虫WechatSogou - 从微信公众号获取文章的利器

爬虫和非官方API类库，仅作为学习研究使用，严禁从事非法活动。这类库为能为用户学习研究提供一定便利，也能为官方安全升级提供有益线索，但也可存在被非法使用的风险。这类库伴着官方数据结构和反爬虫策略升级，随时有失效可能，请谨慎参考学习，严禁非法使用。

WechatSogou 微信搜狗 2024-04-24