文章列表-AI魔法学院

文章列表

百万token上下文窗口也杀不死向量数据库？CPU笑了

CPU，向量数据库的好搭档向量数据库搭配CPU，其实不只是腾讯云一家的选择，而是整个行业现阶段的主流共识：只有面临海量高并发需求时，使用GPU查询向量数据库才更划算。

向量数据库大模型 cpu

手把手教你本地部署清华大学KEG的ChatGLM-6B模型——Windows+6GB显卡版本和CPU版本的本地部署

下面2个步骤是不管你部署CPU还是GPU版本都需要做的。

提示词 prompt chatgpt

Pytorch安装（保姆级教学真·满血·GPU版）CUDA更新？torch版本？一文全搞定！

gt;> print(torch.cuda.is_available()) 如果输出是True，那么恭喜你就是GPU版本的，可以略过此文；如果输出是FALSE，那么你的torch版本就是CPU

训练

EasyPhoto | 您的智能 AI 照片生成器

的详细信息：操作系统： Windows10 python: python 3.10 pytorch: torch2.0.1 tensorflow-cpu

训练 EasyPhoto 文生图

深度对比丨探索LLM（大模型）部署服务的七大框架差异

如果速度是优先考虑且计划在 CPU 上运行推理，可以考虑CTranslate2 。

大模型

0基础！动手部署Qwen1.5-MoE模型！能力如何？API接入fastgpt等任何应用！喂饭到嘴教程，附模型下载！

但雄哥是GPU+CPU推理的，有点慢啊！

Qwen1.5-MoE 大模型下载

打磨 8 个月、功能全面升级，Milvus 2.3.0 文字发布会现在开始！

经测试，GPU 版本相较于 CPU HNSW 索引有了 3 倍以上的 QPS 提升，部分数据集有近 10 倍的提升。

大语言模型

AI换脸工具:facefusion使用心得

执行换脸的设备 CPU选项：A卡和集成显卡的必选项。

FaceFusion 文生图

无显卡+纯本地跑Qwen1.5版模型！0基础闭眼部署指南！适用绝大部分开源模型！llama2+Mistral+Zephyr通杀！

但雄哥本地没有显卡，只能用CPU来跑，而且日后接API出来做知识图谱和RAG，小尺寸模型才是我的菜！

Qwen1.5 开源模型

从0到1基于ChatGLM-6B使用LoRA进行参数高效微调

: CentOS 7 · CPUs: 单个节点具有 1TB 内存的 Intel CPU

大模型

哈工大科大讯飞联合推出中文LLaMA-2 & Alpaca-2大语言模型

Llama-2模型扩充了新版中文词表，开源了中文LLaMA-2和Alpaca-2大模型开源了预训练脚本、指令精调脚本，用户可根据需要进一步训练模型使用个人电脑的CPU

训练

大模型微调经验汇总---LLM finetuning 踩坑经验之谈

第一个则是采用 ggml工具，比如 llama.cpp 针对 llama 模型，将模型量化运行在 cpu 或 gpu 上，也可以 cpu和gpu 一起跑，内存则大大减少，推理速度有极大的提高。

大模型人工智能

Roop升级版FaceFusion换脸AI技术使用以及部署教程

EXECUTION PROVIDERS（运算方式）: 用于选择你想选用的推理方式，比如你可以选择使用CUDA加速，如果你不懂这是什么，可以先选择CUDA看看能不能运行成功，不成功就切换为CPU

FaceFusion 教程

【本地部署】智谱chatglm3-6B第三代！性能如何？支持调用tools+Agent+代码执行！小白教程！附网盘下载！

Edge端侧模型： ChatGLM3 本次推出可手机部署的端测模型 ChatGLM3-1.5B 和 ChatGLM3-3B，支持包括Vivo、小米、三星在内的多种手机以及车载平台，甚至支持移动平台上 CPU

chatglm 智普大模型

微信向量检索分析一体化数仓探索：OLAP For Embedding

业务原始科学探索，采用 SparkSQL 直接检索，字符串处理性能极差，处理分钟级别，改进后秒内返回；内核优化：上述 case 在数据量大的经过 SQL 优化仍然会出现计算超时且 CPU

OLAP For Embedding 一体化数仓

<12 3 4 5 6 7 8 >

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2024 AI魔法学院

京ICP备20027199号-1