Byzer-LLM 可以让用户用一套接口就可以部署和使用市面上主流的开源和SaaS版本大模型， 之前以Qwen 写过一篇，可以看这里：Byzer-LLM 支持同时开源和SaaS版通义千问
今天我们升级了一个 0.1.37 版本，这个版本是专门针对 GLM-4 而发布的。今天我们来看看如何快速体验下 GLM-4。
首先，你去官网注册一个账号，然后申请一个 API Key。这个类似于 OpenAPI 的Key。
现在，可以开始我们的使用旅程了。
部署使用
先做个部署：
import ray
from byzerllm.utils.client import ByzerLLM
ray.init(address="auto",namespace="default",ignore_reinit_error=True)
llm = ByzerLLM(verbose=True)
llm.setup_num_workers(1).setup_gpus_per_worker(0)
chat_name = "zhipu_chat"llm.deploy(model_path="", pretrained_model_type="saas/zhipu", udf_name=chat_name, infer_params={ "saas.api_key":"xxxxx", "saas.model":"glm-4" })
部署的时候实际上就两个参数，第一个是 api_key, 第二个是选择模型。
现在我们可以使用了：
v = llm.chat_oai(model=chat_name,conversations=[{ "role":"user", "content":"你好，你是谁",}])
print(v[0].output)# 你好，我是一个人工智能助手，很高兴为您提供帮助。请问有什么问题我可以解答或者协助您解决吗？
也可以用流式接口：
v = llm.stream_chat_oai(model=chat_name,conversations=[{ "role":"user", "content":"你好，你是谁",}])
for t in v: print(t[0],flush=True) print(t[1].generated_tokens_count,flush=True)
你也可以选择使用 Zhipu的 embedding 模型：
import rayfrom byzerllm.utils.client import ByzerLLMray.init(address="auto",namespace="default",ignore_reinit_error=True)
llm = ByzerLLM(verbose=True)
llm.setup_num_workers(1).setup_gpus_per_worker(0)
chat_name = "zhipu_emb"
llm.deploy(model_path="", pretrained_model_type="saas/zhipu", udf_name=chat_name, infer_params={ "saas.api_key":"xxxxx", "saas.model":"embedding-2" })
然后可以这样得到向量：
llm.emb(model="zhipu_emb",request=LLMRequest(instruction="你好"))# [LLMResponse(output=[-0.02675454691052437, 0.019060475751757622, 0.006672845687717199, -0.023301372304558754, 0.0015068714274093509
能力到底怎么样
Byzer-LLM 其实有一套实现功能，不依赖于底层大模型原生的实现。这套功能分别是：
1.
Function Calling
2.
Respond With Class
3.
Funciton Impl
第一个大家比较熟悉，2,3 可能会略微生疏些，可以参考两：
给开源大模型带来Function Calling、 Respond With Class
函数实现越通用越好？来看看 Byzer-LLM 的 Function Implementation 带来的编程思想大变化
这几个能力，其实很吃大模型的基础能力，一般开源模型都过不了，目前我的实现只有Qwen 72B以及 DeepSeek 67B 全过了。
好了，大概有概念之后，我们看看 GLM-4 的的测试结果。
Byzer-LLM 为了实现上面的能力，其实有两套实现：
1.
基于Prompt 改写
2.
基于 System Message + Prompt 改写
基于 Prompt 改写的，我测试了 Qwen, Baichuan, GLM-4, 他们都过了。Qwen我做了特殊优化，所以算是有点小作弊。
而第二个难度其实会高很多，QWen 我用了 max 版本过了，但是运行速度较慢， Baichuan 只有 Function Calling 过了， GLM-4 则一把全过，速度还很快。
所以给我的感觉还是非常惊艳的。期待大家更多更深入的评测。
出自：https://mp.weixin.qq.com/s/Zhzn_C9-dKP4Nq49h8yUxw