检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
conf文件。 vim whitelist.conf 配置内容为安全控制可访问的地址，支持配置通配符，例如： .apig.cn-east-3.huaweicloudapis.com 如果地址访问不通，请在浏览器配置访问域名。 打开并配置squid.conf文件。 vim squid
6455，后由RFC 7936补充规范。Web IDL中的WebSocket API由W3C标准化。 WebSocket使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据。在WebSocket API中，浏览器和服务器只需要完成一次握手，两者之间就可以建立持久性的连接，并进行双向数据传输。
由于OBS管理控制台不支持对OBS的文件重命名，当您需要对OBS文件进行重命名时需要通过调用MoXing API实现，在已有的或者新创建的Notebook中，执行如下命令，通过接口对OBS中的文件进行重命名。 具体操作如下： 如下示例为将文件“obs_file.txt”重命名为“obs_file_2
进入镜像详情页。 在镜像详情页，单击右侧“发布”，在发布镜像页面编辑发布信息后，单击“发布”。 表1 发布镜像的参数说明 参数名称 说明 中文名称 镜像发布后显示的名称，在创建镜像时设置的名称，此处不可编辑。 描述 必填项，填写资产简介，镜像发布后将显示在镜像页签上，方便用户快速了解资产。
} } } } }] apis定义提供模型对外Restfull api数据定义，用于定义模型的输入、输出格式。 创建模型填写apis。在创建的模型部署服务成功后，进行预测时，会自动识别预测类型。 创建模型时不填写apis。在创建的模型部署服务成功后，进行预测，
数示例：mode=True。默认值：False。 即使在相同的硬件和输入下，API多次执行的结果也可能不同，开启确定性计算是为了保证在相同的硬件和输入下，API多次执行的结果相同。 确定性计算会导致API执行性能降低，通常不需要在精度问题刚开始定位时就开启，而是建议在发现模型多次执行结果不同的情况下时再开启。
e。 通过vLLM服务API接口启动服务 在ascend_vllm目录下通过vLLM服务API接口启动服务，具体操作命令如下，API Server的命令相关参数说明如下，可以根据参数说明修改配置。 python -m vllm.entrypoints.api_server --model
从OBS中或者从容器镜像中导入模型时，开发者需要编写模型配置文件。模型配置文件描述模型用途、模型计算框架、模型精度、推理代码依赖包以及模型对外API接口。配置文件为JSON格式。配置文件中的“dependencies”，表示配置模型推理代码需要的依赖包，需要提供依赖包名、安装方式和版本约
方式二：通过vLLM服务API接口启动服务 在llm_inference/ascend_vllm/目录下通过vLLM服务API接口启动服务，具体操作命令如下，API Server的命令相关参数说明如下，可以根据参数说明修改配置。 python -m vllm.entrypoints.api_server
进入模型详情页。 在模型详情页，单击右侧“发布”，在发布模型页面编辑发布信息后，单击“发布”。 表1 发布模型的参数说明 参数名称 说明 中文名称 模型发布后显示的名称，在创建模型时设置的名称，此处不可编辑。 任务类型 选择合适的任务类型。 许可证 必填项，根据业务需求选择合适的许可证类型。
905版本）目录中。代码目录结构如下。精度测试使用到的mmlu和ceval数据集已经提前打包在代码中。 benchmark_eval ├──apig_sdk # ma校验包 ├──cpu_npu # 检测资源消耗 ├── config │
负载均衡 告警、监控和统计 图1 VPC直连的高速访问通道示意图 约束限制 调用API访问在线服务时，对预测请求体大小和预测时间有限制： 请求体的大小不超过12MB，超过后请求会被拦截。 因APIG（API网关）限制，平台每次请求预测的时间不超过40秒。 准备工作 使用专属资源池部署在线服务，服务状态为“运行中”。
负载均衡 告警、监控和统计 图1 VPC直连的高速访问通道示意图 约束限制 调用API访问在线服务时，对预测请求体大小和预测时间有限制： 请求体的大小不超过12MB，超过后请求会被拦截。 因APIG（API网关）限制，平台每次请求预测的时间不超过40秒。 准备工作 使用专属资源池部署在线服务，服务状态为“运行中”。
服务部署完成且服务处于运行中后，可以往该服务发送推理的请求，请求的内容根据模型的不同可以是文本，图片，语音，视频等内容。 当使用调用指南页签中显示的调用地址（华为云APIG网关服务的地址）预测时，对请求体的大小限制是12MB，超过12MB时，请求会被拦截。 如果是从ModelArts console的预测页
├──start.sh #安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 父主题：
评测不单独计费，预置服务评测将消耗Token，我的服务评测将以部署计费为准。 API Key 输入API Key。调用模型服务进行评测需要使用API Key鉴权。您可以在ModelArts Studio控制台左侧导航栏的“鉴权管理”页面创建API Key。 评测配置 评测类型 默认为“自动评测”。 资源设置
方式二：通过vLLM服务API接口启动服务 在llm_inference/ascend_vllm/目录下通过vLLM服务API接口启动服务，具体操作命令如下，API Server的命令相关参数说明如下，可以根据参数说明修改配置。 python -m vllm.entrypoints.api_server
集详情页。 在数据集详情页，单击右侧“发布”，在发布数据集页面编辑发布信息后，单击“发布”。 表1 发布数据集的参数说明 参数名称 说明 中文名称 数据集发布后显示的名称，在创建数据集时设置的名称，此处不可编辑。 任务类型 选择合适的任务类型。 许可证 必填项，根据业务需求选择合适的许可证类型。
├──install.sh #安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 父主题：
├──install.sh #安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 相关文档
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
