检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在配置管理页面,添加数据源,类型选择Prometheus。
用户自定义执行权重转换参数修改说明 如果用户要自定义数据处理脚本并且单独执行,同样以 llama2 为例。
用户自定义执行权重转换参数修改说明 若用户要自定义数据处理脚本并且单独执行,同样以 llama2 为例。
表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer 数据条目偏移量。 limit 否 Integer 指定每一页返回的最大条目数,取值范围[1,100],默认为50。
用户自定义执行权重转换参数修改说明 如果用户要自定义数据处理脚本并且单独执行,同样以 llama2 为例。
用户自定义执行权重转换参数修改说明 若用户要自定义数据处理脚本并且单独执行,同样以 llama2 为例。
用户自定义执行权重转换参数修改说明 如果用户要自定义数据处理脚本并且单独执行,同样以 llama2 为例。
用户自定义执行权重转换参数修改说明 如果用户要自定义数据处理脚本并且单独执行,同样以 llama2 为例。
--dtype:模型推理的数据类型。支持FP16和BF16数据类型推理。float16表示FP16,bfloat16表示BF16。 --tensor-parallel-size:模型并行数。取值需要和启动的NPU卡数保持一致,可以参考1。此处举例为1,表示使用单卡启动服务。
响应参数 状态码:200 表4 响应Body参数 参数 参数类型 描述 models Array of ModelListItem objects 模型元数据信息。 total_count Integer 不分页的情况下符合查询条件的总模型数量。
仅支持FP16和BF16数据类型推理。 适配的CANN版本是cann_8.0.rc2,驱动版本是23.0.5。 本案例仅支持在专属资源池上运行。 支持的模型列表 本方案支持的模型列表、对应的开源权重获取地址如表1所示。
其中环境变量详细介绍如下: 如果用户要自定义数据处理脚本并且单独执行,同样以 llama2 为例。
其中环境变量详细介绍如下: 如果用户要自定义数据处理脚本并且单独执行,同样以 llama2 为例。
其中环境变量详细介绍如下: 若用户要自定义数据处理脚本并且单独执行,同样以 llama2 为例。
其中环境变量详细介绍如下: 如果用户要自定义数据处理脚本并且单独执行,同样以 llama2 为例。
其中环境变量详细介绍如下: 如果用户要自定义数据处理脚本并且单独执行,同样以 llama2 为例。
若没有授权,ModelArts服务的数据管理、训练管理、开发环境、在线服务等功能将不能正常使用。 调用查看授权列表接口查看用户的授权信息。 在管理用户授权时,可以调用删除授权接口删除指定用户的授权或者删除全量用户的授权。
其中环境变量详细介绍如下: 如果用户要自定义数据处理脚本并且单独执行,同样以 llama2 为例。
使用PyCharm上传数据至Notebook 前提条件 本地已安装2019.2-2023.2之间(包含2019.2和2023.2)版本的PyCharm专业版。SSH远程开发功能只限PyCharm专业版。单击PyCharm工具下载地址下载并完成安装。
--conf TEXT Arbitrary Spark configuration property (eg. <PROP=VALUE>).