检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
按标签名称删除标签及仅包含此标签的文件 功能介绍 按标签名称删除标签及仅包含此标签的文件。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v2/{p
ModelArts”后,选择ModelArts的云服务区域(即要部署服务的云服务区),单击“确认”,跳转至ModelArts的“算法管理>我的订阅”中。 步骤3:使用订阅算法创建训练作业 算法订阅成功后,算法将呈现在“算法管理>我的订阅”中,您可以使用订阅的“ResNet_v1_50”算法创建训练作业,获得模型。
@modelarts:from_type 否 String 内置属性:三元组关系标签的起始实体类型,创建关系标签时必须指定,该参数仅文本三元组数据集使用。 @modelarts:rename_to 否 String 内置属性:重命名后的标签名。 @modelarts:shortcut 否 String
识发送方,并防止请求被修改。 使用AK/SK认证时,您可以基于签名算法使用AK/SK对请求进行签名,也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见API签名指南。 签名SDK只提供签名功能,与服务提供的SDK不同,使用时请注意。 父主题: 如何调用API
使用AppCode认证鉴权方式进行在线预测 场景描述 APPcode认证是一种简易的API调用认证方式,通过在HTTP请求头中添加参数X-Apig-AppCode来实现身份认证,无需复杂的签名过程,适合于客户端环境安全可控的场景,如内网系统之间的API调用。在ModelArts中
如何查看ModelArts的Notebook使用的cuda版本? 执行如下命令查看环境中的cuda版本。 ll /usr/local | grep cuda 举例: 图1 查看当前环境的cuda版本 如图1所示,当前环境中cuda版本为10.2 父主题: Standard Notebook
(可选)本地安装ma-cli 使用场景 本文以Windows系统为例,介绍如何在Windows环境中安装ma-cli。 Step1:安装ModelArts SDK 参考本地安装ModelArts SDK完成SDK的安装。 Step2:下载ma-cli 下载ma-cli软件包。 完成软件包签名校验。 下载软件包签名校验文件。
通过AK/SK认证的方式访问在线服务 如果在线服务的状态处于“运行中”,则表示在线服务已部署成功。部署成功的在线服务,将为用户提供一个可调用的API,此API为标准Restful API。用户可以通过AK/SK签名认证方式调用API。 使用AK/SK认证时,您可以通过APIG SDK访问,也可以通过ModelArts
@modelarts:from_type 否 String 内置属性:三元组关系标签的起始实体类型,创建关系标签时必须指定,该参数仅文本三元组数据集使用。 @modelarts:rename_to 否 String 内置属性:重命名后的标签名。 @modelarts:shortcut 否 String
获取支持的超参搜索算法 创建训练实验 创建训练作业 查询训练作业详情 更新训练作业描述 删除训练作业 终止训练作业 查询训练作业指定任务的日志(预览) 查询训练作业指定任务的日志(OBS链接) 查询训练作业指定任务的运行指标 查询训练作业列表 查询超参搜索所有trial的结果 查询超参搜索某个trial的结果
vcache的空间。不同模型推理支持的max-model-len长度不同,具体差异请参见附录:基于vLLM(v0.3.2)不同模型推理支持的max-model-len长度说明。 --gpu-memory-utilization:NPU使用的显存比例,复用原vLLM的入参名称,默认为0
--dtype:模型推理的数据类型。支持FP16和BF16数据类型推理。float16表示FP16,bfloat16表示BF16。如果不指定,则根据输入数据自动匹配数据类型。使用不同的dtype会影响模型精度。如果使用开源权重,建议不指定dtype,使用开源权重默认的dtype。 --
mpt的公共前缀较长或者多轮对话场景下推荐使用prefix-caching特性。在推理服务启动脚本中添加此参数表示使用,不添加表示不使用。 --quantization:推理量化参数。当使用量化功能,则在推理服务启动脚本中增加该参数,如果未使用量化功能,则无需配置。根据使用的量化
--dtype:模型推理的数据类型。支持FP16和BF16数据类型推理。float16表示FP16,bfloat16表示BF16。如果不指定,则根据输入数据自动匹配数据类型。使用不同的dtype会影响模型精度。如果使用开源权重,建议不指定dtype,使用开源权重默认的dtype。 --
mpt的公共前缀较长或者多轮对话场景下推荐使用prefix-caching特性。在推理服务启动脚本中添加此参数表示使用,不添加表示不使用。 --quantization:推理量化参数。当使用量化功能,则在推理服务启动脚本中增加该参数,如果未使用量化功能,则无需配置。根据使用的量化
mpt的公共前缀较长或者多轮对话场景下推荐使用prefix-caching特性。在推理服务启动脚本中添加此参数表示使用,不添加表示不使用。 --quantization:推理量化参数。当使用量化功能,则在推理服务启动脚本中增加该参数,若未使用量化功能,则无需配置。根据使用的量化方
mpt的公共前缀较长或者多轮对话场景下推荐使用prefix-caching特性。在推理服务启动脚本中添加此参数表示使用,不添加表示不使用。 --quantization:推理量化参数。当使用量化功能,则在推理服务启动脚本中增加该参数,若未使用量化功能,则无需配置。根据使用的量化方
实时推理的部署及使用流程 在创建完模型后,可以将模型部署为一个在线服务。当在线服务的状态处于“运行中”,则表示在线服务已部署成功,部署成功的在线服务,将为用户提供一个可调用的API,此API为标准Restful API。访问在线服务时,您可以根据您的业务需求,分别确认使用何种认证
在ModelArts的Notebook的CodeLab中能否使用昇腾卡进行训练? 有两种情况。 第一种,在ModelArts控制台的“总览”界面打开CodeLab,使用的是CPU或GPU资源,无法使用昇腾卡训练。 第二种,如果是AI Gallery社区的Notebook案例,使用的资源是ASCEND的,“Run
et对请求进行加密签名,可标识发送方并防止请求被修改。使用AppKey/AppSecret认证时,您需要使用专门的签名SDK对请求进行签名。 AppKey:APP访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 AppSecr