检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该接口支持管理员给IAM子用户设置委托，支持设置当前用户的访问密钥。 若没有授权，ModelArts服务的数据管理、训练管理、开发环境、在线服务等功能将不能正常使用。 调用查看授权列表接口查看用户的授权信息。 在管理用户授权时，可以调用删除授权接口删除指定用户的授权或者删除全量用户的授权。
节点规格选项。 计算节点个数 默认为1。您可以根据您的实际情况选择，最大为5。 针对“物体检测”类型的标注作业，选择“主动学习”时，只支持识别和标注矩形框。 图1 启动智能标注（图像分类） 图2 启动智能标注（物体检测） 图3 启动智能标注（预标注） 完成参数设置后，单击“提交”，即可启动智能标注。
SSH：镜像支持本地IDE通过SSH协议远程连接Notebook。 id String 待创建Notebook实例的镜像，需要指定镜像ID，ID格式为通用唯一识别码（Universally Unique Identifier，简称UUID）。预置镜像的ID参考查询支持的镜像列表获取。 name String
String 内置属性：标签级别难例原因。通过中划线间隔单个难例原因ID，例如：“3-20-21-19”。难例原因ID可选值如下： 0：未识别出任何目标物体。 1：置信度偏低。 2：基于训练数据集的聚类结果和预测结果不一致。 3：预测结果和训练集同类别数据差异较大。 4：连续多张相似图片的预测结果不一致。
String 内置属性：标签级别难例原因。通过中划线间隔单个难例原因ID，例如：“3-20-21-19”。难例原因ID可选值如下： 0：未识别出任何目标物体。 1：置信度偏低。 2：基于训练数据集的聚类结果和预测结果不一致。 3：预测结果和训练集同类别数据差异较大。 4：连续多张相似图片的预测结果不一致。
Step3 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：
Step3 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：
平均可以生成3个有效token，即用1.5倍的时间代价，生成了3倍的token数量，性能提升了100%。 投机推理参数设置 在启动离线或在线推理服务时参考表1所示配置参数，使用投机推理功能。 表1 投机推理相关参数 服务启动方式 配置项 取值类型 配置说明 offline speculative_model
Step3 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：
String 内置属性：标签级别难例原因。通过中划线间隔单个难例原因ID，例如：“3-20-21-19”。难例原因ID可选值如下： 0：未识别出任何目标物体。 1：置信度偏低。 2：基于训练数据集的聚类结果和预测结果不一致。 3：预测结果和训练集同类别数据差异较大。 4：连续多张相似图片的预测结果不一致。
业务场景 依赖的服务 委托授权项 说明 在线服务 LTS lts:groups:create lts:groups:list lts:topics:create lts:topics:delete lts:topics:list 建议配置，在线服务配置LTS日志上报。 批量服务 OBS
常量折叠是编译器优化中的通用技术之一，在编译节点简化常量表达。通过多数的现代编译器不会真的产生两个乘法的指令再将结果存储下来，取而代之的是会识别出语句的结构，并在编译时期将数值计算出来而不是运行时去计算（在本例子，结果为2,048,000）。 i = 320 * 200 * 32;
用户项目ID。获取方法请参见获取项目ID和名称。 service_id 是 String 服务ID，如需批量删除多个服务，则将多个service_id使用英文半角逗号拼接。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户To
String 内置属性：标签级别难例原因。通过中划线间隔单个难例原因ID，例如：“3-20-21-19”。难例原因ID可选值如下： 0：未识别出任何目标物体。 1：置信度偏低。 2：基于训练数据集的聚类结果和预测结果不一致。 3：预测结果和训练集同类别数据差异较大。 4：连续多张相似图片的预测结果不一致。
框中，填写文件夹“名称”，单击“确定”完成创建，选择创建的文件夹。 文件夹名称不能包含以下字符 : \/:*?"<>|。 文件夹名称不能以英文句号（.）或斜杠（/）开头或结尾。 文件夹的绝对路径总长度不能超过1023字符。 任何单个斜杠（/）表示分隔并创建多层级的文件夹。 图2 新建文件夹
框中，填写文件夹“名称”，单击“确定”完成创建，选择创建的文件夹。 文件夹名称不能包含以下字符 : \/:*?"<>|。 文件夹名称不能以英文句号（.）或斜杠（/）开头或结尾。 文件夹的绝对路径总长度不能超过1023字符。 任何单个斜杠（/）表示分隔并创建多层级的文件夹。 图2 新建文件夹
SSH：镜像支持本地IDE通过SSH协议远程连接Notebook。 id String 待创建Notebook实例的镜像，需要指定镜像ID，ID格式为通用唯一识别码（Universally Unique Identifier，简称UUID）。预置镜像的ID参考查询支持的镜像列表获取。 name String
String 内置属性：标签级别难例原因。通过中划线间隔单个难例原因ID，例如：“3-20-21-19”。难例原因ID可选值如下： 0：未识别出任何目标物体。 1：置信度偏低。 2：基于训练数据集的聚类结果和预测结果不一致。 3：预测结果和训练集同类别数据差异较大。 4：连续多张相似图片的预测结果不一致。
越大，生成文本的多样性就越高。 1 top_k 选择在模型的输出结果中选择概率最高的前K个结果。 20 在对话框中输入问题，查看返回结果，在线体验对话问答。 图7 体验模型服务 后续操作 如果不再需要使用此模型服务，建议清除相关资源，避免产生不必要的费用。 在MaaS服务的“模型
若需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何创建AI应用，部署模型并启动推理服务，在线预测服务。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.907）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
