检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
device_map="auto", quantization_config=gptq_config) 您还可以使用save_pretrain()方法在本地保存您的量化模型。如果模型是用device_map参数量化的，请确保在保存之前将整个模型移动到GPU或CPU。例如，要将模型保存在CPU上。
device_map="auto", quantization_config=gptq_config) 您还可以使用save_pretrain()方法在本地保存您的量化模型。如果模型是用device_map参数量化的，请确保在保存之前将整个模型移动到GPU或CPU。例如，要将模型保存在CPU上。
登录OBS管理控制台，在ModelArts同一区域内创建桶。如果已存在可用的桶，需确保OBS桶与ModelArts在同一区域。 参考上传文件，将本地数据上传至OBS桶中。如果您的数据较多，推荐OBS Browser+上传数据或上传文件夹。上传的数据需满足此类型自动学习项目的数据集要求。
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 表3 请求Body参数 参数 是否必选 参数类型
登录ModelArts控制台，左侧菜单选择“AI应用管理 > AI应用”； 单击“创建”，进入创建AI应用界面，元模型选择“从容器镜像中选择”，选择自定义镜像； 配置“容器调用接口”和端口号，端口号与模型配置文件中的端口保持一致； 图1 修改端口号 设置完成后，单击“立即创建”，等待AI应用状态变为“正常”； 重新部署在线服务。
情况。具体请参见训练资源监控章节。 在线服务：用户将模型部署为在线服务后，可以通过监控功能查看CPU、内存、GPU等资源使用统计信息和模型调用次数统计，具体参见查看服务详情章节。 父主题： ModelArts Standard资源监控
odelArts自动学习页面中，添加或删除数据。 添加文件 在“未标注”页签下，可单击页面左上角的“添加数据”，您可以在弹出对话框中，选择本地文件上传。 上传文件格式需满足文本分类型的数据集要求。 删除文本对象 在“已标注”页签或“未标注”页签下，选中需要删除的文本对象，单击页面
is_success Boolean 请求是否成功。 error_message String 调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码，具体请参见错误码。调用成功时无此字段。 job_id Long 训练作业的ID。 job_name String
个local_ranktable_host.json文件用于确定服务入口实例。 ./save_dir 生成ranktable文件如下（假设本地主机ip为10.**.**.18）。 global_ranktable_10.**.**.18.json # global rank_table
也可以放到OBS并行文件系统中。 Summary数据上传到Notebook路径/home/ma-user/work/下的方式，请参见上传本地文件至JupyterLab。 Summary数据如果是通过OBS并行文件系统挂载到Notebook中，请将模型训练时产生的Summary文
登录OBS管理控制台，在ModelArts同一区域内创建桶。如果已存在可用的桶，需确保OBS桶与ModelArts在同一区域。 参考上传文件，将本地数据上传至OBS桶中。如果您的数据较多，推荐OBS Browser+上传数据或上传文件夹。上传的数据需满足此类型自动学习项目的数据集要求。
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 表3 请求Body参数 参数 是否必选 参数类型
add命令。在左下方输入本次提交的Message，单击“Commit”，相当于执行了git commit命令。 图8 提交修改内容 此时，可以在“History”页签下看到本地提交已成功。 图9 查看是否提交成功 单击“push”按钮，相当于执行git push命令，即可提交代码到GitHub仓库中。提交成功后会提示“Successfully
T_S=600 # PYTORCH_NPU_ALLOC_CONF优先设置为expandable_segments:True # 如果有涉及虚拟显存相关的报错，可设置为expandable_segments:False export PYTORCH_NPU_ALLOC_CONF=e
Integer 部署进度，当状态是deploying时，返回。 invocation_times Number 服务的总调用次数。 failed_times Number 服务调用失败次数。 is_shared Boolean 是否是订阅的服务。 shared_count Number 订阅的服务数。
入“修改服务”页面。 在选择模型及配置中，单击“增加模型版本进行灰度发布”添加新版本。 图1 灰度发布 您可以设置两个版本的流量占比，服务调用请求根据该比例分配。其他设置可参考参数说明。完成设置后，单击下一步。 确认信息无误后，单击“提交”部署在线服务。 父主题： 在线服务
T_S=600 # PYTORCH_NPU_ALLOC_CONF优先设置为expandable_segments:True # 如果有涉及虚拟显存相关的报错，可设置为expandable_segments:False export PYTORCH_NPU_ALLOC_CONF=e
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 响应参数 无 请求示例 如下删除服务ID为xxxxxx的模型服务为例。
常用操作指导可参见JupyterLab操作指导：JupyterLab常用功能介绍。 由于CodeLab的存储为系统默认路径，在使用“上传文件”或“下载文件至本地”时，只能使用JupyterLab页面提供的功能。 如需使用大文件上传和下载的功能，建议您前往Notebook，创建一个收费的实例进行使用。
a-user/modelarts/log/”目录下的“*.log”文件将会被自动上传至ModelArts训练作业的日志目录（OBS）。如果本地相应目录没有生成大小>0的日志文件，则对应的父级目录也不会上传。因此，PyTorch NPU的plog日志是按worker存储的，而不是按rank
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
