检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
model:/home/mind/model custom_engine:v1 该指令无法完全模拟线上，主要是由于-v挂载进去的目录是root权限。在线上，模型文件从OBS下载到/home/mind/model目录之后，文件owner将统一修改为ma-user。 在本地机器上启动另一个终端
D不匹配的情况。 如果上述方法还出现了错误，可以去notebook里面调试打印CUDA_VISIBLE_DEVICES变量，或者用以下代码测试，查看结果是否返回的是True。 import torch torch.cuda.is_available() 建议与总结 在创建训练作业
侧展开版本列表，当订阅模型的版本列表的状态显示为“就绪”时表示模型可以使用。 图1 进入“我的订阅” 在展开的版本列表中，单击“部署 > 在线服务”跳转至部署页面。 图2 部署模型 如果您选择部署的是商用模型，则选择服务类型后会弹出“修改配额”窗口，根据需要选择配额后单击“确定”即可跳转至“部署”页面。
查项出现故障时，隔离故障硬件并重新下发训练作业。针对于分布式场景，容错检查会检查本次训练作业的全部计算节点。 推理部署故障恢复 用户部署的在线推理服务运行过程中，如发生硬件故障导致推理实例故障，ModelArts会自动检测到并迁移受影响实例到其它可用节点，实例启动后恢复推理请求处
(Press CTRL+C to quit) Step7 推理请求 使用命令测试推理服务是否正常启动。服务启动命令中的参数设置请参见表1。 方式一：通过OpenAI服务API接口启动服务使用以下推理测试命令。${docker_ip}替换为实际宿主机的IP地址。${containe
model:/home/mind/model custom_engine:v1 该指令无法完全模拟线上，主要是由于-v挂载进去的目录是root权限。在线上，模型文件从OBS下载到/home/mind/model目录之后，文件owner将统一修改为ma-user。 在本地机器上启动另一个终端
SampleLabels objects 视频在线服务推理结果。 service_id String 在线服务ID。 service_name String 在线服务名称。 service_resource String 用户绑定的在线服务资源ID。 total_sample_count
总览Workflow 获取Workflow统计信息。 查询Workflow待办事项 获取Workflow待办列表。 在线服务鉴权 计费工作流在线主服务鉴权。 创建在线服务包 计费工作流购买资源。 表2 WorkflowExecution API 说明 获取Execution列表 查询Workflow下的执行记录列表。
--quantization-param-path kv_cache_scales.json #输入2. 抽取kv-cache量化系数生成的json文件路径; 如果只测试推理功能和性能，不需要此json文件，此时scale系数默认为1，但是可能会造成精度下降。 per-tensor+per-head静态量化场景
息进行升级。 约束限制 服务升级关系着业务实现，不当的升级操作会导致升级期间业务中断的情况，请谨慎操作。 ModelArts支持部分场景下在线服务进行无损滚动升级。按要求进行升级前准备，做好验证，即可实现业务不中断的无损升级。 表1 支持无损滚动升级的场景 创建模型的元模型来源 服务使用的是公共资源池
Diffusion WebUI如何...。 AI推理应用运行在昇腾设备上一般有两种方式： 方式1：通过Ascend PyTorch，后端执行推理，又称在线推理。 方式2：通过模型静态转换后，执行推理，又称离线推理。 通常为了获取更好的推理性能，推荐使用方式2的离线推理。下文将以Diffusers
查看日志、错误等，并进行代码、环境变量的修正。 预置脚本测试整体流程 一般使用run.sh封装训练外的文件复制工作（数据、代码：OBS-->容器，输出结果：容器-->OBS），run.sh的构建方法参考run.sh脚本测试ModelArts训练整体流程。 如果预置脚本调用结果不符
作业”页面，检查是否有“运行中”的训练作业。如果有，单击该作业列表右方操作下的“停止”即可停止计费。 进入“ModelArts>部署上线>在线服务”页面，检查是否有“运行中”的推理作业。如果有，单击该作业列表右方操作下的“停止”即可停止计费。 进入“ModelArts>部署上线>
rk目录下，该目录下的内容在实例停止后会被保留。可以自定义磁盘空间，如果需要存储数据集、模型等大型文件，建议申请规格300GB+。存储支持在线按需扩容。 图2 自定义存储配置 使用Notebook将OBS数据导入云硬盘EVS 打开已创建的Notebook实例，选择Notebook的python-3
置、上传对象、获取对象、删除对象、获取对象ACL等对象基本操作权限。 配置IAM权限 配置ModelArts委托权限 配置SWR组织权限 测试用户权限 父主题： 基本配置
ebook实例。 训练作业：训练作业运行时会收取费用，使用完请及时停止训练作业。同时，也需清理存储到OBS中的数据。 部署上线：模型部署为在线服务、边缘服务时，会收取费用，使用完请及时停止服务。同时，也需清理存储到OBS中的数据。 专属资源池：在使用ModelArts进行AI全流
Gallery工具链服务创建成功且实际开始运行时，才会上报话单并开始计费，其他状态不上报就不计费，各个服务开始计费的状态如下。 微调大师：“训练中” AI应用：“运行中” 在线推理服务：“运行中” 计费规则 资源整点扣费，按需计费。 计费的最小单位为秒，话单上报后的每一小时对用户账号进行一次扣费。如果使用过程中暂停、终止了消耗资源的AI
不同Region支持的AI引擎不一样，请以控制台实际界面为准。 亮点特性4：提供在线的交互式开发调试工具JupyterLab ModelArts集成了基于开源的JupyterLab，可为您提供在线的交互式开发调试。您无需关注安装配置，在ModelArts管理控制台直接使用Not
String 服务ID。 表2 Query参数 参数 是否必选 参数类型 描述 update_time 否 Number 待过滤的更新时间，查询在线服务更新日志可使用，可准确过滤出某次更新任务；默认不过滤。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
(Press CTRL+C to quit) Step7 推理请求 使用命令测试推理服务是否正常启动。服务启动命令中的参数设置请参见表1。 方式一：通过OpenAI服务API接口启动服务使用以下推理测试命令。${docker_ip}替换为实际宿主机的IP地址。${containe
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
