检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不计费。 如果运行Notebook实例时,使用公共资源池进行模型训练和推理,计算资源需收费。 存储资源费用:数据存储到对象存储OBS、云硬盘EVS、弹性文件服务SFS中的计费。 表1 计费项 计费项 计费项说明 适用的计费模式 计费公式 计算资源 公共资源池 使用计算资源的用量。
# 微调数据文件 方式二:通过OBS Browser+将数据上传至OBS,最后在ECS中使用obsutil工具将OBS数据下载至SFS Turbo中。具体步骤如下: 在创建OBS桶创建的桶下创建文件夹用以存放数据,例如在桶standard-ll
如果不再使用ModelArts,需要停止/删除ModelArts中运行的服务;删除在OBS中存储的数据;删除在EVS中存储的数据。 清理存储数据 由于ModelArts的数据存储在OBS中,请前往OBS服务删除对应数据和目录,停止计费。 清理资源 请检查在ModelArts所创建
一个桶的文件,导致OBS桶限流。 OBS Client连接数过多,进程/线程之间的轮询,导致一个OBS Client与服务端连接30S内无响应,超过超时时间,服务端断开了连接。 处理方法 如果是限流问题,日志中还会出现如下报错,OBS相关的错误码解释请参见OBS官方文档,这种情况建议提工单。
CommonOperations权限建议二选一。 OBS对象存储服务 授予子用户使用OBS服务的权限。ModelArts的数据管理、开发环境、训练作业、模型推理部署均需要通过OBS进行数据中转。 OBS OperateAccess 必选 SWR容器镜像仓库 授予子用户使用SWR服务权限。ModelArts的自定义镜像功能依赖镜像服务SWR
quit) Step4 请求推理服务 另外启动一个terminal,使用命令测试推理服务是否正常启动,端口请修改为启动服务时指定的端口。 使用命令测试推理服务是否正常启动。服务启动命令中的参数设置请参见表1。 方式一:通过OpenAI服务API接口启动服务使用以下推理测试命令。${d
参数类型 描述 input 是 String 模板输入路径,可以是obs文件路径,obs目录路径,使用多输入项的模板创建模型时,如果模板定义的目标路径input_properties是一样的,则此处输入的obs目录或者obs文件不能重名,否则会覆盖。 input_id 是 String
quit) Step4 请求推理服务 另外启动一个terminal,使用命令测试推理服务是否正常启动,端口请修改为启动服务时指定的端口。 使用命令测试推理服务是否正常启动。服务启动命令中的参数设置请参见表1。 方式一:通过OpenAI服务API接口启动服务使用以下推理测试命令。${d
用OBS SDK进行调用,使用OBS存储您的数据。 OBS提供了多种语言SDK供选择,开发者可根据使用习惯下载OBS SDK进行调用。使用OBS SDK前,需下载OBS SDK包,然后在本地开发环境中安装使用。 详细指导 :《OBS SDK参考》 MoXing MoXing是Mo
remote object 数据实际输入信息,异构作业只支持OBS。 表28 remote 参数 参数类型 描述 obs obs object 数据输入输出信息为OBS方式。 表29 obs 参数 参数类型 描述 obs_url String 训练作业需要的数据集OBS路径URL。如:“/usr/data/”。
remote object 数据实际输入信息,异构作业只支持OBS。 表28 remote 参数 参数类型 描述 obs obs object 数据输入输出信息为OBS方式。 表29 obs 参数 参数类型 描述 obs_url String 训练作业需要的数据集OBS路径URL。如:“/usr/data/”。
选择代码存储方式。 “对象OBS存储”:如果训练代码存放在OBS中,则选择“对象OBS存储”。 “文件存储”:如果训练代码存放在文件存储中,则选择“文件存储”。如果不可见,则表示不支持文件存储。 代码目录 仅当“代码来源”选择“对象OBS存储”时才显示该参数。 选择训练代码文件所在的OBS目录。
导入路径 选择需要导入数据的OBS路径,此位置会作为数据集的数据存储路径。 说明: “导入路径”不支持OBS并行文件系统下的路径,请选择OBS对象桶。 创建数据集时,此OBS路径下的数据会导入数据集,后续如果直接在OBS中修改数据,会造成数据集的数据与OBS的数据不一致,可能导致部分
C9D0 retry:0 原因分析 出现该问题的可能原因如下: OBS服务的权限出现问题,导致无法正常读取数据 处理方法 请检查OBS权限配置,如未解决问题可参考OBS文档的已配置OBS权限,仍然无法访问OBS(403 AccessDenied)。 建议与总结 在创建训练作业前
ModelArts.3551:到obs检查输入数据目录是否存在,如果不存在,请按照实际需要创建obs目录;如果检查发现目录存在,但依然报同样的错,可以提工单申请技术支持 ModelArts.3567:用户只能访问自己账号下的obs目录,ModelArts在读取其他用户obs下的数据时,需要用户
OBS操作相关故障 读取文件报错,如何正确读取文件 TensorFlow-1.8作业连接OBS时反复出现提示错误 TensorFlow在OBS写入TensorBoard到达5GB时停止 保存模型时出现Unable to connect to endpoint错误 OBS复制过程中提示“BrokenPipeError:
endpoint: obs.xxxx.com” 问题现象 训练作业中使用Tensorboard直接写入到OBS路径,在日志中出现报错信息“ValueError: Invalid endpoint: obs. xxxx.com”。 原因分析 出现该问题的可能原因: 直接在OBS上写tensorboard文件,存在不稳定的风险。
业或在线服务,都已经处于停止状态,即总览页面没看到收费项目,仍然发现账号还在计费。 有以下几种可能情况: 因为您在使用ModelArts过程中,将数据上传至OBS进行存储,OBS会根据实际存储的数据进行计费。建议前往OBS管理控制台,清理您不再使用的数据、文件夹以及OBS桶,避免产生不必要的费用。
议设置为40分钟。此处仅介绍关键参数,更多详细参数解释请参见部署在线服务。 图3 部署在线服务-专属资源池 单击“下一步”,再单击“提交”,开始部署服务,待服务状态显示“正常”服务部署完成。 注:若部署在线服务出现报错starting container process caused
数,更多详细参数解释请参见部署在线服务。 图3 部署在线服务-专属资源池 单击“下一步”,再单击“提交”,开始部署服务,待服务状态显示“正常”服务部署完成。 Step4 调用在线服务 进入在线服务详情页面,选择“预测”。 若以vllm接口启动服务,设置请求路径:“/generat