检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Cluster存储 如果没有挂载任何外部存储,此时可用存储空间根据dockerBaseSize的配置来决定,可访问的存储空间比较小,因此建议通过挂载外部存储空间解决存储空间受限问题。 容器中挂载存储有多种方式,不同的场景下推荐的存储方式不一样,详情如表1所示。容器存储的基础知识了解
创建OBS桶用于ModelArts存储数据 由于ModelArts本身没有数据存储的功能,ModelArts使用对象存储服务(Object Storage Service,简称OBS)进行数据存储以及模型的备份和快照,实现安全、高可靠和低成本的存储需求。 AI开发过程中的输入数据、
从OBS导入数据到数据集场景介绍 导入方式 OBS导入数据方式分为“OBS目录”和“Manifest文件”两种。 OBS目录:指需要导入的数据集已提前存储至OBS目录中。此时需选择用户具备权限的OBS路径,且OBS路径内的目录结构需满足规范,详细规范请参见从OBS目录导入数据规范
服务实例只能调度到指定节点,指定节点不存在则失败。preferred表示弱亲和,服务实例倾向于调度到指定节点,指定节点不满足调度条件,则会调度到其他节点。 pool_infos 否 Array of AffinityPoolInfo objects 配置亲和策略到指定的集群,并指定集群的节点。
Notebook中的EVS存储可以使用套餐包吗? 无法使用套餐包。 父主题: 计费相关
ECS服务器挂载SFS Turbo存储 本小节介绍如何在ECS服务器挂载SFS Turbo存储,挂载完成后可在后续步骤中,将训练所需的数据通过ECS上传至SFS Turbo。 前提条件 已创建SFS Turbo,如果未创建,请参考创建文件系统。 数据及算法已经上传至OBS,如果未
JupyterLab默认工作路径是什么? 带OBS存储的Notebook实例 JupyterLab文件默认存储路径,为创建Notebook时指定的OBS路径。 在文件列表的所有文件读写操作都是基于所选择的OBS路径下的内容操作的,跟当前实例空间没有关系。如果用户需要将内容同步到实例空间,需使用JupyterLab上传下载功能。
参数") float类型参数 from modelarts import workflow as wf wf.Placeholder(name="placeholder_float", placeholder_type=wf.PlaceholderType.FLOAT, default=0
参数 参数类型 描述 service_id String 服务ID。 service_name String 服务名称。 logs log结构数组 服务的更新记录。 表2 log结构 参数 参数类型 描述 update_time Long 更新时间,距'1970.1.1 0:0:0 UTC'的毫秒数。
发布Workflow到ModelArts 发布Workflow到ModelArts有两种方式,这两种方式的区别在发布Workflow至运行态后,需要在Workflow页面配置输入输出等参数;而发布Workflow至运行态并运行通过对代码进行改造,用户直接在SDK侧发布并运行工作流,节省了前往控制台进行配置运行的操作。
rename('obs://bucket_name/obs_file.txt', 'obs://bucket_name/obs_file_2.txt') 父主题: 数据存储
托管模型到AI Gallery AI Gallery上每个资产的文件都会存储在线上的AI Gallery存储库(简称AI Gallery仓库)里面。每一个模型实例视作一个资产仓库,模型实例与资产仓库之间是一一对应的关系。例如,模型名称为“Test”,则AI Gallery仓库有个
在“导入”对话框中,参考如下说明填写参数,然后单击“确定”。 “数据来源”:“本地上传” “上传数据存储路径”:数据存储的OBS路径。 “上传数据”:单击“文件上传”,上传本地的数据,单击“确定”。 图1 从本地上传数据 父主题: 导入数据到ModelArts数据集
从MRS导入数据到ModelArts数据集 ModelArts支持从MRS服务中导入存储在HDFS上的csv格式的数据,首先需要选择已有的MRS集群,并从HDFS文件列表选择文件名称或所在目录,导入文件的列数需与数据集schema一致。MRS的详细功能说明,请参考MRS用户指南。
OBS会产生费用。存储资源包括数据存储到OBS的计费。具体内容如表1所示。 表1 存储计费项 计费项 计费项说明 适用的计费模式 计费公式 存储资源 对象存储OBS 用于存储训练和推理的输入数据和输出结果数据。具体费用可参见对象存储价格详情。 注意: 存储到OBS中的数据需在O
在Notebook中,如何访问其他账号的OBS桶? 创建Notebook时选择OBS存储,这种情况下只能访问到自己账号下的桶,无法访问到其他账号的OBS桶。 如果需要在Notebook中,访问其他账号的OBS文件,前提是,需获取目标OBS桶的读写权限。 首先,请联系OBS桶的创建
Turbo文件系统进行数据挂载,训练作业产生的中间和结果等数据可以直接高速写入到SFS Turbo缓存中,并可被下游业务环节继续读取并处理,结果数据可以异步方式导出到关联的OBS对象存储中进行长期低成本存储,从而加速训练场景下加速OBS对象存储中的数据访问 ModelArts Standard模型训练
如何使用pandas库处理OBS桶中的数据? 参考下载OBS文件到Notebook中的指导,将OBS中的数据下载至Notebook本地处理。 参考pandas用户指南处理pandas数据。 父主题: 数据存储
dependency结构数组说明 参数 是否必选 参数类型 描述 installer 是 String 安装方式,当前只支持“pip”。 packages 是 package结构数组 依赖包集合,package结构数组说明如表7所示。 表7 package结构数组说明 参数 是否必选
<filename>image_0006.jpg</filename> <source> <database>Unknown</database> </source> <size> <width>230</width>