检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
统目录。系统目录仅支持系统功能基本运行,无法支持大数据存储。 部分训练任务会在训练过程中生成checkpoint文件,并进行更新。如更新过程中,未删除历史的checkpoint文件,会导致/cache目录逐步被用完。 实际存储空间足够,却依旧报错“No Space left on
cann_版本号 >]-<py_版本号>-<操作系统名称_版本号>-< x86_64 | aarch64> 表4 训练作业支持的AI引擎 工作环境 系统架构 系统版本 AI引擎与版本 支持的cuda或Ascend版本 TensorFlow x86_64 Ubuntu18.04 tensorflow_2
Lite的DevServer环境中部署ComfyUI,使用NPU卡进行推理。 方案概览 本方案介绍了在ModelArts的DevServer上使用昇腾计算资源部署ComfyUI用于推理的详细过程。完成本方案的部署,需要先联系您所在企业的华为方技术支持购买DevServer资源。 本方案目前仅适用于企业客户。
uri String 实例私有IP地址。 表6 ServerImageResponse 参数 参数类型 描述 arch String 服务器镜像架构类型。 ARM X86 image_id String 服务器镜像ID。 name String 服务器镜像名称。 server_type
大小限制。 前提条件 请确保训练作业已运行成功,且模型已存储至训练输出的OBS目录下(输入参数为train_url)。 针对使用常用框架或自定义镜像创建的训练作业,需根据模型包结构介绍,将推理代码和配置文件上传至模型的存储目录中。 确保您使用的OBS目录与ModelArts在同一区域。
使用JupyterLab在线开发和调试代码 JupyterLab是一个交互式的开发环境,可以使用它编写Notebook、操作终端、编辑MarkDown文本、打开交互模式、查看csv文件及图片等功能。可以说,JupyterLab是开发者们下一阶段更主流的开发环境。 ModelArt
Turbo,以便能够通过Notebook访问SFS Turbo服务。随后,通过Notebook将OBS中的数据上传至SFS Turbo,并对存储在SFS Turbo中的数据执行编辑操作。 创建Notebook 创建开发环境Notebook实例,具体操作步骤请参考创建Notebook实例。
您可以通过保存镜像的方式保留开发环境设置,具体操作请参考保存Notebook实例。 Notebook实例将停止计费,但如有EVS盘挂载,存储部分仍会继续计费。 删除实例 针对不再使用的Notebook实例,可以删除以释放资源。 登录ModelArts管理控制台,在左侧菜单栏中选
在控制台左侧导航栏的服务列表,选择“对象存储服务OBS”,进入OBS服务详情页面。 在左侧导航栏选择“桶列表”,在列表详情,找到自己创建的OBS桶,进入OBS桶详情。 在桶的详情页,左侧导航栏选择“对象”,在右侧“名称”列选中不需要的存储对象,单击上方的“删除”或者在操作列单击“
基于已标注的数据创建数据集,并自动导入标注信息 基于未标注数据创建数据集 数据准备:存储在OBS文件夹中的未标注的数据。 from modelarts import workflow as wf # 通过CreateDatasetStep将存储在OBS中的数据创建成一个新版数据集 # 定义数据集输出路径参数
“/”根目录,是docker中配置项“base size”,默认是10G,云上统一改为50G。 “/cache”目录满了,一般是3.5T存储空间满了,具体规格的空间大小可参见训练环境中不同规格资源“/cache”目录的大小。 处理方法 如果在训练作业的工作目录下有core文件生
因此EVS系统盘将不支持扩容,并显示信息:“当前订单已到期,无法进行扩容操作,请续订”。 中 切换或者重置操作系统后,建议通过挂载数据盘EVS或挂载SFS盘等方式进行存储扩容。 父主题: Lite Server使用前必读
ModelArts CLI命令功能介绍 功能介绍 ModelArts CLI,即ModelArts命令行工具,是一个跨平台命令行工具,用于连接ModelArts服务并在ModelArts资源上执行管理命令。用户可以使用交互式命令行提示符或脚本通过终端执行命令。为了方便理解,下面将ModelArts
volumes属性列表 参数 参数类型 说明 nfs Object 共享文件系统类型的存储卷。仅支持运行于已联通共享文件系统网络的资源池的训练作业。具体请参见表6。 host_path Object 主机文件系统类型的存储卷。仅支持运行于专属资源池中的训练作业。具体请参见表7。 表6 nfs属性列表
检查浏览器是否安装了过滤广告组件,如果是,请关闭该组件。 报错404 如果是IAM用户在创建实例时出现此错误,表示此IAM用户不具备对应存储位置(OBS桶)的操作权限。 解决方法: 使用账号登录OBS,并将对应OBS桶的访问权限授予该IAM用户。详细操作指导请参见:被授权用户。
推理专属预置镜像列表 ModelArts的推理平台提供了一系列的基础镜像,用户可以基于这些基础镜像构建自定义镜像,用于部署推理服务。 X86架构(CPU/GPU)的推理基础镜像 表1 TensorFlow AI引擎版本 支持的运行环境 镜像名称 URI 2.1.0 CPU GPU(cuda10
容器引擎选择Containerd。 图1 购买Lite专属池 k8s Cluster资源配置 若已完成集群资源购买和开通,则需要对网络、存储、容器镜像等内容进行配置。请参考k8s Cluster环境配置详细流程。 kubectl访问集群配置 本步骤需要在节点机器,对kubectl进行集群访问配置。
规格的英文描述。 display_cn String 规格的中文描述。 表6 CpuInfo 参数 参数类型 描述 arch String 架构类型。 cpu Number CPU核心数。 表7 MemoryInfo 参数 参数类型 描述 unit String 单位。 memory
检查浏览器是否安装了过滤广告组件,如果是,请关闭该组件。 报错404 如果是IAM用户在创建实例时出现此错误,表示此IAM用户不具备对应存储位置(OBS桶)的操作权限。 解决方法: 使用账号登录OBS,并将对应OBS桶的访问权限授予该IAM用户。详细操作指导请参见:被授权用户。
“spec”字段下的“flavor_id”表示训练作业所依赖的规格,使用2记录的flavor_id。“node_count”表示训练是否需要多机训练(分布式训练),此处为单机情况使用默认值“1”。“log_export_path”用于指定用户需要上传日志的obs目录。 返回状态码“201 Cr