检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
nci7。 -v ${dir}:${container_work_dir} 代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的大文件系统,dir为宿主机中文件目录,${container_work_dir}为要挂载到的容器中的目录。为方便两个地址可以相同。 容器不能挂载到/
无 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 apiVersion String 资源版本。可选值如下: os.modelarts.xxxxx/v2 kind String 资源类型。可选值如下: PoolMetricsList items Array
径。 检查使用的资源是否为CPU,CPU的“/cache”与代码目录共用10G,可能是空间不足导致,可在代码中使用如下命令查看磁盘大小。 os.system('df -hT') 磁盘空间满足,请执行5。 磁盘空间不足,请您使用GPU资源。 如果是在Notebook使用MoXing
SD1.5基于DevServer适配PyTorch NPU Finetune训练指导(6.3.904) Stable Diffusion(简称SD)是一种基于Latent Diffusion(潜在扩散)模型,应用于文生图场景。对于输入的文字,它将会通过一个文本编码器将其转换为文本
准备代码 本教程中用到的模型软件包如下表所示,请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6.3.908-xxx.zip 说明: 软件包名称中的xxx表示时间戳。
准备代码 本教程中用到的模型软件包如下表所示,请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6.3.909-xxx.zip 说明: 软件包名称中的xxx表示时间戳。
准备代码 本教程中用到的模型软件包如下表所示,请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6.3.909-xxx.zip 说明: 软件包名称中的xxx表示时间戳。
def get_rank_table(): rank_table_file_path = os.getenv("RANK_TABLE_FILE") env_ip = os.getenv("ip") # Lite Cluster中的RANK_TABLE_FILE实际名称为
def get_rank_table(): rank_table_file_path = os.getenv("RANK_TABLE_FILE") env_ip = os.getenv("ip") # Lite Cluster中的RANK_TABLE_FILE实际名称为
根据版本切分比例筛选数据集。例如:“0.0,1.0”,根据逗号分隔最小和最大切分比例,筛选出切分比例在此范围内的版本。说明:如果参数值为空或无该参数,系统默认不根据版本切分比例筛选数据集。 version_format 否 Integer 根据数据集发布的版本格式筛选数据集,过滤出包含符合筛选条件的数据集列表。可选值如下:
dataset = create_dataset() loss_cb = LossMonitor() cb = [loss_cb] if int(os.getenv('RANK_ID')) == 0: batch_num = dataset.get_dataset_size() # 开启优雅退出保存
根据版本切分比例筛选版本。根据逗号分隔最小和最大切分比例,筛选出切分比例在此范围内的版本,例如:“0.0,1.0”。说明:如果参数值为空或无该参数,系统默认不根据版本切分比例筛选数据集。 version_format 否 Integer 数据集版本格式。可选值如下: 0:默认格式 1:Carbon格式(仅表格数据集支持)
cn-southwest-2.myhuaweicloud.com/os-public-repo/bert_pretrain_mindspore:v1 docker tag swr.cn-southwest-2.myhuaweicloud.com/os-public-repo/bert_pretrain_mindspore:v1
ResourceFlavorLabel object 资源规格的标签信息。 表7 ResourceFlavorLabel 参数 参数类型 描述 os.modelarts/scope String 资源规格对应的作业类型。 表8 ResourceFlavorSpec 参数 参数类型 描述
重要 排查是否符合业务资源使用预期,如果业务无问题,无须处理。 CPU IO等待时间 ma_node_cpu_iowait_counter 从系统启动开始累计到当前时刻,硬盘IO等待时间 jiffies ≥0 NA NA NA 内存 物理内存使用率 ma_node_memory_util
查询支持的服务部署规格列表。 查询专属资源池列表 查询专属资源池列表。 资源管理接口 表13 配置管理 API 说明 查询OS的配置参数 获取ModelArts OS服务的配置参数,如网络网段,用户资源配额等。 表14 插件模板管理 API 说明 查询插件模板 获取指定插件模板的详细信息。
在“数据处理”页面,单击“创建”进入“创建数据处理”页面。 在创建数据处理页面,填写相关算法参数。 填写基本信息。基本信息包括“名称”、“版本”和“描述”。其中“版本”信息由系统自动生成,按“V0001”、“V0002”规则命名,用户无法修改。 您可以根据实际情况填写“名称”和“描述”信息。 设置场景类别。场景类别当前支持“图像分类”和“物体检测”。
其中,加粗的字段需要根据实际值填写: “duration”为实例运行时长,以创建时间为起点计算,即“创建时间+duration > 当前时刻”时,系统会自动停止实例。 “type”为自定停止类别,默认为timing。 返回状态码为“200”表示标注成功,响应Body如下所示: { "create_at":
建议通过开源的官方镜像来构建,例如PyTorch的官方镜像。 建议容器分层构建,单层容量不要超过1G、文件数不大于10w个。分层时,先构建不常变化的层,例如:先OS,再cuda驱动,再Python,再pytorch,再其他依赖包。 不建议把数据、代码放到容器镜像里。因为对应内容应该是经常变动的,会导致频繁地容器镜像构建操作。
终止训练作业 功能介绍 终止训练作业,只可终止创建中、等待中、运行中的作业。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id