检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
考如下处理方法: 在业务执行前加如下命令,检查是否能找到so文件。如果已经找到so文件,执行2;如果没有找到,执行3。 import os; os.system(find /usr -name *libcudart.so*); 设置环境变量LD_LIBRARY_PATH,设置完成后,重新下发作业即可。
write(ttf.content) 35 # FONT_PATH = "SimSun.ttf" FONT_PATH = os.path.join(os.getenv('DATA'), "SimSun.ttf" 父主题: 训练脚本说明
'/cache/hdf_tmp' file_name = os.path.basename(path_or_buf) mox.file.make_dirs(tmp_dir) local_file = os.path.join(tmp_dir, file_name)
的资源,“/cache”与代码目录共用10G,会造成内存不足,请更改为使用GPU资源。 请在代码中添加环境变量来解决。 import os os.system('export TMPDIR=/cache') 父主题: 硬盘限制故障
//docs.vllm.ai/en/latest/getting_started/quickstart.html。 以下服务启动介绍的是在线推理方式,离线推理请参见https://docs.vllm.ai/en/latest/getting_started/quickstart
进入地址,单击“Download”,选择“Archive Versions”,“Version”选择“4.3-1.0.1.0”,“OS Distribution”选择“Ubuntu”,“OS Distribution Version”选择“Ubuntu 16.04”,“Architecture”选择
# 形式1,数据在OBS上,且是一个压缩文件 obs_path = os.path.join(base_bucket_path, "dataset-zip/dataset.zip") data_local = os.path.join(base_local_path, "dataset/")
根据版本切分比例筛选版本。根据逗号分隔最小和最大切分比例,筛选出切分比例在此范围内的版本,例如:“0.0,1.0”。说明:如果参数值为空或无该参数,系统默认不根据版本切分比例筛选数据集。 version_format 否 Integer 数据集版本格式。可选值如下: 0:默认格式 1:Carbon格式(仅表格数据集支持)
执行代码存放的OBS地址,默认值为空,名称固定为“customize_service.py”。推理代码文件需存放在模型“model”目录。该字段不需要填,系统也能自动识别出model目录下的推理代码。公共参数 source_job_id 否 String 来源训练作业的ID,模型是从训练作业产生
Mox日志反复输出的问题,需要您在“启动文件”中添加如下代码,当“MOX_SILENT_MODE = “1””时,可在日志中屏蔽mox的版本信息: import os os.environ["MOX_SILENT_MODE"] = "1" 父主题: MoXing
节点池管理 查询OS的配额
码。 import pandas as pd import moxing as mox mox.file.shift('os', 'mox') # 将os的open操作替换为mox.file.File适配OBS路径的操作 param = {'encoding': 'utf-8'}
参数说明: -v ${work_dir}:${container_work_dir}:代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录,目录下存放着训练所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。
参数说明: -v ${work_dir}:${container_work_dir}:代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录,目录下存放着训练所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。
单击模型名称,进入模型详情页面。 在“我的版本”区域,单击“新增版本”。 在“新增版本”页面,配置模型新版本的参数。 表3 新增模型版本 参数 说明 新版本号 系统自动编号,不可修改。 版本描述 模型简介。支持100字符。 选择基础模型版本 选择基础模型的版本。 选择权重路径 选择存放模型权重文件的OBS路径,必须选择到模型文件夹。
ls/{pool_name}/nodes/batch-reboot { "nodeNames" : [ "os-node-created-vrvrq", "os-node-created-4jczv" ] } 响应示例 状态码: 200 OK。 { "job_id" :
上,这样会导致下载数据很慢。 在训练作业中,使用如下代码进行“.tar”包解压: import moxing as mox import os mox.file.copy_parallel("obs://donotdel-modelarts-test/AI/data/PyTorch-1
处理方法 如果在训练作业的工作目录下有core文件生成,可以在启动脚本最前面加上如下代码,来关闭core文件产生。 import os os.system("ulimit -c 0") 排查数据集大小,checkpoint保存文件大小,是否占满了磁盘空间。 必现的问题,使用本
参数说明: -v ${work_dir}:${container_work_dir}:代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录,目录下可存放项目所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。
import re import shutil import os import copy input_file_path = 'pixart-sigma-toy-dataset' input_json = os.path.join(input_file_path, 'InternData'