检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过查询可视化作业列表与查询可视化作业详情接口获取。 URI POST /v1/{project_id}/visualization-jobs/{job_id}/restart 参数说明如表1所示。 表1 参数说明 参数 是否为必选 参数类型 说明 project_id 是 String
path String 工作路径。可选值如下: 如果type是OBS,source为OBS路径。 如果type是DATASET,source为数据集ID。 type String 工作路径的类型。可选值如下: OBS:OBS路径 DATASET:数据集 version_id String
名及其版本号,格式为“包名==版本号”。 例如,“代码目录”对应的OBS路径下,包含模型文件,同时还存在“pip-requirements.txt”文件。“代码目录”的结构如下所示: |---模型启动文件所在OBS文件夹 |---model.py
不可与data_url同时出现。 type 否 String 数据集类型。可选值有“obs”、“dataset”。obs与dataset不可同时出现。 data_url 否 String OBS的桶路径,不可与dataset_id/dataset_version同时出现。 表5 parameter属性列表
ModelArts导入模型时,如何编写模型配置文件中的安装包依赖参数? 问题描述 从OBS中或者从容器镜像中导入模型时,开发者需要编写模型配置文件。模型配置文件描述模型用途、模型计算框架、模型精度、推理代码依赖包以及模型对外API接口。配置文件为JSON格式。配置文件中的“dep
关于自定义镜像规范和说明,请参见模型镜像规范。 使用容器化部署,导入的元模型有大小限制,详情请参见导入模型对于镜像大小限制。 前提条件 确保您使用的OBS目录与ModelArts在同一区域。 创建模型操作步骤 登录ModelArts管理控制台,在左侧导航栏中选择“模型管理”,进入模型列表页面。
13.0-de803ac9 INFO:root:Using OBS-Python-SDK-3.1.2 INFO:root:Using MoXing-v1.13.0-de803ac9 INFO:root:Using OBS-Python-SDK-3.1.2 原因分析 Pytorch
ModelArts中常用概念 自动学习 自动学习功能可以根据标注数据自动设计模型、自动调参、自动训练、自动压缩和部署模型,不需要代码编写和模型开发经验。只需三步,标注数据、自动训练、部署模型,即可完成模型构建。 端-边-云 端-边-云分别指端侧设备、智能边缘设备、公有云。 推理
Adviso主页面 提交性能诊断任务 如果您的NPU性能数据存放在OBS上,Source选择OBS,Path输入OBS地址,格式如obs://bucket1/profiling_dir1,单击Submit按钮。界面参考下图。 图4 分析OBS上的性能数据 如果您的NPU性能数据存放在Noteb
v1,但是v1在交换机上没有拥塞控制,可能丢包,而且后面的交换机不会支持v1,就无法启动。 NCCL_IB_TC=128:数据包走交换机的队列4通道,这是RoCE协议标准。 NCCL_IB_TIMEOUT=22:把超时时间设置长一点,正常情况下网络不稳定会有5秒钟左右的间断,超过5秒就返回timeout了,改成22预计有二十秒左右,算法为4
离线训练安装包准备说明 在华为公有云平台,申请的资源一般要求连通网络。因此用户在准备环境时可以运行 scripts/install.sh 直接下载安装资源,或通过 Dockerfile 下载安装资源并构建一个新的镜像。 若用户的机器或资源池无法连通网络,并无法git clone下
json里面定义的“max_position_embeddings”和“seq_length”;如果设置过大,会占用过多显存,影响kvcache的空间。不同模型推理支持的max-model-len长度不同,具体差异请参见表1。 --gpu-memory-utilization:NPU使用
print(predictor_list) 参数说明 表1 查询检索参数说明 参数 是否必选 参数类型 描述 session 是 Object 会话对象,初始化方法见Session鉴权。 service_id 否 String 服务ID,默认不过滤服务ID。 service_name 否 String
Dockerfile中的"https://${bucket_name}.obs.cn-north-4.myhuaweicloud.com/${folder_name}/pytorch.tar.gz",需要替换为1中pytorch.tar.gz在OBS上的路径(需将文件设置为公共读)。 进入Docker
h", "dataset_id" : "gfghHSokody6AJigS5A", "import_path" : "obs://test-obs/daoLu_images/animals/", "import_type" : 0, "total_sample_count"
"dataset_id" : "gfghHSokody6AJigS5A", "import_path" : "obs://test-obs/daoLu_images/animals/", "import_type" : 0, "total_sample_count"
类型type、属性properties,必选属性required 、定义definitions等,JSON Schema通过定义对象属性、类型、格式的方式来引导模型生成一个包含用户信息的JSON对象。 如果希望使用JSON Schema,guided_json的写法可参考outlines: Structured
类型type、属性properties,必选属性required 、定义definitions等,JSON Schema通过定义对象属性、类型、格式的方式来引导模型生成一个包含用户信息的JSON对象。 如果希望使用JSON Schema,guided_json的写法可参考outlines: Structured
操作步骤 打开ModelArts Notebook。 选中Notebook文件(ipynb文件),创建定时任务。 图1 打开Notebook Jobs 在Create Job界面,填写参数后单击“create”。 图2 创建定时任务参数填写 Job name:定时任务名称。 Enviro
发布后可获得数据集A和数据集B的Manifest文件。可通过数据集的“数据集输出位置”获得此文件。 创建一个空数据集C,即无任何输出,其输入位置选择一个空的OBS文件夹。 在数据集C中,执行导入数据操作,将数据集A和数据集B的Manifest文件导入。 导入完成后,即将数据集A和数据集B的数据分别都