检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配额管理 查询OS的配额
(bf16_path, exist_ok=True) model_index_file = os.path.join(fp8_path, "model.safetensors.index.json") with open(model_index_file, "r")
import json import os import sys import hashlib import hmac import binascii from datetime import datetime class GpuLogCollection(object):
表4 NetworkMetadataLabels 参数 参数类型 描述 os.modelarts/name String 用户指定的network名称。 os.modelarts/workspace.id String 工作空间ID。获取方法请参见查询工作空间列表。
表7 NetworkMetadataLabels 参数 参数类型 描述 os.modelarts/name String 用户指定的network名称。 os.modelarts/workspace.id String 工作空间ID。获取方法请参见查询工作空间列表。
import pandas as pd import moxing as mox mox.file.shift('os', 'mox') # 将os的open操作替换为mox.file.File适配OBS路径的操作 param = {'encoding': 'utf-8'}
容器引擎:容器引擎是Kubernetes最重要的组件之一,负责管理镜像和容器的生命周期。Kubelet通过Container Runtime Interface (CRI) 与容器引擎交互,以管理镜像和容器。此处支持选择Docker和Containerd。
表11 NetworkMetadataLabels 参数 参数类型 描述 os.modelarts/name String 用户指定的network名称。 os.modelarts/workspace.id String 工作空间ID。获取方法请参见查询工作空间列表。
-200.tar", '/cache/tiny-imagenet-200.tar') os.system('cd /cache; tar -xvf tiny-imagenet-200.tar > /dev/null 2>&1') 父主题: MoXing
使用昇腾云909镜像的模型,开启流式输出时,需要新增stream_options参数,值为{"include_usage":true},才会打印token数。 表1 请求参数说明 参数 是否必选 默认值 参数类型 描述 model 是 无 Str 调用时的模型名称。
topologyKey: kubernetes.io/hostname containers: - image: swr.xxxxxx.com/xxxx/custom_pytorch_npu:v1 # 镜像地址
动态batch 在模型转换阶段通过--configFile参数指定配置文件,并且在配置文件中配置input_shape及dynamic_dims动态参数。
*.list ims.*.list ims.*.get √ × 查询DevServer实例列表 GET /v1/{project_id}/dev-servers modelarts:devserver:listByUser - √ × 查询租户所有DevServer实例列表 GET
import os os.system("ulimit -c 0") 排查数据集大小,checkpoint保存文件大小,是否占满了磁盘空间。 必现的问题,使用本地Pycharm远程连接Notebook调试。
常见错误原因和解决方法 显存溢出错误 网卡名称错误 联网下载SimSun.ttf时可能会遇到网络问题 在运行finetune_ds.sh 时遇到报错 父主题: Qwen-VL基于Standard+OBS+SFS适配PyTorch NPU训练指导(6.3.912)
常见错误原因和解决方法 显存溢出错误 网卡名称错误 联网下载SimSun.ttf时可能会遇到网络问题 在运行finetune_ds.sh 时遇到报错 父主题: Qwen-VL模型基于Standard+OBS适配PyTorch NPU训练指导(6.3.912)
() request_url = "/v1/{}/notebooks/{}/storage".format(os.environ['PROJECT_ID'], os.environ["INSTANCE_ID"]) # 查询动态挂载列表 auth_by_apig(session,
{ "nodes" : [ { "name" : "os-node-created-xzz78", "status" : "success" } ] } 状态码:404 Not Found。
{ "nodes" : [ { "name" : "os-node-created-xzz78", "status" : "success" } ] } 状态码:404 Not Found。
__AK = os.environ["HUAWEICLOUD_SDK_AK"] __SK = os.environ["HUAWEICLOUD_SDK_SK"] # 如果进行了加密还需要进行解密操作 session = Session(access_key=__AK,secret_key