检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； // 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。
确认服务的部署区域，获取项目名称和ID、获取帐号名和ID和获取用户名和ID。 已经准备好数据源，例如存放在OBS的“/test-obs/classify/input/cat-dog/”目录下。 已经准备好数据集的输出位置，用于存放输出的标注信息等文件，例如“/test-obs/classify/output/”。
如何在代码中打印GPU使用信息 用户可通过shell命令或python命令查询GPU使用信息。 使用shell命令 执行nvidia-smi命令。 依赖CUDA nvcc watch -n 1 nvidia-smi 执行gpustat命令。 pip install gpustat
本文档适配昇腾云ModelArts 6.3.907版本，请参考表1获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。 软件配套版本 表1 获取软件 分类 名称
运行完成后，会在output_dir下生成量化后的权重。量化后的权重包括原始权重和kvcache的scale系数。 抽取kv-cache量化系数。 该步骤的目的是将步骤1中生成的scale系数提取到单独文件中，供推理时使用。 使用的抽取脚本由vllm社区提供： python3 examples/fp8/extract_scales
ernel，并激活需要安装依赖的python环境。 cat /home/ma-user/README source /home/ma-user/anaconda3/bin/activate TensorFlow-1.8 如果需要在其他python环境里安装，请将命令中“TensorFlow-1
txt指定python依赖库： # requirements.txt内容如下 timm==0.4.12 termcolor==1.1.0 yacs==0.1.8 准备run.sh文件中所需要的obs文件路径。 准备imagenet数据集的分享链接 勾选要分享的imagenet21
MoXing进阶用法的样例代码 如果您已经熟悉了常用操作，同时熟悉MoXing Framework API文档以及常用的Python编码，您可以参考本章节使用MoXing Framework的一些进阶用法。 读取完毕后将文件关闭 当读取OBS文件时，实际调用的是HTTP连接读去网
在Notebook中，如何使用昇腾多卡进行调试？ 昇腾多卡训练任务是多进程多卡模式，跑几卡需要起几个python进程。昇腾底层会读取环境变量：RANK_TABLE_FILE，开发环境已经设置，用户无需关注。比如跑八卡，可以如下片段代码： export RANK_SIZE=8
Trainer 和 DeepSpeed。 数据准备 要准备微调数据，您应该将每个样本制定为一个字典，其中包含一个 ID、一个图像路径（或图像列表）和一个对话列表。然后，将数据样本保存在 JSON 文件中。 对于视觉语言任务，您必须提供占位符（例如<image>或<image_XX>）来
常见的数据处理类型有以下四种： 数据校验：通常数据采集后需要进行校验，保证数据合法。 数据校验是指对数据可用性的基本判断和验证的过程。通常，用户采集的数据或多或少都会有很多格式问题，无法被进一步处理。以图像识别为例，用户经常会从网上找一些图片用于训练，但是其质量难以保证，有可能图片的名字、路径、后缀名都不
数据标注中，难例集如何定义？什么情况下会被识别为难例？ 难例是指难以识别的样本，目前只有图像分类和检测支持难例。 父主题： Standard数据管理
自定义镜像训练作业的自定义镜像的容器的启动命令。形式为：“bash /home/work/run_train.sh python /home/work/user-job-dir/app/train.py {python_file_parameter}”。 请求示例 GET https://endpoi
参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求消息 请求参数如表2所示。 表2 查询检索参数 参数 是否必选 参数类型 说明 per_page 否 Integer 指定每一页
parameter_name 是 String 搜索参数名称 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 training_job_id 是 String 训练作业ID。获取方法请参见查询训练作业列表。 请求参数 无 响应参数 状态码： 200
steps.JobEngine(image_url="fake_image_url"), # 自定义镜像的url，格式为：组织名/镜像名称:版本号，不需要携带相应的域名地址；如果image_url需要设置为运行态可配置，则使用如下方式：image_url=wf.Placeholder(name="image_url"
问题现象 使用自定义镜像创建实例启动后，打开JupyterLab>新建Notebook，选不到kernel。 原因分析 自定义镜像的python环境没有注册。 解决方案 在Terminal里执行命令排查实例存在几个Conda环境。 conda env list 执行如下命令分别
基于官方提供的基础镜像构建自定义镜像sdxl-train:0.0.1。参考如下命令编写Dockerfile文件。镜像地址{image_url}请参见获取软件和镜像。 FROM {image_url} RUN mkdir /home/ma-user/sdxl-train && mkdir /ho
训练作业如何调用shell脚本，是否可以执行.sh文件？ ModelArts支持调用shell脚本，可以使用python调用“.sh”。具体操作步骤如下： 上传“.sh”脚本至OBS桶，例如“.sh”所在存储位置为 “ /bucket-name/code/test.sh”。 在本地创建“
是否支持图像分割任务的训练？ 支持。您可以使用以下三种方式实现图像分割任务的训练。 您可以在AI Gallery订阅相关图像分割任务算法，并使用订阅算法完成训练。 如果您在本地使用ModelArts支持的常用框架完成了训练脚本，可以使用自定义脚本创建训练作业。 如果您在本地开发的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
