检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
授权API至APP 功能介绍 将指定的API授权给APP。API的认证方式必须为APP认证，APP的创建用户必须是API所属服务的创建者，且请求用户对API所属服务必须有更新权限。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以
准备资源 创建专属资源池 本文档中的模型运行环境是ModelArts Standard，用户需要购买专属资源池，具体步骤请参考创建资源池。 资源规格要求： 计算规格：用户可参考表1。 硬盘空间：至少200GB。 昇腾资源规格： Ascend: 1*ascend-snt9b表示昇腾单卡。
准备资源 创建专属资源池 本文档中的模型运行环境是ModelArts Standard，用户需要购买专属资源池，具体步骤请参考创建资源池。 资源规格要求： 计算规格：用户可参考表1。 硬盘空间：至少200GB。 昇腾资源规格： Ascend: 1*ascend-snt9b表示昇腾单卡。
M、Yi、Baichuan等推理部署的详细过程，利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件，为用户提供推理部署方案，帮助用户使能大模型业务。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制 本方案目前仅适用于部分企业客户。
M、Yi、Baichuan等推理部署的详细过程，利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件，为用户提供推理部署方案，帮助用户使能大模型业务。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制 本方案目前仅适用于部分企业客户。
准备资源 创建专属资源池 本文档中的模型运行环境是ModelArts Standard，用户需要购买专属资源池，具体步骤请参考创建资源池。 资源规格要求： 计算规格：用户可参考表1。 硬盘空间：至少200GB。 昇腾资源规格： Ascend: 1*ascend-snt9b表示昇腾单卡。
yaml配置文件参数配置说明 本小节主要详细描述demo_yaml样例配置文件、配置参数说明，用户可根据实际自行选择其需要的参数。 表1 模型训练脚本参数 参数 示例值 参数说明 model_name_or_path /home/ma-user/ws/tokenizers/Qwen2-72B
查询训练作业列表 功能介绍 根据指定条件查询用户创建的训练作业。 URI GET /v1/{project_id}/training-jobs 参数说明如表1所示。 表1 路径参数 参数 是否必选 参数类型 说明 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。
其中，加粗的斜体字段需要根据实际值填写： iam_endpoint为IAM的终端节点。 user_name为IAM用户名。 user_password为用户登录密码。 domain_name为用户所属的帐号名。 cn-north-1为项目名，代表服务的部署区域。 返回状态码“201 Create
lkit Platform=ModelArts-Service 原因分析 出现该问题的可能原因如下： 用户的自定义镜像中无ascend_check工具，导致启动预检失败。 用户的自定义镜像中的ascend相关工具不可用，导致预检失败。 处理方法 通过给训练作业加环境变量“MA_D
模型性能的过程。 启动SD1.5 LoRA训练服务 使用ma-user用户执行如下命令运行训练脚本。 sh diffusers_lora_train.sh 启动SDXL LoRA训练服务 使用ma-user用户执行如下命令运行训练脚本。 sh diffusers_sdxl_lora_train
文本处理时的最大长度，此处为4096，用户可根据自己要求适配 dataset 指令监督微调/ppo：alpaca_en_demo rm/dpo:dpo_en_demo 多模态数据集(图像)：mllm_demo,identity 【可选】注册在dataset_info.json文件
训练参数配置说明【旧】 如果用户希望自定义参数进行训练，可直接编辑对应模型的训练脚本，请根据实际模型修改。 表1 模型训练脚本参数 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH 【预训练：pt】预训练数据集相对或绝对地址 【微调：sft】微调数据集相对或绝对地址
训练参数配置说明【旧】 如果用户希望自定义参数进行训练，可直接编辑对应模型的训练脚本，请根据实际模型修改。 表1 模型训练脚本参数 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH 【预训练：pt】预训练数据集相对或绝对地址 【微调：sft】微调数据集相对或绝对地址
权重文件存放目录。如果使用了量化功能，则使用推理模型量化章节转换后的权重。 --max-num-seqs：最大同时处理的请求数，超过后拒绝访问。 --max-model-len：推理时最大输入+最大输出tokens数量，输入超过该数量会直接返回。max-model-len的值必须小于config
权重文件存放目录。如果使用了量化功能，则使用推理模型量化章节转换后的权重。 --max-num-seqs：最大同时处理的请求数，超过后拒绝访问。 --max-model-len：推理时最大输入+最大输出tokens数量，输入超过该数量会直接返回。max-model-len的值必须小于config
Please install mmcv>=1.3.1, <=1.5.0。 原因分析 MMCV的依赖与PyTorch版本不匹配。 处理方法 可参考链接的内容，根据PyTorch和CUDA版本安装对应版本的MMCV。 父主题： 预置算法运行故障
执行训练任务（推荐） 新的训练方式将统一管理训练日志、训练结果和训练配置，使用yaml配置文件方便用户根据自己实际需求进行修改。推荐用户使用该方式进行训练。 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训
权重文件存放目录。如果使用了量化功能，则使用推理模型量化章节转换后的权重。 --max-num-seqs：最大同时处理的请求数，超过后拒绝访问。 --max-model-len：推理时最大输入+最大输出tokens数量，输入超过该数量会直接返回。max-model-len的值必须小于config
查询数据集列表 分页查询用户的数据集列表。 list_datasets(session, dataset_type=None, dataset_name=None, offset=None, limit=None) 示例代码 示例一：查询数据集列表 from modelarts.session
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
