检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
modelarts:trainJob:delete - √ √ 查询训练作业详情 GET /v2/{project_id}/training-jobs/{training_job_id} modelarts:trainJob:get - √ √ 查询训练作业列表 POST /v2/{project
com/casper-hansen/AutoAWQ.git AutoAWQ-0.2.5 cd ./AutoAWQ-0.2.5 export PYPI_BUILD=1 pip install -e . 需要编辑“examples/quantize.py”文件,针对NPU进行如下适配工作,以支持在NPU上进行量化。
查看批量服务详情 当模型部署为批量服务成功后,您可以进入“批量服务”页面,来查看服务详情。 登录ModelArts管理控制台,在左侧菜单栏中选择“模型部署>批量服务”,进入“批量服务”管理页面。 单击目标服务名称,进入服务详情页面。 您可以查看服务的“名称”、“状态”等信息,详情说明请参见表1。
workforce_id 是 String 标注团队ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 description 否 String 标注团队描述,长度为0-256位,不能包含^!<>=&"'特殊字符。 workforce_name 否 String
标注团队成员ID。 workforce_id 是 String 标注团队ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 description 否 String 标注成员描述,长度为0-256位,不能包含^!<>=&"'特殊字符。 role 否 Integer 角色。可选值如下:
通过SSH登录,不同机器之间网络互通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 父主题: 准备工作
dataset.create_label_task(task_name="obj_detection_task", task_type=1, description="label task") 参数说明 表1 请求参数 参数 是否必选 参数类型 描述 task_name 是 String 标注任务的名称。
通过SSH登录,不同机器之间网络互通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 父主题: 准备工作
分析后,可以查看生成的html文件来进行快速的调优,html文件详情请参考advisor分析报告html文件详解。 下面以开发环境Notebook为例介绍一个典型的性能调优案例。 64卡训练任务,模型为GPT MOE,tensor parallel(tp)为8,pipeline
在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface.co)量化模型权重。 具体操作如下: 开始之前,请确保安装了以下库: pip install auto-gptq pip install --upgrade accelerate optimum transformers 设置GPTQC
workforce_id 是 String 标注团队ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 description 否 String 成员描述,长度为0-256位,不能包含^!<>=&"'特殊字符。 emails 是 String 团队成员的邮箱。
String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 description 否 String 标注团队描述,长度为0-256位,不能包含^!<>=&"'特殊字符。 workforce_name 是 String
请求Body参数 参数 是否必选 参数类型 描述 description 否 String 数据处理任务描述,长度为0-256位,不能包含^!<>=&"'特殊字符。 响应参数 无 请求示例 更新数据处理任务 { "description" : "test" } 响应示例 状态码: 200
应用迁移 模型适配 pipeline代码适配 父主题: 基于AIGC模型的GPU推理业务迁移至昇腾指导
--baseline <baseline> --o <output_dir> <cfgs_yaml_file>:性能测试配置的yaml文件地址,指代码目录中performance_cfgs.yaml相对或绝对路径,此配置文件为训练最优配置参数。 --baseline <basel
it”的ID码。 确认创建Notebook实例使用的镜像的系统架构,可以在Notebook中打开Terminal,通过命令uname -m查看。 下载对应版本的vscode-server,根据Commit码和Notebook实例镜像架构下载。 如果下载报错“Not Found”,请下载别的版本VS
流水账单”中,“消费时间”即按需产品的实际使用时间。 查看自动学习和Workflow的账单 自动学习和Workflow运行时,在进行训练作业和部署服务时,会产生不同的账单。 训练作业产生的账单可参考查看训练作业的账单查询。 部署服务产生的账单可参考查看在线服务的账单查询。 查看Notebook的账单 登录
ers版本 GLM4-9B模型,容器内执行以下步骤: pip install transformers==4.43.2 其它模型,容器内执行以下步骤: pip install transformers==4.45.0 pip install tokenizers==0.20.0 使用原始hf权重的tokenizer
ers版本 GLM4-9B模型,容器内执行以下步骤: pip install transformers==4.43.2 其它模型,容器内执行以下步骤: pip install transformers==4.45.0 pip install tokenizers==0.20.0 使用原始hf权重的tokenizer
it”的ID码。 确认创建Notebook实例使用的镜像的系统架构,可以在Notebook中打开Terminal,通过命令uname -m查看。 下载对应版本的vscode-server,根据Commit码和Notebook实例镜像架构下载。 如果下载报错“Not Found”,请下载别的版本VS