正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/pile-val", split="validation") 运行“examples/quantize.py”文件进行模型量化,量化时间和模型大小有关,预计30分钟~3小时。 pip install transformers sentencepiece #安装量化工具依赖 export
源代码:chatglm-6B 模型权重:weights 数据集:Firefly(流萤)、ADGEN (广告生成) 源代码、模型权重使用的清华官方在Github和Hugging Face开源的版本,源代码适配的main分支,权重当前使用1d240ba固定分支。其他分支版本理论上也可以进行迁移工作,不过
/pile-val", split="validation") 运行“examples/quantize.py”文件进行模型量化,量化时间和模型大小有关,预计30分钟~3小时。 pip install transformers sentencepiece #安装量化工具依赖 export
} ] } } 配置文件 代码中request结构和response结构中的data参数是json schema数据结构。data/properties里面的内容对应“模型输入”和“模型输出”。 1 2 3 4 5 6 7 8 9 10 11
2757 CodeDirError 代码目录路径错误 请检查请求中代码目录和启动文件的合法性 400 ModelArts.2758 BootFileDirError 代码启动文件路径错误 请检查请求中代码目录和启动文件的合法性 400 ModelArts.2759 TooManyCodeFiles
} ] } } 配置文件 代码中request结构和response结构中的data参数是json schema数据结构。data/properties里面的内容对应“模型输入”和“模型输出”。 1 2 3 4 5 6 7 8 9 10 11
thms 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer 查询算法的偏移量,最小为0。例如设置为1,则表示从第二条开始查。
PU设备信息。 npu-smi info 如出现错误,可能是机器上的NPU设备没有正常安装,或者NPU镜像被其他容器挂载。请先正常安装固件和驱动,或释放被挂载的NPU。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。
ules 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workflow_id 是 String 工作流的ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 type
otas 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workspace_id 是 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。
练作业时,ModelArts后台自动将Ascend驱动程序放置在/usr/local/Ascend/driver目录。 X86 CPU架构和ARM CPU架构的自定义镜像分别只能运行于对应CPU架构的规格中。 执行如下命令,查看自定义镜像的CPU架构。 docker inspect
ma-cli鉴权命令,支持用户名密码、AK/SK image ModelArts镜像构建、镜像注册、查询已注册镜像信息等 obs-copy 本地和OBS文件/文件夹间的相互复制 ma-job ModelArts训练作业管理,包含作业提交、资源查询等 dli-job DLI Spark任务提交及资源管理
Ascend 1*ascend-snt9b|ARM 24核 192GB Snt9b单卡规格,配搭ARM处理器,适合深度学习场景下的模型训练和调测 ModelArts提供了面向推理迁移工作的预置镜像,其中包含了最新商用版驱动、昇腾软件开发库,迁移工具链等。预置镜像可以做到即开即用,
/NPU的平均利用率低于50%时,在训练作业列表中会进行告警提示。 图2 作业列表显示作业资源利用率情况 此处的作业资源利用率只涉及GPU和NPU资源。作业worker-0实例的GPU/NPU平均利用率计算方法:将作业worker-0实例的各个GPU/NPU加速卡每个时间点的利用率汇总取平均值。
具体支持如下使用场景: 下载单个文件 下载多个文件 下载文件到指定路径 下载单个AI Gallery仓库 准备工作 获取“repo_id”和待下载的文件名。 获取“repo_id” 在AI Gallery页面的资产详情页,单击复制完整的资产名称,如图1所示,获取到的信息即为“re
sample_label_separator 否 String 文本和标签之间的分割符。分隔符仅支持一个字符,必须为大小写字母,数字或@#¥%^&*_=|?/':.;,中的某一个字符,分割符需要转义。 label_separator 否 String 标签和标签之间的分割符。分隔符仅支持一个字符,必须为大小写字母,数字或@#¥%^&*_=|
例中的桶名称“test-modelarts” 和文件夹名称均为举例,请替换为用户自定义的名称。 创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。 请确保您使用的OBS与ModelArts在同一区域。 表1 OBS桶文件夹列表 文件夹名称 用途 “obs://test-mo
ooks 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID,获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 feature 否 String 实例类别,默认为NOTEBOOK。枚举值如下:
/all 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID,获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 feature 否 String 实例类别,默认为NOTEBOOK。枚举值如下:
ame} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 pool_name 是 String 系统生成的资源池名称。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-ModelArts-User-ID