检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
iam_user”和“iam_password”;如果使用AK/SK认证,则需要填写配置项“iam_ak”、“iam_sk”和加密配置。 华为账号只能使用AK/SK认证。如果要使用账号密码认证,且必须先创建一个IAM用户再获取IAM用户名和密码进行认证,操作指导请参见创建IAM用户。
Notebook鉴权使用的token信息。 url String 实例访问的URL。 volume VolumeRes object 实例存储信息。 workspace_id String 工作空间ID。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 feature String
Notebook鉴权使用的token信息。 url String 实例访问的URL。 volume VolumeRes object 实例存储信息。 workspace_id String 工作空间ID。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 feature String
被保留,存储支持在线按需扩容。 只能在单个开发环境中使用 。 并行文件系统PFS 说明: 并行文件系统PFS为白名单功能,如需使用,请联系华为技术支持开通。 仅支持挂载同一区域下的OBS并行文件系统(PFS)。 适合直接使用PFS桶作为持久化存储进行AI开发和探索,使用场景如下。
参数 参数类型 描述 os.modelarts/name String 用户指定的network名称。 os.modelarts/workspace.id String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。
version_id 否 String 数据集版本ID。 work_path 否 WorkPath object 数据处理任务的工作目录。 workspace_id 否 String 工作空间ID。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 表3 ProcessorDataSource
kv-cache-int8量化支持的模型请参见表3。 per-tensor静态量化场景 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化,工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。
kv-cache-int8量化支持的模型请参见表3。 per-tensor静态量化场景 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化,工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。
#只支持int8,表示kvint8 per-token量化 per-tensor静态量化场景 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化,工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。
ADD run.sh /home/mind/ CMD /bin/bash /home/mind/run.sh 完成镜像构建后,将镜像注册至华为云容器镜像服务SWR中,用于后续在ModelArts上部署推理服务。 使用适配后的镜像在ModelArts部署在线推理服务。 在obs中创
No module named 'multipart'"报错: 截图如下: 解决措施:可更新python-multipart为0.0.12版本,具体步骤如下: 启动训练任务前更新python-multipart版本: pip install python-multipart==0
可开始使用。 SDK版本说明 表1 ModelArts SDK版本说明 发布时间 版本号 说明 2023-04 1.4.18 1.4.18版本在SDK旧版本基础上优化集成,主要新增DLI Spark任务提交能力,支持服务部署到推理新版专属资源池。 支持的区域 当前支持的“regi
包含了本教程中使用到的模型训练代码、推理部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。 获取路径:Support-E 请联系您所在企业的华为方技术支持下载获取。 获取模型权重文件 获取对应模型的权重文件,获取链接参考表1。 权重文件下载有如下几种方式,但不仅限于以下方式: 方法
ModelArts 6.3.910 版本。 说明: 如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 修改代码 将AscendSpeed代码包AscendCloud-LLM-xxx.zip在本地解压缩后。在上传代码前,
Notebook鉴权使用的token信息。 url String 实例访问的URL。 volume VolumeRes object 实例存储信息。 workspace_id String 工作空间ID。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 feature String
Notebook鉴权使用的token信息。 url String 实例访问的URL。 volume VolumeRes object 实例存储信息。 workspace_id String 工作空间ID。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 feature String
Notebook鉴权使用的token信息。 url String 实例访问的URL。 volume VolumeRes object 实例存储信息。 workspace_id String 工作空间ID。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 feature String
UDA(由英伟达推出的统一计算架构)计算库,Ascend-Powered-Engine引擎的镜像中安装了与Ascend驱动适配的CANN(华为针对AI场景推出的异构计算架构)计算库。 提交训练作业后,ModelArts Standard平台会自动运行训练作业的启动文件。 Asce
行工具,使用方式和docker命令基本一致,可用于后续镜像构建步骤中。 # 下载 nerdctl 工具,注意使用的是1.7.6 arm64版本 wget https://github.com/containerd/nerdctl/releases/download/v1.7.6/nerdctl-1
e_at”。 order 否 String 排序方式,可选“asc”或“desc”,代表递增排序及递减排序,默认是“desc”。 workspace_id 否 String 工作空间ID,默认为“0”。 表2 get_model_list打印参数说明 参数 参数类型 描述 total_count