检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
BS中读取文件，导致训练过程一直在等待文件读取，效率低。 解决方法 建议将海量小文件，在本地压缩打包。例如打包成.zip格式。 将此压缩后的文件上传至OBS。 训练时，可直接从OBS下载此压缩文件至/cache目录。此操作仅需执行一次，无需训练过程反复与OBS交互导致训练效率低。
中选择”，元模型选择至model目录，AI引擎选择Custom，引擎包选择步骤3构建的镜像。 图3 创建模型 将创建的模型部署为在线服务，大模型加载启动的时间一般大于普通的模型创建的服务，请配置合理的“部署超时时间”，避免尚未启动完成被认为超时而导致部署失败。 图4 部署为在线服务
uant(W8A8)量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。
uant(W8A8)量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。
object 资源池的metadata信息。 spec PoolSpecModel object 资源池的期望信息。 status PoolStatus object 资源池的状态信息。 表4 PoolMetadata 参数 参数类型 描述 name String 系统自动生成的pool名称，相当于pool
Integer 资源规格的弹性使用量，物理池该值和count相同。 azs Array of azs objects 资源所在的AZ的数量。 nodePool String 节点池名称。比如：nodePool-1。 表15 azs 参数 参数类型 描述 az String AZ的名称。 count
nvidia.com/gpu String GPU节点的GPU资源量。 huawei.com/ascend-snt3 String 昇腾节点的NPU资源量。 huawei.com/ascend-snt9 String 昇腾节点的NPU资源量。 状态码： 404 表10 响应Body参数
uant(W8A8)量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。
uant(W8A8)量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。
uant(W8A8)量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。
PluginTemplateMetadata object 插件模板的metadata信息。 spec PluginTemplateSpec object 插件模板的规格信息。 表3 PluginTemplateMetadata 参数 参数类型 描述 name String 插件模板的名称。 表4 PluginTemplateSpec
--generate-scale：体现此参数表示会生成量化系数，生成后的系数保存在--scale-output参数指定的路径下。如果有指定的量化系数，则不需此参数，直接读取--scale-input参数指定的量化系数输入路径即可。 --dataset-path：数据集路径，推荐使
场景说明 针对ModelArts目前不支持的AI引擎，您可以通过自定义镜像的方式将编写的模型导入ModelArts，创建为模型。 本文详细介绍如何在ModelArts的开发环境Notebook中使用基础镜像构建一个新的推理镜像，并完成模型的创建，部署为在线服务。本案例仅适用于华为云北京四和上海一站点。
KeyPair: 需要选择保存在本地的Notebook对应的keypair认证。即创建Notebook时创建的密钥对文件，创建时会直接保存到浏览器默认的下载文件夹中。 PathMappings: 该参数为本地IDE项目和Notebook对应的同步目录，默认为/home/ma-us
成功”的“事件发生时间”，创建成功的时间点对应界面上的“事件发生时间”。 对于公共资源池：计费的起点以实例创建成功的时间点为准，终点以实例停止或删除的时间为准。 实例具体如下： 因运行自动学习作业，而创建的对应的训练作业和在线服务。 因运行Workflow工作流，而创建的对应的训练作业和在线服务。
Integer 配额允许设置的最大值。 update_time Integer 最后修改时间，UTC。如用户未修改过该资源配额,则该值默认为该工作空间的创建时间。 resource String 资源的唯一标识。 quota Integer 当前配额值。配额值为-1代表不限制配额。
strings 订阅的主题。 entity String 订阅的主体。 events Array of strings 订阅的事件。 请求示例 创建消息订阅。设置订阅的主题为“fengbin26”，订阅的主体为“238947895793875835893490”，订阅的事件为“[ "*:failed
企业对权限最小化的安全管控要求。 策略授权：IAM最新提供的一种细粒度授权的能力，可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式，能够满足企业对权限最小化的安全管控要求。 角色与策略相关介绍请参考权限基本概念。 “新增委托 > 权限配置 > 普通用户”
状态码： 200 表3 响应Body参数 参数 参数类型 描述 error_code String 操作失败的错误码。 error_msg String 操作失败的错误信息。 results Array of BatchResponse objects 批量删除样本的响应列表。 success
Queue Integer 排队中的作业个数。 Pending Integer 等待中的作业个数。 Abnormal Integer 异常的作业个数。 Terminating Integer 终止中的作业个数。 Creating Integer 创建中的作业个数。 Running Integer
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
