检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本章节介绍如何使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。 代码目录如下: AutoSmoothQuant #量化工具 ├── ascend_aut
本章节介绍如何使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。 代码目录如下: AutoSmoothQuant #量化工具 ├── ascend_aut
仅支持313T、376T、400T 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表及权重文件地址 支持模型 支持模型参数量 权重文件获取地址 Llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 否 String 消息体的类型。设置为text/plain，返回临时预览链接。设置为application/octet-stream，返回临时下载链接。 响应参数 状态码： 200 表3 响应Body参数
SDK报错“ERROR: Could not install packages due to an OSError” ModelArts SDK下载文件目标路径设置为文件名，部署服务时报错 调用API创建训练作业，训练作业异常 用户执行huaweicloud.com相关API超时
调用创建ModelArts委托接口完成包含OBS、SWR等依赖服务的ModelArts委托。 调用配置授权接口配置ModelArts授权。该接口支持管理员给IAM子用户设置委托，支持设置当前用户的访问密钥。 若没有授权，ModelArts服务的数据管理、训练管理、开发环境、在线服务等功能将不能正常使用。 调用查看授权列表接口查看用户的授权信息。
type 否 String 参数的类型，枚举值如下: str：字符串 int：整型 bool：布尔类型 float：浮点型 description 否 String Workflow工作流配置参数的描述。 example 否 Object Workflow工作流配置参数的样例。
者环境变量中密文存放，使用时解密，确保安全； # 本示例以password保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_PASSWORD。 __PASSWORD = os.environ["HUAWEICLOUD_SDK_PASSWORD"]
同时ModelArts还提供多种编程语言的SDK供您使用，SDK的使用方法请参见ModelArts SDK参考。 终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同，您可以从地区和终端节点中查询所有服务的终端节点。 约束与限制 您能创建的ModelArts资源的数量与配额有关系，具体请参见服务配额。
发布数据集（ModelArts） 表1 参数说明（ModelArts） 参数 说明 资产标题 在AI Gallery显示的资产名称，建议按照您的目的设置。 来源 选择“ModelArts”。 单个数据集最多支持20000个文件，总大小不超过30G。 ModelArts区域 选择数据集所在的区域，以控制台实际可选值为准。
仅支持313T、376T、400T 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表及权重文件地址 支持模型 支持模型参数量 权重文件获取地址 Llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
CPU架构的自定义镜像分别只能运行于对应CPU架构的规格中。 执行如下命令，查看自定义镜像的CPU架构。 docker inspect {自定义镜像地址} | grep Architecture ARM CPU架构的自定义镜像，上述命令回显如下。 "Architecture": "arm64"
10 确保容器可以访问公网。 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表及权重文件地址 支持模型 支持模型参数量 权重文件获取地址 Llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
String API的认证方式。枚举值如下： NONE：无认证 APP：APP认证 IAM：IAM认证 predict_url String 预测地址。 service_id String 服务编号。 service_name String 服务名称。 support_app_code Boolean
仅支持313T、376T、400T 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表及权重文件地址 支持模型 支持模型参数量 权重文件获取地址 Llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
操作列：默认为关闭状态，启用此能力可让操作列固定在最后一列永久可见。 自定义显示列：默认所有显示项全部勾选，您可以根据实际需要定义您的显示列。 图1 表格显示设置 单击“确定”即可按照设置好的显示列进行显示。 同时可支持对自动学习项目显示页进行排序，单击表头中的箭头，就可对该列进行排序。 父主题： 使用自动学习实现声音分类
操作列：默认为关闭状态，启用此能力可让操作列固定在最后一列永久可见。 自定义显示列：默认所有显示项全部勾选，您可以根据实际需要定义您的显示列。 图1 表格显示设置 单击“确定”即可按照设置好的显示列进行显示。 同时可支持对自动学习项目显示页进行排序，单击表头中的箭头，就可对该列进行排序。 父主题： 使用自动学习实现物体检测
操作列：默认为关闭状态，启用此能力可让操作列固定在最后一列永久可见。 自定义显示列：默认所有显示项全部勾选，您可以根据实际需要定义您的显示列。 图1 表格显示设置 单击“确定”即可按照设置好的显示列进行显示。 同时可支持对自动学习项目显示页进行排序，单击表头中的箭头，就可对该列进行排序。 父主题： 使用自动学习实现文本分类
操作列：默认为关闭状态，启用此能力可让操作列固定在最后一列永久可见。 自定义显示列：默认所有显示项全部勾选，您可以根据实际需要定义您的显示列。 图1 表格显示设置 单击“确定”即可按照设置好的显示列进行显示。 同时可支持对自动学习项目显示页进行排序，单击表头中的箭头，就可对该列进行排序。 父主题： 使用自动学习实现预测分析
创建时用户指定的作业名称，不能超过128个字符。 --image String 否 自定义镜像路径，格式为：组织名/镜像名:镜像版本。当用户设置“feature”为“custom”时，该参数生效。用户可通过与“feature”参数配合使用，指定作业运行使用自定义的Spark镜像。 -obs
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
