检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。 ${image_name}：代表镜像地址。 容器不能挂载到/home/ma-user目录，此目录为ma-user用户家目录。如果容器挂载到/home/ma-user下，拉起容器时会与基础镜像冲突，导致基础镜像不可用。
containerd 默认命名空间是 k8s.io。所以在导入镜像时需要指定命令空间为 k8s.io，否则使用 crictl images 无法查询到。以下命令可选其一进行镜像拉取： 使用 containerd 自带的工具 ctr 进行镜像拉取。 ctr -n k8s.io pull
ProcessorDataSource object 数据来源，与inputs二选一。 description 否 String 数据处理任务描述，长度为0-256位，不能包含^!<>=&"'特殊字符。 inputs 否 Array of ProcessorDataSource objects 数据来源列表，与data_source二选一。
NetworkMetadataAnnotations 参数 参数类型 描述 os.modelarts/description String 网络资源描述，用于说明用于某种场景。不能包含字符!<>=&"'。 表6 NetworkSpec 参数 参数类型 描述 cidr String 网络的cidr。取值范围： 172.16
json、special_tokens_map.json等tokenizer文件或者其他json文件。若缺少则需要直接复制至权重转换后的文件夹中，否则不能直接用于推理。 用户自定义执行权重转换参数修改说明 若用户要自定义数据处理脚本并且单独执行，同样以 llama2 为例。注意脚本中的python命令分别有Hugging
与其他云服务的关系 图1 ModelArts与其他服务的关系示意图 与统一身份认证服务的关系 ModelArts使用统一身份认证服务（Identity and Access Management，简称IAM）实现认证功能。IAM的更多信息请参见《统一身份认证服务产品文档》。 与对象存储服务的关系
修改MaaS模型服务 场景描述 表1 支持的修改任务 修改任务 任务介绍 参考信息 修改流量限制QPS ModelArts Studio大模型即服务平台支持手动修改模型服务的实例流量限制QPS，该操作不会影响部署服务的正常运行。 修改QPS 扩缩容实例数 ModelArts St
ts和SFS Turbo间网络直通，以及配置ModelArts网络关联SFS Turbo。 若ModelArts网络关联SFS Turbo失败，则需要授权ModelArts云服务使用SFS Turbo，具体操作请参见配置ModelArts和SFS Turbo间网络直通。 图3 ModelArts网络关联SFS
按“1”，界面将提示是否需要将此文件标注为“aa”标签，单击确认即可完成标注。 快捷键对应的是标签，1个标签对应1个快捷键。不同的标签，不能指定为同一个快捷键。快捷键的使用，可以提升标注效率。 图2 添加音频标签 标注音频（语音内容） 标注作业详情页中，展示了此数据集中“未标注
通过添加DNAT规则，则可以通过映射方式为VPC内的Server提供SSH访问服务，一个Server的一个端口对应一条DNAT规则，一个端口只能映射到一个EIP，不能映射到多个EIP。 在DNAT规则页签下，单击“添加DNAT规则”。 在弹出的“添加DNAT规则页面”，配置DNAT规则： 使用场景：选择“虚拟私有云”。
json、special_tokens_map.json等tokenizer文件或者其他json文件。如果缺少则需要直接复制至权重转换后的文件夹中，否则不能直接用于推理。 用户自定义执行权重转换参数修改说明 如果用户要自定义数据处理脚本并且单独执行，同样以 llama2 为例。注意脚本中的python命令分别有Hugging
json、special_tokens_map.json等tokenizer文件或者其他json文件。如果缺少则需要直接复制至权重转换后的文件夹中，否则不能直接用于推理。 用户自定义执行权重转换参数修改说明 如果用户要自定义数据处理脚本并且单独执行，同样以 llama2 为例。注意脚本中的python命令分别有Hugging
json、special_tokens_map.json等tokenizer文件或者其他json文件。若缺少则需要直接复制至权重转换后的文件夹中，否则不能直接用于推理。 用户自定义执行权重转换参数修改说明 若用户要自定义数据处理脚本并且单独执行，同样以 llama2 为例。注意脚本中的python命令分别有Hugging
LoRA微调训练 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
> 0。 使用beam_search场景下，n取值建议为1<n≤10。如果n=1，会导致推理请求失败。 说明： n建议取值不超过10，n值过大会导致性能劣化，显存不足时，推理请求会失败。 use_beam_search 否 False Bool 是否使用beam_search替换采样。
用于推理。 图3 AI应用的自定义镜像制作场景三 约束限制 自定义镜像中不能包含恶意代码。 创建AI应用的自定义镜像大小不超过50GB。 对于同步请求模式的AI应用，如果预测请求时延超过60s，会造成请求失败，甚至会有服务业务中断的风险，预测请求时延超过60s时，建议制作异步请求模式的AI应用。
NetworkMetadataAnnotations 参数 参数类型 描述 os.modelarts/description String 网络资源描述，用于说明用于某种场景。不能包含字符!<>=&"'。 表9 NetworkSpec 参数 参数类型 描述 cidr String 网络的cidr。取值范围： 172.16
Gallery工具链服务部署完成后将一直处于“运行中”。 指定时长：设置作业运行几小时后停止，当AI Gallery工具链服务运行时长达到指定时长时，系统将会暂停作业。时长设置不能超过计算资源的剩余额度。 说明： 如果选择付费资源，则请确认账号未欠费，且余额高于所选计算规格的收费标准，否则可能会导致AI Gallery工具链服务异常中断。AI
SFT全参微调训练任务 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
json、special_tokens_map.json等tokenizer文件或者其他json文件。如果缺少则需要直接复制至权重转换后的文件夹中，否则不能直接用于推理。 用户自定义执行权重转换参数修改说明 同样以 llama2 为例，用户可直接编辑 scripts/llama2/2_convert_mg_hf
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
