检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
必须大于0，不配置默认值为1。当小于1时，代表滚动升级时增加的实例数的百分比；当大于1时，代表滚动升级时最大扩容的实例数。 max_unavailable 否 Float 必须大于0，不配置默认值为0。当小于1时，代表滚动升级时允许缩容的实例数的百分比；当大于1时，代表滚动升级时允许缩容的实例数。
配置NPU环境时增加需要开启的高阶配置参数。 词表切分 在分布式场景下，默认不使用词表切分能提升推理性能，同时也会增加单卡的显存占用。不建议开启词表并行，如确需使用词表切分，配置以下环境变量。 export USE_VOCAB_PARALLEL=1 关闭词表切分的命令： unset USE_VOCAB_PARALLEL
动态加载”。AI引擎的值是系统自动写入的，无需设置。 图5 设置元模型来源 在AI应用列表页面，当AI应用状态变为“正常”时，表示AI应用创建成功。单击AI应用操作列的“部署”，弹出“版本列表”，单击操作列“部署>在线服务”，将AI应用部署为在线服务。 图6 部署在线服务 在“部
义算法适配章节的输入输出配置部分： 在创建算法时，您需要在输入路径配置中设置代码路径参数，默认为“data_url”。 您需要在训练代码中添加超参，默认为“data_url”。使用“data_url”当做训练数据输入的本地路径。 检查报错的路径是否存在 由于用户本地开发的代码需要
在模型代码推理文件“customize_service.py”中，需要添加一个子类，该子类继承对应模型类型的父类，各模型类型的父类名称和导入语句如表1所示。导入语句所涉及的Python包在ModelArts环境中已配置，用户无需自行安装。 表1 各模型类型的父类名称和导入语句 模型类型 父类 导入语句
return base64.b64encode(buffered.getvalue()) 附录1：请求参数表 使用curl命令发送请求的请求参数表如下。 表2 请求参数列表 参数 说明 prompt 正向文本，必选 negative_prompt 负向文本，非必选 height 图像高度，非必选
来判断资源使用率是否有变化。如果没有变化，则判定作业卡死。 系统预置了卡死检测的环境变量“MA_HANG_DETECT_TIME=30”，表示30分钟内进程IO无变化则判定作业卡死。如果需要修改卡死检测时间，则可以修改环境变量“MA_HANG_DETECT_TIME”的值，具体操作指导请参见管理训练容器环境变量。
推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B单机。 表1 环境要求 名称 版本 driver 23.0.6 PyTorch pytorch_2.1.0 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3
--benchmark-csv：结果保存路径，如benchmark_serving.csv。 --served-model-name： 选择性添加， 选择性添加，在接口中使用的模型名；如果没有配置，则默认为tokenizer。 --num-scheduler-steps: 需和服务启动时配置
数据管理权限 表1 数据集管理的细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 查询数据集列表 GET /v2/{project_id}/datasets modelarts:dataset:list - √ √ 创建数据集 POST /v2/{project_id}/datasets
推理专属预置镜像列表 ModelArts的推理平台提供了一系列的基础镜像，用户可以基于这些基础镜像构建自定义镜像，用于部署推理服务。 X86架构（CPU/GPU）的推理基础镜像 表1 TensorFlow AI引擎版本 支持的运行环境 镜像名称 URI 2.1.0 CPU GPU(cuda10
数据保护技术 ModelArts通过多种数据保护手段和特性，保障存储在ModelArts中的数据安全可靠。 数据保护手段 说明 静态数据保护 对于AI Gallery收集的用户个人信息中的敏感信息，如用户邮箱和手机号，AI Gallery在数据库中做了加密处理。其中，加密算法采用了国际通用的AES算法。
/job-retry-num”字段。 添加“fault-tolerance/job-retry-num”字段，视为开启自动重启，value的范围可以设置为1~128的整数。value值表示最大允许重新下发作业的次数。如果不传入则默认为0，表示不做重新下发作业，也不会启用环境检测。
Snt9B和300IDUO。 获取软件和镜像 表1 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3.909软件包中的AscendCloud-AIGC-6.3.909-xxx.zip 文件名中的xxx表示具体的时间戳，以包名发布的实际时间为准。 获取路径：Support-E
服务韧性 韧性特指安全韧性，即云服务受攻击后的韧性，不含可靠性、可用性。本章主要阐述ModelArts服务受入侵的检测响应能力、防抖动的能力、域名合理使用、内容安全检测等能力。 安全防护套件覆盖和使用堡垒机，增强入侵检测和防御能力 ModelArts服务部署主机层、应用层、网络层
路径；如果是AI Gallery仓库内的地址，则填写相对路径。 同时，还需要在“模型文件”添加gallery_train文件夹，文件夹内容参考表2。 表2 gallery_train文件列表 文件类型 文件说明 “train_params.json” 必选文件，训练参数文件，定义
"、"<sfs_path>"、"<sfs_option>"，需要根据您的业务需求替换为实际的参数，各参数含义如下。 表1 参数解释 参数 参数解释 Action 表示在何种场景下授予SFS Turbo文件夹访问权限。 创建开发环境实例：modelarts:notebook:create
到AOM，您可在AOM配置告警通知。 当发生节点异常时，在故障初步分析阶段，您可先按表1识别是否为亚健康并自助进行处理，若不是，则为故障，请联系客户经理发起维修流程（若无客户经理可提交工单）。 表1 节点故障类型定义 NodeCondition Type 分类 子类 异常中文描述
准备镜像 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2
际的项目需要迁移，建议填写下方的推理业务迁移评估表，并将该调研表提供给华为云技术支持人员进行迁移评估，以确保迁移项目能顺利实施。 通用的推理业务及LLM推理可提供下表进行业务迁移评估： 表1 通用的推理业务及LLM推理业务迁移评估表 收集项 说明 实际情况（请填写） 项目名称 项目名称，例如：XXX项目。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
