检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Step3 为用户配置ModelArts的委托访问授权 配置完IAM权限之后，需要在ModelArts页面为子账号设置ModelArts访问授权，允许ModelArts访问OBS、SWR、IEF等依赖服务。 此方式只允许主用户为子账号进行配置。因此，本示例中，管理员账号需为所有用户完成访问授权的配置。
外网访问限制 日志提示“ Network is unreachable” 运行训练作业时提示URL连接超时 父主题： 训练作业
Standard推理服务支持VPC直连的高速访问通道配置 背景说明 访问在线服务的实际业务中，用户可能会存在如下需求： 高吞吐量、低时延 TCP或者RPC请求 因此，ModelArts提供了VPC直连的高速访问通道功能以满足用户的需求。 使用VPC直连的高速访问通道，用户的业务请求不需要经过推理平
给子账号配置文件夹级的SFS Turbo访问权限 场景描述 本文介绍如何配置文件夹级的SFS Turbo访问权限，实现在ModelArts中访问挂载的SFS Turbo时，只允许子账号访问特定的SFS Turbo文件夹内容。 给子账号配置文件夹级的SFS Turbo访问权限为白名
“授权对象” “授权对象类型”选择“所有用户”时不涉及此参数。 IAM子用户：选择指定的IAM子用户，给指定的IAM子用户配置委托授权。 图1 选择IAM子用户 联邦用户：输入联邦用户的用户名或用户ID。 图2 选择联邦用户 委托用户：选择委托名称。使用账号A创建一个权限委托，
配置Standard专属资源池可访问公网 场景介绍 当您使用专属资源池创建作业时（如训练作业），如果需要作业运行过程中需要专属资源池访问外网，可打通VPC的方式，使得专属资源池和已绑定EIP的弹性云服务器处于同一VPC内，实现专属资源池访问外网。 前提条件 已拥有需要部署SNAT的弹性云服务器。
配置MaaS访问授权 配置ModelArts委托授权 创建IAM用户并授权使用MaaS
out"如何解决？ 问题现象 原因分析 原因分析一：实例配置的白名单IP与本地网络访问IP不符。 解决方法：请修改白名单为本地网络访问IP或者去掉白名单配置。 原因分析二：本地网络不通。 解决方法：检查本地网络以及网络限制。 父主题： VS Code连接开发环境失败故障处理
配置ModelArts Standard访问授权 快速配置ModelArts委托授权 创建IAM用户并授权使用ModelArts 父主题： ModelArts Standard准备工作
“授权对象类型” 包括IAM子用户、联邦用户、委托用户和所有用户。 IAM子用户：由主账号在IAM中创建的用户，是服务的使用人员，具有独立的身份凭证（密码和访问密钥），根据账号授予的权限使用资源。IAM子用户相关介绍请参见IAM用户介绍。 联邦用户：又称企业虚拟用户。联邦用户相关介绍请参见联邦身份认证。
VPC虚拟私有云 子用户在创建ModelArts的专属资源池过程中，如果需要开启自定义网络配置，需要配置VPC权限。 VPC FullAccess 可选 配置MaaS基础操作权限 创建用户组。 登录IAM管理控制台，单击“用户组>创建用户组”。在“创建用户组”界面，输入“用户组名称”单击“确定”。
通过VPC高速访问通道的方式访问在线服务 背景说明 访问在线服务的实际业务中，用户可能会存在如下需求： 高吞吐量、低时延 TCP或者RPC请求 因此，ModelArts提供了VPC直连的高速访问通道功能以满足用户的需求。 使用VPC直连的高速访问通道，用户的业务请求不需要经过推理
通过VPC访问通道的方式访问在线服务 背景说明 如果您希望在自己账号的VPC内部节点访问ModelArts推理的在线服务，可以使用VPC访问通道的功能，用户通过在自己账号的指定VPC下创建终端节点，连接到ModelArts的终端节点服务，即可在自己的VPC节点中访问在线服务。 约束限制
“授权对象类型” 包括IAM子用户、联邦用户、委托用户和所有用户。 IAM子用户：由主账号在IAM中创建的用户，是服务的使用人员，具有独立的身份凭证（密码和访问密钥），根据账号授予的权限使用资源。IAM子用户相关介绍请参见IAM用户介绍。 联邦用户：又称企业虚拟用户。联邦用户相关介绍请参见联邦身份认证。
通过公网访问通道的方式访问在线服务 背景描述 ModelArts推理默认使用公网访问在线服务。在线服务部署成功后，将为用户提供一个可调用的API，此API为标准Restful API。您可以在服务详情页面，调用指南页签中查看API接口公网地址。 图1 API接口公网地址 约束限制
FullAccess 可选 配置ModelArts Standard基础操作权限 创建用户组。 登录IAM管理控制台，单击“用户组>创建用户组”。在“创建用户组”界面，输入“用户组名称”单击“确定”。 配置用户组权限。 在用户组列表中，单击步骤1新建的用户组右侧的“授权”，在用户组“授权”页面，您需要配置的权限如下：
创建advisor分析环境。 操作步骤 明确性能问题类型，准确采集性能劣化时刻的profiling数据。 对于固定step出现性能劣化，如固定在16步出现性能劣化，则需要合理配置profiling参数，确保能采集到16步的数据。 对于所有step稳定劣化的场景，避免采集第一个step
benchmark方法介绍 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 性能benchmark验证使用到的脚本存放在代码包AscendCloud-LLM-xxx.zip的llm_tools/llm_evaluation目录下。
benchmark方法介绍 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 性能benchmark验证使用到的脚本存放在代码包AscendCloud-LLM-xxx.zip的llm_tools/llm_evaluation目录下。
件夹下面放置模型文件，模型配置文件，模型推理代码文件。 模型文件：在不同模型包结构中模型文件的要求不同，具体请参见模型包结构示例。 模型配置文件：模型配置文件必须存在，文件名固定为“config.json”，有且只有一个，模型配置文件编写请参见模型配置文件编写说明。 模型推理代码
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
