检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
此处需要注意以下Region配置的是DEW密钥管理权限:华北-北京一、华北-北京四、华东-上海一、华东-上海二、华南-广州、西南-贵阳一、中国-香港、亚太-新加坡。其他Region配置的是KMS密钥管理权限。本示例中使用“华南-广州”Region举例,所以需要配置DEW密钥管理权限。
写正确的key,这个可能需要进行付费调用,评估1000条大概需要0.15美元 OPENAIKEY="" 注:openai不支持中国大陆和香港,不能使用中国的代理。 推理结果保存的文件名,可不用修改,使用默认的文件名 OUTPUTNAME=pred 步骤11 执行推理脚本 bash
String 服务器所在的安全组ID。 subnet_id 是 String 服务器所在子网ID。 vpc_id 是 String 服务器所在虚拟私有云ID。 表5 EvsVolume 参数 是否必选 参数类型 描述 size 否 Integer 系统盘大小。 type 否 String
python包的下载源。 pip_packages 否 List conda虚拟环境需要使用的python包,如tensorflow,pillow等。 conda_packages 否 List conda虚拟环境需要使用的conda包,如指定python版本。 表4 params结构
"value": 2}) # 启动脚本以parser.add_argument('--dist', action='store_true')的形式来接收该布尔类型的参数,如果要传入True,则以本行代码的形式传递; parameters.append({"name": "dist"}) estimator
务。等待服务器的状态变为“运行中”时,弹性云服务器创建成功。单击“名称/ID”,进入服务器详情页面,查看虚拟私有云配置信息。 图4 购买弹性云服务器时选择VPC 图5 查看虚拟私有云配置信息 获取在线服务的IP和端口号 可以通过使用图形界面的软件(以Postman为例)获取服务的
务。等待服务器的状态变为“运行中”时,弹性云服务器创建成功。单击“名称/ID”,进入服务器详情页面,查看虚拟私有云配置信息。 图4 购买弹性云服务器时选择VPC 图5 查看虚拟私有云配置信息 获取在线服务的IP和端口号 可以通过使用图形界面的软件(以Postman为例)获取服务的
SMN消息服务 授予子用户使用SMN消息服务的权限。SMN消息通知服务配合CES监控告警功能一起使用。 SMN FullAccess 必选 VPC虚拟私有云 子用户在创建ModelArts的专属资源池过程中,如果需要开启自定义网络配置,需要配置VPC权限。 VPC FullAccess 可选
子网的网络ID,默认为空,当配置了vpc_id则此参数必填。需填写虚拟私有云控制台子网详情中显示的“网络ID”。通过子网可提供与其他网络隔离的、可以独享的网络资源。 security_group_id 否 String 安全组,默认为空,当配置了vpc_id则此参数必填。安全组起着虚拟防火墙的作用,为服务实例提供安
REINSTALLINGOS: 重装操作系统中: REINSTALLINGOS_FAILED。重装操作系统失败。 vpc_id String 实例所在虚拟私有云ID。 endpoints Array of EndpointsRes objects 服务器的私有IP信息。 image ServerImageResponse
REINSTALLINGOS: 重装操作系统中: REINSTALLINGOS_FAILED。重装操作系统失败。 vpc_id String 实例所在虚拟私有云ID。 endpoints Array of EndpointsRes objects 服务器的私有IP信息。 image ServerImageResponse
相关资源。 监控和报告任何异常活动,并及时采取措施。 推理部署安全责任 提供商 底层ecs相关的系统补丁修复 k8s的版本更新和漏洞修复 虚拟机OS的版本生命周期维护 ModelArts推理平台自身的安全合规性 容器应用服务加固 模型运行环境的版本更新和漏洞定期修复 客户侧 资源的授权,访问控制
SMN消息服务 授予子账号使用SMN消息服务的权限。SMN消息通知服务配合CES监控告警功能一起使用。 SMN FullAccess 可选 VPC虚拟私有云 子账号在创建ModelArts的专属资源池过程中,如果需要开启自定义网络配置,需要配置VPC权限。 VPC FullAccess 可选
REINSTALLINGOS: 重装操作系统中: REINSTALLINGOS_FAILED。重装操作系统失败。 vpc_id String 实例所在虚拟私有云ID。 endpoints Array of EndpointsRes objects 服务器的私有IP信息。 image ServerImageResponse
容器镜像服务SWR SWR Admin 应用运维管理服务AOM AOM FullAccess 密钥管理服务KMS KMS CMKFullAccess 虚拟私有云服务VPC VPC FullAccess AI开发平台ModelArts ModelArts CommonOperations ModelArts
过40秒。数据从平台发送到服务,服务预测推理,再将结果返回的时间不超过限制,可以成功返回预测结果。当服务预测的时间过长或者频繁预测导致服务接收不过来请求,即会出现该报错。 可以通过以下方式解决问题: 服务预测请求内容过大时,会因数据处理慢导致请求超时,优化预测代码,缩短预测时间。
Training OBS Path OBS路径(该路径必须是存在的),用于保存代码和训练模型及日志的输出 Running Parameters 训练脚本接收的参数。 Specifications 计算规格,这里选择Ascend类型的,以界面实际可选值为准。 Compute Node 节点数(单机训练默认为1)
行命令。为了方便理解,下面将ModelArts CLI统称为ma-cli。ma-cli支持用户在ModelArts Notebook及线下虚拟机中与云端服务交互,使用ma-cli命令可以实现命令自动补全、鉴权、镜像构建、提交ModelArts训练作业、提交DLI Spark作业、OBS数据复制等。
REINSTALLINGOS: 重装操作系统中: REINSTALLINGOS_FAILED。重装操作系统失败。 vpc_id String 实例所在虚拟私有云ID。 endpoints Array of EndpointsRes objects 服务器的私有IP信息。 image ServerImageResponse
参考Tailor指导文档。 在某些推理场景中,模型输入的shape可能是不固定的,因此需要支持用户指定模型的动态shape,并能够在推理中接收多种shape的输入。在CPU上进行模型转换时无需考虑动态shape问题,因为CPU算子支持动态shape;而在昇腾场景上,算子需要指定具