检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在部署服务详情中单击“调用指南”,第二行的API接口公网地址即为APP认证调用地址,展开后即可看到AppCode值。 图5 调用指南 在postman调试预测采用AppCode认证: 请求POST URL填APP认证调用地址 请求头Headers中KEY参数为X-Apig-App
在下拉框中选择,如果没有可用网络,单击右侧的“创建”,创建一个可用的网络。创建网络相关可以参考步骤一:创建网络章节。 IPv6网络 开启IPv6功能。如果开启了此功能,要求资源池绑定的网络也开启IPv6功能,网络开启IPv6可以参考步骤一:创建网络章节。该功能一旦开启,将不能关闭。 默认规格 CPU架构
集群在相同vpc下的某一台机器上。单击kubectl后的“配置”按钮。按照界面提示步骤操作即可。 图3 通过内网使用kubectl工具 通过公网使用kubectl工具,可以将kubectl安装在任一台可以访问公网的机器。 首先需要绑定公网地址,单击公网地址后的“绑定”按钮。 图4
您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。 表2 基础容器镜像地址 配套软件版本 镜像用途 镜像地址 配套 获取方式 6.3.907版本 基础镜像 swr.cn-southwest-2.myhuaweicloud
(VS Code) 是一个流行的代码编辑器,它支持多种编程语言和开发环境。支持通过VS Code连接和使用Jupyter Notebook。 当用户创建完成支持SSH的Notebook实例后,使用VS Code的开发者可以通过以下方式连接到开发环境中: VS Code一键连接Notebook(推荐)
错误码进一步定位错误原因 对照《黑匣子错误码信息列表》和《健康管理故障定义》进一步定位错误 NPU当前存在故障,可能导致客户业务终止 NPU HBM多ECC错误信息 NpuHbmMultiEccInfo 提示 NPU卡存在HBM的ECC错误,此事件上报相应错误信息 这是一个用于辅
此处根据ComfyUI官网描述进行配置。 下载SD模型并安装。部署好ComfyUI环境和依赖后,还需要将模型放到对应位置。 下载模型,模型下载地址:SD1.5模型地址 ,SDXL模型下载地址。根据需要下载对应的模型,如下图,并将模型上传到容器内自定义挂载的工作目录,容器默认使用ma-user用户,请注意修改文件访问权限。
在线服务实例部署的虚拟私有云ID,默认为空,此时ModelArts会为每个用户分配一个专属的VPC,用户之间隔离。如需要在服务实例中访问名下VPC内的其他服务组件,则可配置此参数为对应VPC的ID。VPC一旦配置,不支持修改。当vpc_id与cluster_id一同配置时,只有专属资源池参数生效。 否 str subnet_network_id
Server使用裸金属服务器时,如果升级/修改操作系统内核或者驱动,很可能导致驱动和内核版本不兼容,从而导致OS无法启动,或者基本功能不可用。如果需要升级/修改,请联系华为云技术支持。 ModelArts Lite Server使用ECS服务器时不支持重装操作系统,部分区域使用裸金属服务器时也不
数据等文件。container_dir为要挂载到的容器中的目录。为方便两个地址可以相同。 shm-size:共享内存大小。 ${container_name}:容器名称,进入容器时会用到,此处可以自己定义一个容器名称。 ${image_id}:镜像ID,通过docker images查看刚拉取的镜像ID。
内容 SDK简介 简要介绍ModelArts SDK的概念。 快速开始 介绍如何使用ModelArts SDK进行二次开发。 (可选)本地服务器安装ModelArts SDK 介绍如何在本地安装ModelArts SDK。 (可选)Session鉴权 Session模块的主要作用是
正常打开页面,表示当前用户具备SFS的操作权限。 验证ECS权限。 在左上角的服务列表中,选择ECS服务,进入ECS管理控制台。 在ECS管理控制台,单击右上角的“购买弹性云服务器”,如果能正常打开页面,表示当前用户具备ECS的操作权限。 验证VPC权限。 在左上角的服务列表中,选择VPC服务,进入VPC管理控制台。
您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。 表2 基础容器镜像地址 配套软件版本 镜像用途 镜像地址 配套 获取方式 6.3.908版本 基础镜像 swr.cn-southwest-2.myhuaweicloud
此处根据ComfyUI官网描述进行配置。 下载SD模型并安装。部署好ComfyUI环境和依赖后,还需要将模型放到对应位置。 下载模型,模型下载地址:sd1.5模型地址 ,sdxl下载地址。根据自己的需要下载对应的模型,如下图,并将模型上传到容器内自定义挂载的工作目录。 图2 模型列表 将模型复制到/ho
source_labels: [__address__] # 指定获取指标数据的地址和端口号为__address__:9390,__address__为POD的IP地址,也是节点IP地址 action: replace regex: '(
x86_x64架构的主机为例,您可以购买相同规格的ECS或者应用本地已有的主机进行自定义镜像的制作。 购买ECS服务器的具体操作请参考购买并登录弹性云服务器。镜像选择公共镜像,推荐使用ubuntu18.04的镜像。 图1 创建ECS服务器-选择X86架构的公共镜像 登录主机后,安装D
token延迟。该方式实现简单,能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试:评估在请求并发在一定范围内波动,且输入输出长度也在一定范围内变化时,模型的延迟和吞吐。该场景能模拟实际业务下动态的发送不同长度请求,能评估推理框架在实际业务中能支持的并发数。
资源池推理服务一直初始化中如何解决 问题现象 创建资源池时作业类型选择了推理服务,资源池创建成功后推理一直显示“环境初始化。 原因分析 专属池网段和推理微服务dispatcher网段冲突,导致专属池上的VPCEP终端节点无法创建,该region无法使用此网段创建包含推理服务的资源池。
参考如下Dockerfile文件内容来基于ModelArts提供的训练基础镜像来构建一个新镜像。将编写好的Dockerfile文件放置在context文件夹内。训练基础镜像地址请参见训练专属预置镜像列表。 FROM {ModelArts提供的训练基础镜像地址} # 配置pip RUN mkdir -p /home/ma-user/
ModelArts SDK支持在本地安装配置使用。使用时,需进行Session鉴权。 本地安装SDK。如果本地未安装SDK,可参考(可选)本地服务器安装ModelArts SDK安装;如果本地已安装,则无需再次安装。 进行Session鉴权。可参见(可选)Session鉴权完成鉴权。鉴权完成后,即可开始使用。