正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Face权重(可与tokenizer相同文件夹)时,对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/work/model/llama-2-13b-chat-hf 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF_WEIGHT路径相同。若用户需要将Hugging
VPC下创建弹性云服务器 登录弹性云服务器ECS控制台,单击右上角“购买弹性云服务器”,进入购买弹性云服务器页面,完成基本配置后单击“下一步:网络配置”,进入网络配置页面,选择1中打通的VPC,完成其他参数配置,完成高级配置并确认配置,下发购买弹性云服务器的任务。等待服务器的状态变为
本教程中用到的模型软件包如下表所示,请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6.3.907-xxx.zip 说明: 软件包名称中的xxx表示时间戳。
令。在创建的ECS中复制临时登录指令,即可完成登录。 图2 复制登录指令 登录指令输入之后,使用下列示例命令。 docker tag sdxl-train:0.0.1 <镜像仓库地址>/<组织名称>/<镜像名称>:<版本名称> docker push <镜像仓库地址>/<组织名称>/<镜像名称>:<版本名称>
benchmark_serving.csv --backend:服务类型,如tgi,vllm,mindspore、openai。 --host ${docker_ip}:服务部署的IP地址,${docker_ip}替换为宿主机实际的IP地址。 --port:推理服务端口。 --dataset:数据集路径。
安装过程需要连接互联网git clone,确保容器可以访问公网。 Step1 检查环境 SSH登录机器后,检查NPU设备检查。运行如下命令,返回NPU设备信息。 npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l
图2 AI应用的自定义镜像制作场景二 场景三:预置镜像既不满足软件环境要求,同时需要放入模型包,新的镜像超过35G,在服务器(如ECS)上制作。具体案例参考在ECS中通过Dockerfile从0制作自定义镜像用于推理。 图3 AI应用的自定义镜像制作场景三 约束限制 自定义镜像中不能包含恶意代码。
使用的数据可以存储至OBS。 弹性云服务器 弹性云服务器(Elastic Cloud Server,ECS)是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。弹性云服务器创建成功后,您就可以像使用自己的本地PC或物理服务器一样,使用弹性云服务器。 在制作自定义镜像时,您可以
找不到训练输入数据路径,可能是报错的路径填写不正确。用户请按照以下思路进行逐步排查: 检查报错的路径是否为OBS路径 检查报错的路径是否存在 找不到启动文件,可能是训练作业启动命令的路径填写不正确,参考使用自定义镜像创建训练作业时,检查启动文件路径排查解决。 可能为多个进程或者worker读写同一个文
如果升级/修改操作系统内核或者驱动,很可能导致驱动和内核版本不兼容,从而导致OS无法启动,或者基本功能不可用。相关高危命令如:apt-get upgrade。 高 如果需要升级/修改,请联系华为云技术支持。 切换或者重置操作系统。 服务器在进行过“切换或者重置操作系统”操作后,EVS系统盘ID发生变化,和下单时订单中的EVS
objects 服务器的私有IP信息。 image ServerImageResponse object 服务器镜像信息。 表5 CloudServer 参数 参数类型 描述 id String 服务器资源id。 type String DevServer服务器类型。枚举值如下:
objects 服务器的私有IP信息。 image ServerImageResponse object 服务器镜像信息。 表5 CloudServer 参数 参数类型 描述 id String 服务器资源id。 type String DevServer服务器类型。枚举值如下:
t add命令。在左下方输入本次提交的Message,单击“Commit”,相当于执行了git commit命令。 图8 提交修改内容 此时,可以在“History”页签下看到本地提交已成功。 图9 查看是否提交成功 单击“push”按钮,相当于执行git push命令,即可提交
在左侧菜单栏选择“访问权限控制>桶ACLs”,检查当前账号是否具备读写权限,如果没有权限,请联系桶的拥有者配置权限。 在左侧菜单栏选择“访问权限控制>桶策略”,检查当前OBS桶是否允许子用户访问。 检查训练作业的代码目录和启动文件地址 进入ModelArts管理控制台,在“作业管理
执行镜像保存时,Notebook中存在状态为D的进程,会导致镜像保存失败。 解决方案 在Terminal里执行ps -aux命令检查进程。 执行kill -9 <pid>命令将相关进程结束后,再次执行镜像保存即可。 父主题: 镜像保存故障
在Notebook中上传文件失败,如何解决? 问题现象 文件上传很快,但是上传失败。 上传文件到Notebook时,界面一直在转圈;使用Moxing命令上传,报错;上传OBS文件时,打开OBS浏览器也不显示桶,一直在“获取数据中”。 在JupyterLab界面通过ModelArts Upload
y部分需要根据模型的要求如前处理脚本的要求,如自定义镜像的要求进行输入。 处理方法 Header: 在调用指南页签上最多可以获取到两个api地址,分别是支持IAM/AKSK认证的地址以及支持APP认证的地址,对于支持不同认证方式的地址, 对header的组织也不同,具体如下: I
准备好。 获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示,模型列表、对应的开源权重获取地址如表2所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6.3.906-xxx.zip 说明: 软件包名称中的xxx表示时间戳。
服务部署、启动、升级和修改时,拉取镜像失败如何处理? 服务部署、启动、升级和修改时,镜像不断重启如何处理? 服务部署、启动、升级和修改时,容器健康检查失败如何处理? 服务部署、启动、升级和修改时,资源不足如何处理? 模型使用CV2包部署在线服务报错 服务状态一直处于“部署中” 服务启动后,状态断断续续处于“告警中”
自定义镜像中的代码开放的端口 图3 创建AI应用界面上配置的端口 健康检查配置有问题 镜像如果配置了健康检查,服务启动失败,从以下两个方面进行排查: 健康检查端口是否可以正常工作 自定义镜像中配置了健康检查,需要在测试镜像时,同步测试健康检查接口是否可以正常工作,具体参考从0-1制作自定义镜像并创建AI应用中的本地验证镜像方法。