检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文档。 附:decord在arm版本安装参考 由于训练使用decord的Python包没有arm版本,请自行进行编译安装,以下给出安装编译教程仅供参考: decord包编译 可参考如下脚本: bash install_decord.sh # install_decord.sh内容如下
文档。 附:decord在arm版本安装参考 由于训练使用decord的Python包没有arm版本,请自行进行编译安装,以下给出安装编译教程仅供参考: decord包编译 可参考如下脚本: bash install_decord.sh # install_decord.sh内容如下
版本。 说明: 如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。 表2 基础容器镜像地址 配套软件版本 镜像用途 镜像地址 配套 获取方式 6.3
rc1-py_3.9-hce_2.0.2312-aarch64-snt9b-20240516142953-ca51f42 从SWR拉取。 获取软件 本教程使用的是Open-clip源码包。 昇腾适配过程通过修改训练脚本方式实现,不涉及其他软件获取。 Step1 准备环境 请参考Lite Server资源开通,购买Lite
获取路径:Support-E 说明: 如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。 表2 基础容器镜像地址 配套软件版本 镜像用途 镜像地址 配套 获取方式 6.3
for i in $(seq 0 7);do hccn_tool -i $i -net_health -g;done 容器化个人调测环境搭建 准备业务基础镜像。 当前推荐的开发模式是在物理机上启动自己的docker容器进行开发。容器镜像可以使用自己的实际业务镜像,也可以使用Mo
附:decord和triton在arm版本安装参考 由于训练使用decord和triton的Python包没有arm版本,请自行进行编译安装,以下给出安装编译教程仅供参考: decord包编译 可参考如下脚本: bash install_decord.sh # install_decord.sh内容如下
数据保护技术 ModelArts通过多种数据保护手段和特性,保障存储在ModelArts中的数据安全可靠。 数据保护手段 说明 静态数据保护 对于AI Gallery收集的用户个人信息中的敏感信息,如用户邮箱和手机号,AI Gallery在数据库中做了加密处理。其中,加密算法采用了国际通用的AES算法。
练作业。 ubuntu-18.04 cann-6.3.RC2 (商用版本) python-3.7.13 mindspore-2.1.1 本教程以cann-6.3.RC2、mindspore-2.1.1为例介绍。 本示例仅用于示意Ascend容器镜像制作流程,且在匹配正确的Asce
MODEL_NAME model ENTRYPOINT [] CMD /bin/bash /home/mind/run.sh Triton框架迁移操作步骤 本教程基于nvidia官方提供的nvcr.io/nvidia/tritonserver:23.03-py3镜像进行适配,使用开源大模型llama7b进行推理任务。
Notebook Cache盘告警上报 创建Notebook时,可以根据业务数据量的大小选择CPU、GPU或者Ascend资源,对GPU或Ascend类型的资源,ModelArts会挂载硬盘至“/cache”目录,用户可以使用此目录来储存临时文件。 当前开发环境的Cache盘使用
准备文本分类数据 使用ModelArts自动学习构建模型时,您需要将数据上传至对象存储服务(OBS)中。OBS桶需要与ModelArts在同一区域。 数据集要求 文件格式要求为txt或者csv,文件大小不能超过8MB。 以换行符作为分隔符,每行数据代表一个标注对象。 文本分类目前只支持中文。
从OBS目录导入数据规范说明 导入数据集时,使用存储在OBS的数据时,数据的存储目录以及文件名称需满足ModelArts的规范要求。 当前只有“图像分类”、“物体检测”、“图像分割”、“文本分类”和“声音分类”标注类型支持按标注格式导入。 其中,“表格”类型的数据集,支持从OBS
Cluster资源池节点故障如何定位 故障说明和处理建议 图1 Lite池故障处理流程 对于ModelArts Lite资源池,每个节点会以DaemonSet方式部署node-agent组件,该组件会检测节点状态,并将检测结果写到K8S NodeCondtition中。同时,节点
MiniCPM-V2.0推理及LoRA微调基于Lite Server适配PyTorch NPU指导(6.3.910) 本文档主要介绍如何在ModelArts Lite的Server环境中,使用NPU卡对MiniCPM-V2.0进行LoRA微调及推理。本文档中提供的训练脚本,是基于