检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在ModelArts的Notebook中如何对OBS的文件重命名? 在ModelArts的Notebook中如何使用pandas库处理OBS桶中的数据? 在ModelArts的Notebook中,如何访问其他账号的OBS桶?
应用迁移 模型适配 pipeline代码适配 父主题: 基于AIGC模型的GPU推理业务迁移至昇腾指导
bash:/home/ma-user/.pip/pip.conf:Permission Denied 因从V1切换到V2时,ma-user的uid仍是1102未改变导致。
基于AIGC模型的GPU推理业务迁移至昇腾指导 场景介绍 迁移环境准备 pipeline应用准备 应用迁移 迁移效果校验 模型精度调优 性能调优 常见问题 父主题: GPU业务迁移至昇腾训练推理
使用pip install时出现“没有空间”的错误 出现“save error”错误,可以运行代码,但是无法保存 出现ModelArts.6333错误,如何处理? 打开Notebook实例提示token不存在或者token丢失如何处理? 父主题: 开发环境
迁移效果校验 在pipeline适配完成后,需要验证适配后的效果是否满足要求,通过对比原始onnx pipeline的最终输出结果确认迁移效果。如果精度和性能都没有问题,则代表迁移完成。
在桶的详情页,左侧导航栏选择“对象”,在右侧“名称”列选中不需要的存储对象,单击操作列的“更多>删除”,即可删除相应的存储对象。 常见问题 创建数据集时找不到创建的OBS桶,请查看OBS桶与ModelArts是否在同一个区域。 数据校验节点失败。
例如,“代码目录”对应的OBS路径下,包含模型文件、whl包,同时还存在“pip-requirements.txt”文件。
通过OBS导入模型时,如何编写打印日志代码才能在ModelArts日志查询界面看到日志 通过OBS创建模型时,构建日志中提示pip下载包失败 通过自定义镜像创建模型失败 导入模型后部署服务,提示磁盘不足 创建模型成功后,部署服务报错,如何排查代码问题 自定义镜像导入配置运行时依赖无效
PyTorch NPU的Finetune训练指导(6.3.905) SDXL基于Lite Server适配PyTorch NPU的LoRA训练指导(6.3.905) SD1.5基于Lite Server适配PyTorch NPU Finetune训练指导(6.3.904) Open-Clip
目前,提供的MoXing Framework功能中主要包含操作OBS组件,即下文中描述的mox.file接口。 Moxing主要使用场景为提升从OBS读取和下载数据的易用性,适配对象为OBS对象桶,对于OBS并行文件系统部分接口可能存在问题,不建议使用。
请参考JupyterLab主页介绍、在JupyterLab中新建ipynb文件,新建一个ipynb文件然后执行脚本。 挂载脚本代码示例如下。更多API参数介绍请参考动态挂载OBS。
动态挂载OBS 功能介绍 在运行中的Notebook实例,支持将“OBS并行文件系统”挂载到实例中指定的文件目录,挂载后可以在容器中以文件系统操作方式完成OBS并行文件系统对象的读写。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。
IPV6:开启IPv6功能后,将自动为子网分配IPv6网段,暂不支持自定义设置IPv6网段,该功能一旦开启,将不能关闭。
训练作业运行失败,返回错误码139,如下图所示: [Modelarts Service Log]Training end with reeturn code: 139 INFO:root:Using MoXing-v1.17.2-c806a92f INFO;root:Using OBS-Python-SDK
环境)的pip进行安装。
OBS管理 OBS管理概述 文件传输(推荐) 上传文件至OBS 上传文件夹至OBS 从OBS下载文件 从OBS下载文件夹
device_ip:当前卡的IP地址,每台机器共8张卡。device_ip查询命令 for i in {0..7};do hccn_tool -i $i -ip -g; done server_id:当前Server节点的IP地址,涉及4台机器。
图1 mc2融合算子错误 解决方法 修改代码文件:AscendFactory/scripts_modellink/{model_name}/3_training.sh文件,去除以下mc2融合算子--mc2 父主题: 常见错误原因和解决方法
OBS对象存储服务 具有对象存储服务(OBS)查看桶列表、获取桶元数据、列举桶内对象、查询桶位置、上传对象、获取对象、删除对象、获取对象ACL等对象基本操作权限。 配置IAM权限 配置ModelArts委托权限 配置SWR组织权限 测试用户权限 父主题: 基本配置