检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
permission.)。 图2 复制模型文件失败 原因分析 由于ModelArts的使用权限依赖OBS服务的授权,需要为用户授予OBS的系统权限。子用户的IAM权限是由其主用户设置的,如果主用户没有赋予OBS的putObjectAcl权限即会导致创建模型构建失败。 处理方法 了
机器或资源池无法连通网络,并无法git clone下载代码、安装python依赖包的情况下,用户则需要找到已联网的机器(本章节以Linux系统机器为例)提前下载资源,以实现离线安装。用户可遵循以下步骤操作。 步骤一:资源下载 Python依赖包下载:进入 scripts/install
swr_path String SWR镜像地址。 tag String 镜像Tag。 type String 镜像类型。枚举值如下: BUILD_IN:系统内置镜像。 DEDICATED:用户保存的镜像。 update_at Long 镜像最后更新的时间,UTC毫秒。 visibility String
在数据集列表页面,单击某个数据集的名称,进入数据集详情页中,单击“同步数据源”,同步OBS中的数据。 图3 在数据集详情页中同步数据源 在数据标注的标注作业详情中添加数据。 图4 标注作业详情中添加数据 父主题: 导入数据到ModelArts数据集
nfs-common 获取SFS Turbo的挂载命令。 进入弹性文件服务SFS管理控制台。 选择“SFS Turbo”进入文件系统列表,单击文件系统名称,进入详情页面。 在“基本信息”页签获取并记录“Linux挂载命令”。 在ECS服务器中挂载NFS存储。 首先保证对应目录存在,然后输入对应指令即可。命令参考:
选择运行中的Notebook实例,单击实例名称,进入Notebook实例详情页面,单击“扩容”。 图2 Notebook实例详情页 设置待扩充的存储容量大小,单击“确定”。系统显示“扩容中”,扩容成功后,可以看到扩容后的存储容量。 图3 扩容 图4 扩容中 父主题: 管理Notebook实例
open”如何解决? 问题现象 原因分析 原因分析一:密钥文件未放在指定路径,详情请参考安全限制或VS Code文档。请参考解决方法一处理。 原因分析二:当操作系统为macOS/Linux时,可能是密钥文件或放置密钥的文件夹权限问题,请参考解决方法二处理。 解决方法 解决方法一: 请将密钥放在如下路径或其子路径下:
看日志详情。 登录ModelArts Studio控制台,在“模型调优”页面单击目标作业,在作业详情的日志页签查看详情。 登录ModelArts控制台,在“模型训练 > 训练作业”页面单击目标作业,在日志页签查看详情。 MOSS 添加数据集 选择存放训练数据集的OBS路径,必须选择到1上传的jsonl文件。
write(ttf.content) 35 # FONT_PATH = "SimSun.ttf" FONT_PATH = os.path.join(os.getenv('DATA'), "SimSun.ttf") 父主题: 训练脚本说明
点续训 企业在具体使用大模型接入企业应用系统的时候,不仅要考虑模型体验情况,还需要考虑模型具体的精度效果,和实际应用成本。 MaaS提供灵活的模型开发能力,同时基于昇腾云的算力底座能力,提供了若干保障客户商业应用的关键能力。 保障客户系统应用大模型的成本效率,按需收费,按需扩缩的
Step7 创建训练作业 创建训练作业,填下如下参数。 创建方式:选择自定义算法,启动方式选择自定义,然后选择上传到SWR的自定义镜像。 代码目录:选择上传到OBS的代码文件夹,例如/sdxl-train/code。若用户需要修改代码文件,可修改OBS桶中代码文件,创建训练作业时,会将OB
查询单个样本详情 根据样本ID查询数据集中指定样本的详细信息。 dataset.get_sample_info(sample_id) 示例代码 根据ID查询数据集中样本的详细信息 from modelarts.session import Session from modelarts
创建导入任务 支持从OBS中导入新的数据,导入方式包括目录导入和Manifest文件导入。 dataset.import_data(path=None, anntation_config=None, **kwargs) 不同类型的数据集支持的导入方式如表1所示。 表1 不同数据集支持的导入方式
创建标注任务 基于数据集创建标注任务。 dataset.create_label_task(self, task_name=None, task_type=None, **kwargs) 示例代码 示例一:基于图像类型的数据集创建物体检测标注任务。 from modelarts.session
第一条命令为安装Linux内核头文件和内核镜像,其中版本为5.4.0-144-generic。 第二条命令为重新生成GRUB引导程序的配置文件,用于在启动计算机时加载操作系统, 命令将使用新安装的内核镜像更新GRUB的配置文件,以便在下次启动时加载新的内核。 父主题: Lite Server
场景介绍 本文介绍如何将客户已有的PyTorch训练业务迁移到昇腾设备上运行并获得较好的模型训练效果。华为云ModelArts针对该场景提供了系统化的迁移指导,包括迁移原理、迁移流程以及迁移后的精度调试及性能调优方法介绍。此外,ModelArts提供了即开即用的云上集成开发环境,包含
批量删除样本 根据样本的ID列表批量删除数据集中的样本。 dataset.delete_samples(samples) 示例代码 批量删除数据集中的样本 from modelarts.session import Session from modelarts.dataset import
解析Manifest文件 解析Manifest文件,支持本地和OBS。如果是OBS,需要Session信息。 manifest.parse_manifest(manifest_path, encoding='utf-8') 示例代码 通过Manifest路径来解析获取Manifest的信息。
A系列裸金属服务器已经安装了IB驱动。(网卡设备名称可以使用ibstatus或者ibstat获取。华为云Ant8裸金属服务器使用Ubuntu20.04操作系统默认已经安装IB驱动。) 操作步骤 方法1:使用mlx硬件计数器,估算ROCE网卡收发流量 统计300s内流量,统计脚本如下: x=$(cat
tebook”,单击“创建”,如果可以正常打开创建页面,说明具备ModelArts的操作权限。 您也可以尝试其他功能,例如“训练管理>训练作业”等,如能正常打开创建页面,即可正常使用ModelArts。 验证OBS权限。 在左上角的服务列表中,选择OBS服务,进入OBS管理控制台。