检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
E表示作业的配置文件路径,如果不指定该参数,则表示配置文件为空。配置文件是一个YAML格式的文件,里面的参数就是命令的option参数。此外,如果用户在命令行中同时指定YAML_FILE配置文件和option参数,命令行中指定的option参数的值将会覆盖配置文件相同的值。 命令参数预览
open”如何解决? 问题现象 原因分析 原因分析一:密钥文件未放在指定路径,详情请参考安全限制或VS Code文档。请参考解决方法一处理。 原因分析二:当操作系统为macOS/Linux时,可能是密钥文件或放置密钥的文件夹权限问题,请参考解决方法二处理。 解决方法 解决方法一:
txt”的文件,并且在文件中指定此whl包的包名。依赖包必须为“.whl”格式的文件。 例如,“代码目录”对应的OBS路径下,包含模型文件、whl包,同时还存在“pip-requirements.txt”文件。“代码目录”的结构如下所示: |---模型启动文件所在OBS文件夹
open”如何解决? 问题现象 原因分析 原因分析一:密钥文件未放在指定路径,详情请参考安全限制或VS Code文档。请参考解决方法一处理。 原因分析二:当操作系统为macOS/Linux时,可能是密钥文件或放置密钥的文件夹权限问题,请参考解决方法二处理。 解决方法 解决方法一:
CommonOperations权限只能二选一,不能同时选。 SFS弹性文件服务 弹性文件服务SFS Turbo的所有权限。使用SFS服务时需要配置。 ECS弹性云服务器 弹性云服务器所有权限。使用ECS服务时需要配置。 SWR容器镜像仓库 容器镜像仓库所有权限。使用SWR服务
fest文件。 Manifest文件中定义了标注对象和标注内容的对应关系。Manifest文件中也可以只有原始文件信息,没有标注信息,如生成的未标注的数据集。 Manifest文件使用UTF-8编码,Manifest处理程序需具备UTF-8处理能力。 Manifest文件中文本分
可以在OBS桶中创建一个父级目录,目录下面设置不同的文件夹,将多个数据集分别导出到这些文件夹里面,最后用父目录创数据集即可。 登录ModelArts管理控制台,选择“数据管理>数据集”进入数据集概览页,单击右上角“导出”,将对应的数据集到导出至OBS父级目录下的子文件夹中。 父主题: Standard数据管理
reboot 第一条命令为安装Linux内核头文件和内核镜像,其中版本为5.4.0-144-generic。 第二条命令为重新生成GRUB引导程序的配置文件,用于在启动计算机时加载操作系统, 命令将使用新安装的内核镜像更新GRUB的配置文件,以便在下次启动时加载新的内核。 父主题: Lite
创建完成后,跳转至数据集详情页。 上传数据集文件 在数据集详情页,选择“数据集文件”页签。 单击“添加文件”,进入上传文件页面,选择本地的数据文件单击“点击上传”或拖动文件,单击“确认上传”启动上传。 上传单个超过5GB的文件时,请使用Gallery CLI工具。CLI工具的获取和使用请参见Gallery
llama2系列模型执行脚本的文件夹 |──llama3 # llama3系列模型执行脚本的文件夹 |──qwen # Qwen系列模型执行脚本的文件夹
USE_MM_ALL_REDUCE_OP 配置后重启推理服务生效。 查看详细日志 查看详细耗时日志可以辅助定位性能瓶颈,但会影响推理性能。如需开启,配置以下环境变量。 export DETAIL_TIME_LOG=1 export RAY_DEDUP_LOGS=0 关闭详细日志命令: unset DETAIL_TIME_LOG
administrator. 请联系技术支持。 异常 模型文件xxx大于5G,无法导入。 Model file %s is larger than 5G and cannot be imported. 模型文件xxx大于5G,请精简模型文件后重试,或者使用动态加载功能进行导入。FAQ 异常
在ModelArts的Notebook或者CodeLab中已创建好ipynb文件,开发指导可参见开发工具。 发布Notebook 登录ModelArts管理控制台。 进入JupyterLab页面,在待分享的ipynb文件右侧,单击“创建分享”按钮,弹出“发布AI Gallery Notebook”页面。
”。 图12 Open Folder 图13 选择文件路径 此时,会在IDE左侧出现该开发环境下的目录结构,选择想要上传的代码及其他文件,拖拽至目录对应的文件夹内即完成本地代码上传至云端。 在VS Code中打开要执行的代码文件,在执行代码之前需要选择合适的Python版本路径,
PyTorch:2.1.0 Step1 创建ECS 下文中介绍如何在ECS中构建一个推理镜像,请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤,可根据默认选择,或进行自定义。创建完成后,单击“远程登录”,后续安装Docker等操作均在该ECS上进行。 注意:CPU架构必
训练加速 训练高可靠性 查看训练结果和日志 查看训练作业详情 训练作业运行中或运行结束后,可以在训练作业详情页面查看训练作业的参数设置,训练作业事件等。 查看训练作业日志 训练日志用于记录训练作业运行过程和异常信息,可以通过查看训练作业日志定位作业运行中出行的问题。 表2 训练作业的创建方式介绍
volumes属性列表 参数 参数类型 说明 nfs object 共享文件系统类型的存储卷。仅支持运行于已联通共享文件系统网络的资源池的训练作业。具体请参见表14。 host_path object 主机文件系统类型的存储卷。仅支持运行于专属资源池中的训练作业。具体请参见表15。
发送HTTP(S)费用构成:HTTP(S)+外网下行流量 运行日志(不开启则不计费) 由云日志服务(LTS)提供日志收集、分析、存储等服务。 部署服务时,开启“运行日志输出”后,日志数据超出LTS免费额度后,会产生费用。具体可云日志服务价格详情 按实际日志量付费 超过免费额度后,按实际日志存储量和存储时长收费 计费示例
修改lr_scheduler.py文件,把第27行:t_mul=1. 注释掉。 修改data文件夹下imagenet22k_dataset.py,把第28行:print("ERROR IMG LOADED: ", path) 注释掉。 修改data文件夹下的build.py文件,把第112行:prefix
Client、OBS Client。 OBS管理概述 ModelArts SDK支持对OBS的SDK接口进行调用,包括创建OBS桶,上传/下载文件和文件夹,删除OBS对象和桶。 ModelArts SDK具体操作管理请参见如下章节: 数据管理 训练管理 模型管理 服务管理 介绍使用ModelArts