检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--filter String 否 镜像名关键字。根据镜像名关键字过滤镜像列表。 -v / --verbose Bool 否 显示详细的信息开关,默认关闭。 -i / --image-id String 否 查询指定镜像ID的镜像详情。 -n / --image-name String 否 查询指定镜像名称的镜像详情。
Stopping service. - 正常 服务已停止。 Service stopped. - 正常 自动停止开关已关闭。 Auto-stop switched off. - 正常 自动关闭功能开启,服务将在xs后停止。 Auto-stop switched on, service will be
com/SafeAILab/EAGLE/ 版本实现 xport ENABLE_SPEC_METRIC=0 # 是否关闭投机推理的metric采集功能,关闭有助于提升投机推理性能,默认关闭 如果需要使用eagle投机推理功能,需要进入lm_tools/spec_decode/EAGLE 文件
返回新版自动学习页面,单击数据标注节点的“继续运行”,然后等待工作流按顺序进入训练节点。 模型将会自动进入训练,无需人工介入,训练时间相对较长,建议您耐心等待。如果关闭或退出此页面,系统仍然在执行训练操作。 在“文本分类”节点中,待训练状态由“运行中”变为“运行成功”,即完成模型的自动训练。 图2 运行成功
支持节点新进入集群,默认启用准入检测,以能够拉起真实的GPU/NPU检测任务 支持集群扩容时,扩容的节点默认开启准入检测,该准入检测也可关闭,以提升拉起真实的GPU/NPU检测任务成功率。 父主题: 功能介绍
在新版自动学习页面,单击数据标注节点的“继续运行”按钮,然后等待工作流按顺序进入训练节点即可。 模型将会自动进入训练,无需人工介入,训练时间相对较长,建议您耐心等待。如果关闭或退出此页面,系统仍然在执行训练操作。 在“图像分类”节点中,待训练状态由“运行中”变为“运行成功”,即完成了模型的自动训练。 训练完成后
会增加单卡的显存占用。不建议开启词表并行,如确需使用词表切分,配置以下环境变量。 export USE_VOCAB_PARALLEL=1 关闭词表切分的命令: unset USE_VOCAB_PARALLEL 配置后重启推理服务生效。 Matmul_all_reduce融合算子
“导入方式”:“manifest”。 “Manifest文件”:存储Manifest文件的OBS路径。 “数据标注状态”:已标注。 “高级特征选项 ”:默认关闭,可通过勾选高级选项提供增强功能。 “按标签导入”:系统将自动获取此数据集的标签,您可以单击“添加标签”添加。此字段为可选字段,您也可以在
设置“升级为WebSocket”后,不支持设置“服务流量限制”。 “升级为WebSocket”参数配置,不支持修改。 “运行日志输出” - 默认关闭,在线服务的运行日志仅存放在ModelArts日志系统,在服务详情页的“日志”支持简单查询。 如果开启此功能,在线服务的运行日志会输出存放
#查询nginx进程 ps -ef |grep nginx #关闭所有nginx相关进程 kill -9 {进程ID} #运行run.sh脚本 sh run.sh 也可以执行pkill nginx命令直接关闭所有nginx进程。 #关闭所有nginx进程 pkill nginx #运行run
认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; # 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。 __AK = os
modelarts/ma-cli-profile.yaml配置文件; -P表示鉴权文件中的某一组鉴权信息,默认是DEFAULT; -D表示是否开启debug模式(默认关闭),当开启debug模式后,命令的报错堆栈信息将会打印出来,否则只会打印报错信息; -h表示显示命令的帮助提示信息。 命令说明 表1 ma-cli支持的命令
com/SafeAILab/EAGLE/ 版本实现,默认开启 export ENABLE_SPEC_METRIC=0 # 是否关闭投机推理的metric采集功能,关闭有助于提升投机推理性能,默认关闭 如果需要使用eagle投机推理功能,需要进入 lm_tools/spec_decode/EAGLE 文
export USE_VOCAB_PARALLEL=1 # 是否使用词表并行;默认值为1表示开启并行,取值为0表示关闭并行。对于词表较小的模型(如llama2系模型),关闭并行可以减少推理时延,对于词表较大的模型(如qwen系模型),开启并行可以减少显存占用,以提升推理吞吐量。 export
在ECS服务器中安装obsutil工具,具体命令可参考obsutil工具快速使用,将OBS桶中的数据下载至SFS Turbo中。注意:需要使用用户账号中的AK和SK进行签名验证,确保通过授权的账号才能访问指定的OBS资源。 父主题: 准备工作
需要的那个(如果容器镜像装了多个python,需要设置python路径的环境变量)。 测试训练启动脚本。 优先使用手工进行数据复制的工作并验证 一般在镜像里不包含训练所用的数据和代码,所以在启动镜像以后需要手工把需要的文件复制进去。建议数据、代码和中间数据都放到"/cache"目
减慢创建文件的速度。如数据解压过程中,sleep 5s后再进行下一个数据的解压。 如果训练作业的工作目录下有core文件生成,可以在启动脚本最前面加上如下代码,来关闭core文件产生。并推荐先在开发环境中进行代码调试。 import os os.system("ulimit -c 0") 建议与总结 在
“指定用户”:表示仅特定用户可以查看及使用该资产。 “仅自己可见”:表示只有当前账号可以查看并使用该资产。 “时长限制”。 设置订阅者可以免费使用资产的时长,默认关闭,即无限期使用。如果打开时长限制,除了设置资产免费使用的时长,还可以设置到期后是否续订。 如果是更新已发布资产的版本。 “发布方式”选择“添加资产版本”。
进行中 npu-smi info 图7 查看卡信息 若想停止训练任务,可执行下述命令关闭进程,查询进程后显示已无运行中python进程。 pkill -9 python ps -ef 图8 关闭训练进程 limit/request配置cpu和内存大小,已知单节点Snt9B机器为:
示可被业务使用到的资源量。其中,CPU核数为微核,1000微核=1物理核。 如下图所示,支持对多节点批量进行删除、退订、重启、重置、开启/关闭高可用冗余操作,具体介绍请参见修复Standard专属资源池故障节点。还支持对节点批量添加、编辑、删除资源标签操作,“包年/包月”的节点支