检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
预检工具使用包含以下三步:dump、run_ut以及api_precision_compare。基本步骤如下: 通过pip安装msprobe工具。 # shell pip install mindstudio-probe 获取NPU和GPU的dump数据。
使用步骤如下: 通过pip安装msprobe工具。 # shell pip install mindstudio-probe 获取NPU和标杆的dump数据。
在ModelArts的Notebook中如何获取本机外网IP? 本机的外网IP地址可以在主流搜索引擎中搜索“IP地址查询”获取。 图1 查询外网IP地址 父主题: Standard Notebook
subscription_id 是 String 工作流的消息订阅ID。
MA-Advisor性能调优建议工具使用指导 MA-Advisor是一款迁移性能问题自动诊断工具,其集成了昇腾自动诊断工具msprof-analyze,并在ModelArts Standard的Jupyter lab平台进行了插件化,能快速分析和诊断昇腾场景下PyTorch性能劣化问题并给出相关调优建议
MindStudio-Insight性能可视化工具使用指导 对于高阶的调优用户,可以使用可视化工具MindStudio Insight查看profiling数据详情并分析可优化点,其提供了丰富的调优分析手段,可视化呈现真实软硬件运行数据,多维度分析性能瓶颈点,支持百卡、千卡及以上规模的可视化集群性能分析
新建消息订阅Subscription 功能介绍 为Workflow工作流添加消息订阅功能。工作流已订阅的事件发生时,会产生消息提醒。 接口约束 无 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。
URI GET /v2/{project_id}/workflows/{workflow_id}/subscriptions/{subscription_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。
URI PUT /v2/{project_id}/workflows/{workflow_id}/subscriptions/{subscription_id} 表1 路径参数 参数 是否必选 参数类型 描述 subscription_id 是 String 消息订阅ID。
使用pip install时出现“没有空间”的错误 问题现象 在Notebook实例中,使用pip install时,出现“No Space left...”的错误。
前提条件 在ModelArts的Notebook或者CodeLab中已创建好ipynb文件,开发指导可参见开发工具。 发布Notebook 登录ModelArts管理控制台,选择“开发环境 > Notebook”。
前提条件 在ModelArts的Notebook或者CodeLab中已创建好ipynb文件,开发指导可参见开发工具。 发布Notebook 登录ModelArts管理控制台。
ping命令是一种基于ICMP协议(Internet Control Message Protocol)的网络诊断工具,利用ICMP协议向目标主机发送数据包并接收返回的数据包来判断网络连接质量。当安全组的入方向规则中没有包含ICMP协议,就会出现ping不通的问题。
pip install -r requirements-training.txt pip install -r requirements-test.txt pip install tensorboard Step5 获取训练数据集 使用img2dataset工具下载数据集。
处理方法 在ipynb文件中,执行%load XXX.py命令,即可将py文件内容加载到ipynb中。 以“test.py”文件为例,下图展示了如何将“test.py”的文件内容加载到ipynb文件中。
使用Lm-eval精度测评工具进行精度评测 使用lm-eval工具暂不支持pipeline_parallel方式,也不支持qwen-7b、qwen-14b、qwen-72b、chatglm2-6b、chatglm3-6b模型。 安装精度评测工具。
可能原因 配置MobaXterm工具时,没有勾选“SSH keepalive”或专业版MobaXterm工具的“Stop server after”时间设置太短。 解决方案 打开MobaXterm,单击菜单栏“Settings”,如图1 打开“Settings”所示。
通过OBS创建模型时,构建日志中提示pip下载包失败 问题现象 通过OBS创建模型构建失败,查看构建日志,提示pip下载包失败。如下载numpy 1.16版本失败。
如qwen2-7b <run_type>:训练策略类型及数据序列长度:【lora:4096-lora、full:4096-full、lora-8k:8192-lora、full-8k:8192-full】 --master_addr <master_addr>:主master节点IP
执行以下命令查看net.ipv4.ip_forward配置项的值,如果为1,可跳过此步骤。 sysctl -p | grep net.ipv4.ip_forward 如果net.ipv4.ip_forward配置项的值不为1,执行以下命令配置IP转发。