检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
代码运行故障 Notebook运行代码报错，在'/tmp'中到不到文件 Notebook无法执行代码，如何处理？ 运行训练代码，出现dead kernel，并导致实例崩溃 如何解决训练过程中出现的cudaCheckError错误？ 如何处理使用opencv.imshow造成的内核崩溃？
删除Notebook实例 通过运行的实例保存成容器镜像 查询Notebook支持的有效规格列表 查询Notebook支持的可切换规格列表 查询运行中的Notebook可用时长 Notebook时长续约 启动Notebook实例 停止Notebook实例 获取动态挂载OBS实例信息列表 动态挂载OBS
_id1'].astype(str)) 建议与总结 在创建训练作业前，推荐您先使用ModelArts开发环境调试训练代码，避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE（Pycharm或者VSCode）联接
本案例需要创建一个Notebook，以便能够通过它访问SFS Turbo服务。随后，通过Notebook将OBS中的数据上传至SFS Turbo，并对存储在SFS Turbo中的数据执行编辑操作。 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、创建训练任务及性能查看。
软件配套版本 表1 获取软件 分类 名称 获取路径 插件代码包 AscendCloud-6.3.907软件包中的AscendCloud-AIGC-6.3.907-xxx.zip 文件名中的xxx表示具体的时间戳，以包名发布的实际时间为准。 获取路径：Support-E 说明： 如果上述软
使用Opencompass精度测评工具 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。目前使用的opencompass版本是0.2.6 benchmark_eval ├──opencompass.sh
Step2 抽取kv-cache量化系数 该步骤的目的是将Step1使用tensorRT量化工具进行模型量化中生成的scale系数提取到单独文件中，供推理时使用。 使用的抽取脚本由vllm社区提供： python3 examples/fp8/extract_scales.py \ --quantized_model
root@{container_id}:/# squid -k reconfigure 算法镜像：设置DNS代理和公网地址调用 设置代理 在代码中设置代理指向代理服务器私有IP和端口，如下所示： proxies = { "http": "http://{proxy_server_private_ip}:3128"
Step2 抽取kv-cache量化系数 该步骤的目的是将Step1使用tensorRT量化工具进行模型量化中生成的scale系数提取到单独文件中，供推理时使用。 使用的抽取脚本由vllm社区提供： python3 examples/fp8/extract_scales.py \ --quantized_model
Protocol）的网络诊断工具，利用ICMP协议向目标主机发送数据包并接收返回的数据包来判断网络连接质量。当安全组的入方向规则中没有包含ICMP协议，就会出现ping不通的问题。 处理方法 在当前安全组的入方向规则中添加一条规则，基本协议选择ICMP协议，详细配置如下表所示，添加规则步骤请参考添加安全组规则。 表1
PyCharm Toolkit使用 安装ToolKit工具时出现错误，如何处理？ PyCharm ToolKit工具中Edit Credential时，出现错误 为什么无法启动训练？ 提交训练作业时，出现xxx isn't existed in train_version错误 提交训练作业报错“Invalid
Tensorflow分布式有多种执行模式，mox会通过4次执行50 step记录执行时间，选择执行时间最少的模型。 处理方法 创建训练作业时，在“运行参数”中增加参数“variable_update=parameter_server”来关闭Mox的warmup。 父主题： MoXing
自动学习训练后的模型是否可以下载？ 自动学习为什么训练失败？ 自动学习模型训练图片异常？ 自动学习使用子账号单击开始训练出现错误Modelarts.0010 自动学习中偏好设置的各参数训练速度大概是多少 自动学习声音分类预测报错ERROR:input key sound is not in model 父主题：
用户也可以自行准备训练数据。数据要求如下： 使用标准的.json格式的数据，通过设置--json-key来指定需要参与训练的列。 请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改数据集文本字段的名称，默认为text。在维基百科数据集中，它有四列，分别是i
Gallery中的数据集资产，让零AI基础的开发者使用ModelArts Standard的自动学习功能完成“图像分类”AI模型的训练和部署。 面向AI开发零基础的用户 使用Standard自动学习实现口罩检测 本案例基于华为云AI开发者社区AI Gallery中的数据集资产，让
float32) # 保存网络输入为二进制文件 image.tofile("input_data.bin") 将基准模型的输出保存到文本文件。 本例中输出节点名称为output_node_name，输出节点的shape为“(1, 1000)”，因此一共有两维，对应的输出文件为“output_node_name
软件配套版本 表1 获取软件 分类 名称 获取路径 插件代码包 AscendCloud-6.3.908软件包中的AscendCloud-AIGC-6.3.908-xxx.zip 文件名中的xxx表示具体的时间戳，以包名发布的实际时间为准。 获取路径：Support-E 说明： 如果上述软
训练完成后，请参考查看日志和性能章节查看指令微调的日志和性能。 1、如训练过程中遇到“NPU out of memory”“Permission denied” 问题可参考 附录：指令微调训练常见问题解决 2、训练中遇到"ImportError: This modeling file requires
文件将保存在这个目录下 logging_steps 2 用于指定模型训练过程中，多少步输出一次日志。日志包括了训练进度、学习率、损失值等信息。建议设置 save_steps 5000 指定模型训练过程中，每多少步保存一次模型。保存的模型可以用于后续的训练或推理任务 plot_loss
功能描述 阶段 相关文档 1 Notebook连接大数据服务特性 介绍如何将ModelArts Notebook开发环境与华为云大数据服务DLI中的Spark引擎相连接，让数据工程师能便捷地使用Notebook进行大数据开发，以及如何在DataArts Studio服务配置Notebook文件定时调度任务。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
