检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
环境的数据迁移工作。 增加了和OBS交互工作的整个训练流程如下: 建议使用OBSutil作为和OBS交互的工具,如何在本机安装obsutil可以参考安装和配置OBS命令行工具。 训练数据、代码、模型下载。(本地使用硬盘挂载或者docker cp,在ModelArts上使用OBSutil)
“PretrainedConfig”:预训练模型的配置基类 提供模型配置的通用属性和两个主要方法,用于序列化和反序列化配置文件。 PretrainedConfig.from_pretrained(dir) # 从目录中加载序列化对象(本地或者是url),配置文件为dir/config.json
目录章节并更新dataset_info.json 文件。 Step2 修改训练yaml文件配置 LlamaFactroy配置文件为yaml文件,启动训练前需修改yaml配置文件,yaml配置文件在代码目录下的{work_dir}/llm_train/LLaMAFactory/demo
目录章节并更新dataset_info.json 文件。 Step2 修改训练yaml文件配置 LlamaFactroy配置文件为Yaml文件,启动训练前需修改Yaml配置文件,Yaml配置文件在代码目录下的{work_dir}/llm_train/LLaMAFactory/demo
在专属资源池列表中,单击资源池“ID/名称”,进入详情页。单击右上角“配置NAS VPC”,检查是否开启了NAS VPC。详情页面的“NAS VPC名称”和“NAS 子网ID”如果为空则证明没有开启,单击右上角配置NAS VPC即可。 如果单击开启后报错,可能是由于对应的VPC已经创建了对等连接,删除对等连接即可。
训练作业参数有两种来源,包括后台自动生成的参数和用户手动输入的参数。具体获取方式如下: 创建训练作业时,“输入”支持配置训练的输入参数名称(一般设置为“data_url”),以及输入数据的存储位置,“输出”支持配置训练的输出参数名称(一般设置为“train_url”),以及输出数据的存储位置。 训练作业运
description String Workflow工作流配置参数的描述。 example Object Workflow工作流配置参数的样例。 delay Boolean 是否为延迟输入的参数,默认为否。 default Object 配置参数的默认值。 value Object 参数值。
资源将被自动删除。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 在专属资源池到期前均可开通自动续费,到期前7日凌晨3:00首次尝试自动续费,如果扣款失败,每天凌晨3:00尝试一次,直至专属资源池到期或者续费成功。到期前7日自动续费扣款是系统默认配置,您也可以根据需要修改此扣款日。
Notebook实例重新启动后,需要删除本地known_hosts才能连接 可以在本地的ssh config文件中对这个Notebook配置参数“StrictHostKeyChecking no”和“UserKnownHostsFile=/dev/null”,如下参考所示: Host
p16,fp32的性能较差。因此,通常只在检测到某个模型精度存在问题时,才会考虑是否使用fp32进行尝试)。使用fp32精度模式的配置文件如下: 配置文件: # config.ini [ascend_context] precision_mode=enforce_fp32 #使用
20.04内核自动升级? 场景描述 在Ubuntu 20.04每次内核升级后,系统需要重新启动以加载新内核。如果您已经安装了自动更新功能,则系统将自动下载和安装可用的更新,这可能导致系统在不经意间被重启;如果使用的软件依赖于特定版本的内核,那么当系统自动更新到新的内核版本时,可能
install时,出现“No Space left...”的错误。 解决办法 建议使用pip install --no-cache ** 命令安装,而不是使用pip install **。加上“--no-cache”参数,可以解决很多此类报错。 父主题: 实例故障
install时,出现“No Space left...”的错误。 解决办法 建议使用pip install --no-cache ** 命令安装,而不是使用pip install **。加上“--no-cache”参数,可以解决很多此类报错。 父主题: Notebook实例常见错误
以前往权限管理页面修改配置,节点重试启动后新修改的配置信息可以在当前执行中立即生效。 停止 单击指定节点查看详情,可以对运行中的节点进行停止操作。 继续运行 对于单个节点中设置了需要运行中配置的参数时,节点运行会处于“等待操作”状态,用户完成相关数据的配置后,可单击“继续运行”按钮并确认继续执行当前节点。
当您需要修改训练作业的算法时,可以在训练作业详情页面右上角,单击“另存为算法”。 在“创建算法”页面中,会自动填充上一次训练作业的算法参数配置,您可以根据业务需求在原来算法配置基础上进行修改。 订阅算法不支持另存为算法。 重建训练作业 当对创建的训练作业不满意时,您可以单击操作列的重建,重新创建训
系统设置的默认值为128,表示数据包走交换机的队列4,队列4使用PFC流控机制来保证网络是无损的。 如果训练时,需要提升通信稳定性,可以增加配置其他NCCL环境变量,如表2所示。 表2 建议增加的环境变量 环境变量 建议值 说明 NCCL_IB_TIMEOUT 18 用于控制IB通信超时时间,算法为“4
使用Notebook代码样例 在AI Gallery中,您可以查找并直接打开使用Notebook实例。 前提条件 注册并登录华为云,详细操作请参见准备工作。 打开Notebook实例 登录“AI Gallery”。 选择“资产集市 > Notebook”,进入Notebook页面
/v1/{project_id}/workspaces/{workspace_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workspace_id 是 String 工作空间ID。获取方法
/v1/{project_id}/workspaces/{workspace_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workspace_id 是 String 工作空间ID。获取方法
日志提示“Please upgrade numpy to >= xxx to use this pandas version” 问题现象 在安装其他包的时候,有依赖冲突,对numpy库有其他要求,但是发现numpy卸载不了。出现如下类似错误: your numpy version is