检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
两个点组成,矩形的左上角为第一个点,矩形的右下角为第二个点(即第一个点x坐标一定小于第二个点的x坐标,第一个点y坐标一定小于第二个点的y坐标)。 polygon [[0,100],[50,95],[10,60],[500,400]] 多个点组成,按顺序连接成一个多边形。 circle
插件丢失 VS Code中查看远端日志 打开VS Code的配置文件settings.json VS Code背景配置为豆沙绿 VS Code中设置远端默认安装的插件 VS Code中把本地的指定插件安装到远端或把远端插件安装到本地 Notebook如何离线安装VS Code Server
盘ID发生变化,和下单时订单中的EVS ID已经不一致, 因此EVS系统盘无法扩容,并显示信息:"当前订单已到期,无法进行扩容操作,请续订"。建议通过挂载数据盘EVS或挂载SFS盘等方式进行存储扩容。 Lite Cluster 只支持对状态为“运行中”的Lite Cluster资源池进行扩缩容,且不能缩容到0。
CodeLab 如何将git clone的py文件变为ipynb文件 Notebook里面运行的实例,如果重启,数据集会丢失么? Jupyter可以安装插件吗? 是否支持在CodeLab中使用昇腾的卡进行训练? 如何在CodeLab上安装依赖? 父主题: Standard Notebook
Cluster节点池 为帮助您更好地管理Kubernetes集群内的节点,ModelArts支持通过节点池来管理节点。一个节点池包含一个节点或多个节点,能通过节点池批量配置一组节点。关于更多节点池的介绍,可以查看节点池概述。 在资源池详情页,单击“节点池管理”页签,您可以创建、更新和删除节点池。
获取训练作业支持的AI预置框架 功能介绍 获取训练作业支持的AI预置框架。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/
运行结果将存储在output文件夹中,如果用户指定了output_path,会指定位置保存,如果不指定则在当前代码执行目录生成文件夹保存输出。整体运行的结果都存放在output文件夹中,每转一次模型就会根据模型名称以及相关参数生成结果文件,如下图所示。 图3 output文件 在每次运行的结果文件中,分为三
计费样例 计费场景一 某用户于2023/03/18 15:30:00使用一个按需计费的公共资源池进行训练,规格配置如下: 规格:CPU: 8 核 32GB (modelarts.vm.cpu.8ud) 计算节点个数:1个 用了一段时间后,于2023/03/20 10:30:00停
资源池 创建资源池失败 Standard资源池节点故障定位 专属资源池关联SFS Turbo显示异常
ep示例如下。 指定启动脚本与集群 from modelarts import workflow as wf # 通过MrsStep来定义一个MrsJobStep节点, algorithm = wf.steps.MrsJobAlgorithm( boot_file="o
数据准备完成后,启动训练的脚本,查看训练是否能够正常拉起。一般来说,启动脚本为: cd /cache/code/ python start_train.py 如果训练流程不符合预期,可以在容器实例中查看日志、错误等,并进行代码、环境变量的修正。 预置脚本测试整体流程 一般使用run.sh封装训练外的文件
页面。 选择运行中的Notebook实例,单击实例名称,进入Notebook实例详情页面,单击“扩容”。 图2 Notebook实例详情页 设置待扩充的存储容量大小,单击“确定”。系统显示“扩容中”,扩容成功后,可以看到扩容后的存储容量。 图3 扩容 图4 扩容中 父主题: 管理Notebook实例
LoRA微调训练 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中,可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中,具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
无法导入模块 训练作业日志中提示“No module named .*” 如何安装第三方包,安装报错的处理方法 下载代码目录失败 训练作业日志中提示“No such file or directory” 训练过程中无法找到so文件 ModelArts训练作业无法解析参数,日志报错 训练输出路径被其他作业使用
查询指定节点池详情 功能介绍 查询指定节点池详情。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/pools/{pool_
return tokenized_full_prompt 本案例中 alpaca_gpt4_data.json 数据集包含有以下字段: instruction:描述模型应执行的任务。指令中的每一条都是唯一的。 input:任务的可选上下文或输入。instruction 对应的内容会与
参见表1。 docker pull {image_url} Step5 在ECS中Docker登录 在SWR中单击右上角的“登录指令”,然后在跳出的登录指定窗口,单击复制临时登录指令。在创建的ECS中粘贴临时登录指令,即可完成登录。 图3 复制登录指令 Step6 修改并上传镜像
SFT全参微调训练任务 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中,可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中,具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
硬盘限制故障 下载或读取文件报错,提示超时、无剩余空间 复制数据至容器中空间不足 Tensorflow多节点作业下载数据到/cache显示No space left 日志文件的大小达到限制 日志提示"write line error" 日志提示“No space left on device”
return tokenized_full_prompt 本案例中 alpaca_gpt4_data.json 数据集包含有以下字段: instruction:描述模型应执行的任务。指令中的每一条都是唯一的。 input:任务的可选上下文或输入。instruction 对应的内容会与