正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 来源训练作业的版本。 source_type String 模型来源的类型。 当模型为自动学习部署过来时,取值为“auto”。 当模型是用户通过训练作业或OBS模型文件部署时,此值为空。 model_type String 模型类型,取值为:TensorFlow/MXNet
污点:默认为空。支持给节点加污点来设置反亲和性,每个节点最多配置20条污点。 安装后执行脚本:请输入脚本命令,命令中不能包含中文字符,需传入Base64转码后的脚本,转码后的字符数不能超过2048。脚本将在Kubernetes软件安装后执行,不影响Kubernetes软件安装。 说明: 暂不支持资源池中的存量节点池修改名称。
上传算法至SFS 下载Swin-Transformer代码。 git clone --recursive https://github.com/microsoft/Swin-Transformer.git 修改lr_scheduler.py文件,把第27行:t_mul=1. 注释掉。
上传本地文件至JupyterLab Notebook的JupyterLab中提供了多种方式上传文件。 上传文件要求 对于大小不超过100MB的文件直接上传,并展示文件大小、上传进度及速度等详细信息。 对于大小超过100MB不超过50GB的文件可以使用OBS中转,系统先将文件上传O
创建训练作业 创建训练作业时提示“对象目录大小/数量超过限制”,如何解决? 训练环境中不同规格资源“/cache”目录的大小 训练作业的“/cache”目录是否安全? 训练作业一直在等待中(排队)? 创建训练作业时,超参目录为什么有的是/work有的是/ma-user? 在Mod
原因分析二 本地系统为Linux,由于使用root用户安装VS Code,打开VS Code显示信息It is not recommended to run Code as root user 解决方法二 请使用非root用户安装VS Code后,回到ModelArts控制台界面再次单击界面上的“VS
原因分析二 本地系统为Linux,由于使用root用户安装VS Code,打开VS Code显示信息It is not recommended to run Code as root user 解决方法二 请使用非root用户安装VS Code后,回到ModelArts控制台界面再次单击界面上的“VS
训练的数据集预处理说明。 Step2 修改训练超参配置 以Llama2-70b和Llama2-13b的LoRA微调为例,执行脚本为0_pl_lora_70b.sh和0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均有默认值,可以参考表1按照实际需求修改。
Code。VS Code安装请参考安装VS Code软件。 图4 下载并安装VS Code 如果用户之前未安装过ModelArts VS Code插件,此时会弹出安装提示,请单击“Install and Open”进行安装;如果之前已经安装过插件,则不会有该提示,请跳过此步骤,直接执行5。 图5
运行过程中,ModelArts后台通过指标正则表达式获取搜索指标参数,朝指定的优化方向进行超参优化。用户需要在代码中打印搜索参数并在控制台配置以下参数。 图1 设置算法搜索功能 搜索指标 搜索指标为目标函数的值,通常可以设置为loss、accuracy等。通过优化搜索指标的目标值
在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE(Pycharm或者VSCode)联接云上环境调试请参考使用本地IDE开发模型。 父主题: GPU相关问题
在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE(Pycharm或者VSCode)联接云上环境调试请参考使用本地IDE开发模型。 父主题: GPU相关问题
- User:用户名,例如:ma-user - HostName:IP地址 - Port:端口号 如可以连接上,请执行下一步继续排查。 检查配置是否正确,如果正确请执行下一步继续排查。 打开config文件进行检查,如图所示: HOST remote-dev hostname
cli是Hugging Face官方提供的命令行工具,自带完善的下载功能。具体步骤可参考:HF-Mirror中的使用教程。完成依赖安装和环境变量配置后,以Llama2-70B为例: huggingface-cli download --resume-download meta-l
Notebook云上云下,无缝协同,更多关于ModelArts Notebook的详细资料请查看开发环境介绍。本案例中使用ModelArts的开发环境Notebook部署推理服务进行调试,请按照以下步骤完成Notebook的创建。 登录ModelArts控制台,在贵阳一区域,进入开发环境的Notebook界
JupyterLab默认工作路径是什么? 带OBS存储的Notebook实例 JupyterLab文件默认存储路径,为创建Notebook时指定的OBS路径。 在文件列表的所有文件读写操作都是基于所选择的OBS路径下的内容操作的,跟当前实例空间没有关系。如果用户需要将内容同步到实
数据校验:对您的数据集的数据进行校验,是否存在数据异常。 预测分析:将发布好的数据集版本进行训练,生成对应的模型。 模型注册:将训练后的结果注册到模型管理中。 服务部署:将生成的模型部署为在线服务。 快速查找创建好的项目 在自动学习总览页,您可以通过搜索框,根据自动学习的属性类型(项目名称)快速搜索过滤到相应的工作流,可节省您的时间。
查询智能标注的样本列表 功能介绍 查询数据集中智能标注的样本列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/data
图1 资源配置(单节点方式) 若购买资源池时,节点数量采用整柜方式购买(部分规格支持),则在扩缩容时为整柜方式扩缩容,目标节点总数等于“数量*整柜”。“整柜”参数为创建资源池时选择,扩缩容时不可修改。用户通过增减“数量”来改变“目标总节点数”。 图2 资源配置(整柜方式) 用
是否支持Keras引擎? 开发环境中的Notebook支持。训练作业和模型部署(即推理)暂时不支持。 Keras是一个用Python编写的高级神经网络API,它能够以TensorFlow、CNTK或者Theano作为后端运行。Notebook开发环境支持“tf.keras”。 如何查看Keras版本