检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
[1,100]。 page 否 Integer 指定要查询页的索引,默认为1。 sortBy 否 String 指定查询的排序方式,默认是根据引擎查找“engine”,目前支持的排序还有模型名称“model_name”,“model_precision”模型用途“model_us
0%)。 当前由于特征筛选算法限制,预测数据列建议放在数据集最后一列,否则可能导致训练失败。 表格数据集示例: 以银行存款预测数据集为例:根据预测人的年龄、工作类型、婚姻状况、文化程度、是否有房贷和是否有个人贷款。 表1 数据源的具体字段及意义 字段名 含义 类型 描述 attr_1
像地址获取。 docker pull {image_url} 步骤三 启动容器镜像 启动容器镜像前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。启动容器命令如下。 export work_dir="自定义挂载的工作目录" #容器内挂载的目录,例如/home/ma-user/ws
的Conda环境和一个基础Conda环境python(不包含任何AI引擎),如预置Mindspore所对应的Conda环境如下: 用户可以根据是否使用AI引擎参与功能调试,并选择不同的Conda环境。 Notebook:是一款Web应用,能够使用户在界面编写代码,并且将代码、数学方程和可视化内容组合到一个文档中。
如果是非root用户,需要使用sudo docker pull命令拉取镜像。 Step3 启动容器镜像 启动容器镜像前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。启动容器命令如下。 container_work_dir="/home/ma-user/ws" # 容器内挂载的目录
址获取。 docker pull {image_url} Step3 启动容器镜像 启动容器镜像前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。启动容器命令如下。 export work_dir="自定义挂载的工作目录" #容器内挂载的目录,例如/home/ma-user/ws
像地址获取。 docker pull {image_url} 步骤3 启动容器镜像 启动容器镜像前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。启动容器命令如下。 export work_dir="自定义挂载的工作目录" #容器内挂载的目录,例如/home/ma-user/ws
址获取。 docker pull {image_url} Step3 启动容器镜像 启动容器镜像前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。启动容器命令如下。 export work_dir="自定义挂载的工作目录" #容器内挂载的目录,例如/home/ma-user/ws
见表1。 docker pull {image_url} Step3 启动容器镜像 启动容器镜像前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。启动容器命令如下。 container_work_dir="/home/ma-user/ws" # 容器内挂载的目录
benchmark_utils.py # 抽离的工具集 ├── generate_datasets.py # 生成自定义数据集的脚本 ├── requirements.txt # 第三方依赖 ├──benchmark_eval
RestartJob plugins: configmap1980: - --rank-table-version=v2 # 保持不动,生成v2版本ranktablefile env: [] svc: - --publish-not-ready-addresses=true
化算法相结合,进一步提高深度学习模型的性能。 RM奖励模型(Reward Model):是强化学习过程中一个关键的组成部分。它的主要任务是根据给定的输入和反馈来预测奖励值,从而指导学习算法的方向,帮助强化学习算法更有效地优化策略 PPO强化学习(Proximal Policy O
CLI配置工具。 gallery-cli login 显示如下信息表示登录成功。“/test”是自定义的服务器的缓存目录,token是系统自动生成的文件夹。 /test/token 登出Gallery CLI配置工具 上传或下载AI Gallery仓库的资产完成后,登出Gallery
完成AI应用配置,部分配置如下: 元模型来源:选择“从容器镜像中选择”。 容器镜像所在的路径:选择上传镜像至容器镜像服务上传的路径。 容器调用接口:根据实际情况配置容器调用接口。 健康检查:保持默认。如果镜像中配置了健康检查则按实际情况配置健康检查。 图1 AI应用配置参数 单击“立即创建
benchmark_utils.py # 抽离的工具集 ├── generate_datasets.py # 生成自定义数据集的脚本 ├── requirements.txt # 第三方依赖 ├──benchmark_eval
create --name pytorch --clone base pip install conda-pack #将pytorch env打包生成pytorch.tar.gz conda pack -n pytorch -o pytorch.tar.gz 将打包好的压缩包传到本地: #
Start model import. - 异常 构建镜像失败。 Failed to build the image. 构建镜像失败原因较多,需根据具体的报错定位和处理问题。FAQ 异常 自定义镜像不支持指定依赖。 Customize model does not support dependencies
0.0.1。 docker build -t koyha_ss-train:0.0.1 . Step4 启动镜像 启动容器镜像。启动前可以根据实际需要增加修改参数,Lora微调启动单卡,finetune微调启动八卡。 docker run -itd --name sdxl-train
“MA_NUM_HOSTS=4” VC_TASK_INDEX 当前容器索引,容器从0开始编号。单机训练的时候,该字段无意义。在多机作业中,用户可以根据这个值来确定当前容器运行的算法逻辑。 “VC_TASK_INDEX=0” VC_WORKER_NUM 训练作业使用的节点数量。 “VC_WORKER_NUM=4”
连接成功后,Cloud Shell界面提示如下。 图1 Cloud Shell界面 当作业处于非运行状态或权限不足时会导致无法使用Cloud Shell,请根据提示定位原因即可。 图2 报错提示 部分用户登录Cloud Shell界面时,可能会出现路径显示异常情况,此时在Cloud Shell中单击回车键即可恢复正常。