正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参考如下命令编写Dockerfile文件。镜像地址{image_url}请参见表2。
可选值如下: dir:目录导入 manifest:按manifest文件导入 否 0:文件类型ImportTypeEnum annotation_format_config 导入的标注格式的配置参数。
阶段 相关文档 1 Notebook连接大数据服务特性 介绍如何将ModelArts Notebook开发环境与华为云大数据服务DLI中的Spark引擎相连接,让数据工程师能便捷地使用Notebook进行大数据开发,以及如何在DataArts Studio服务配置Notebook文件定时调度任务
cd /home/ma-user/datasets/fill50k unzip conditioning_images.zip unzip images.zip 接着修改fill50k.py文件,如果机器无法访问huggingface网站,则需要将脚本文件中下载地址替换为容器本地目录
表13 volumes属性列表 参数 参数类型 说明 nfs object 共享文件系统类型的存储卷。仅支持运行于已联通共享文件系统网络的资源池的训练作业。具体请参见表14。 host_path object 主机文件系统类型的存储卷。仅支持运行于专属资源池中的训练作业。
参数值获取方式如下:登录弹性文件服务控制台,在文件系统列表中,单击文件系统名称进入详情页。其中,“ID”即为此参数的参数值。
编写Dockerfile文件。 基于官方提供的基础镜像构建自定义镜像sdxl-train:0.0.1。参考如下命令编写Dockerfile文件。镜像地址{image_url}请参见表2。
复制准备工作提供的模板的下载地址到浏览器中打开,复制JSON文件的内容。粘贴到DashBoards模板里,如图2所示,最后单击“Load”。 图1 复制JSON文件的内容 图2 粘贴JSON文件的内容到DashBoards模板 修改视图名称,单击Import。
├── finetune #微调训练加载的数据 ├── Alpaca_data_gpt4_zh.jsonl #微调训练原始数据文件 父主题: 准备工作
如果需要切换到root用户可以执行以下命令: sudo su source /home/ma-user/.bashrc 如果继续使用ma-user,在使用其他属组如root用户上传的数据和文件时,可能会存在权限不足的问题,因此需要执行如下命令统一文件属主。
参数指定了“/bin/prometheus”使用该配置文件。
file指每个推理请求对应到输入数据目录下的一个文件,当使用此方式时,此模型对应req_uri只能有一个输入参数且此参数的类型是file。
宿主机和容器使用不同的文件系统,work_dir为宿主机中工作目录,目录下存放着训练所需代码、数据等文件。container_dir为要挂载到的容器中的目录。为方便两个地址可以相同。 shm-size:共享内存大小。
Dockerfile文件内容如下。
下线影响 正式下线后,ModelArts Notebook中将不会预置算法套件相关工具ma-cau和ma-cau-adapter,ma-cli命令将不支持创建算法工程,无法在Notebook中基于已有算法工程进行资产(数据、模型权重、算法文件)安装、模型开发、训练和推理部署等任务。
Notebook实例重新启动后,需要删除本地known_hosts才能连接 使用VS Code调试代码时不能进入源码 使用VS Code提交代码时弹出对话框提示用户名和用户邮箱配置错误 实例重新启动后,Notebook内安装的插件丢失 VS Code中查看远端日志 打开VS Code的配置文件
├── finetune #微调训练加载的数据 ├── alpaca_gpt4_data.json #微调训练原始数据文件 父主题: 准备工作
如:文本文件是“abc.txt”,标签文件是“abc_result.txt”。 1:默认值,标签和文本在一个文件内,以分隔符分离。文本与标签,标签与标签之间的分隔符可通过text_sample_separator和text_label_separator指定。
表5 volumes属性列表 参数 是否必选 参数类型 说明 nfs 否 Object 共享文件系统类型的存储卷。仅支持运行于已联通共享文件系统网络的资源池的训练作业。具体说明请参见表6。 host_path 否 Object 主机文件系统类型的存储卷。
即Step2 准备权重文件上传的HuggingFace权重文件存放目录。投机草稿模型为与--model入参同系列,但是权重参数远小于--model指定的模型。若未使用投机推理功能,则无需配置。