检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
lArts之前通常先创建一个OBS桶,然后在OBS桶中创建文件夹用于存放数据。 本文档也以将运行代码以及输入输出数据存放OBS为例,请参考创建OBS桶,例如桶名:standard-llama2-13b。并在该桶下创建文件夹目录用于后续存储代码使用,例如:training_data。
启动/停止/删除实例 启动/停止实例 由于运行中的Notebook将一直耗费资源,您可以通过停止操作,停止资源消耗。对于停止状态的Notebook,可通过启动操作重新使用Notebook。 登录ModelArts管理控制台,在左侧菜单栏中选择“开发空间 > Notebook”,进入Notebook管理页面。
Finetune训练 本章节介绍SDXL&SD 1.5模型的Finetune训练过程。Finetune是指在已经训练好的模型基础上,使用新的数据集进行微调(fine-tuning)以优化模型性能。 启动SD1.5 Finetune训练服务 使用ma-user用户执行如下命令运行训练脚本。
打开一个Notebook实例,进入到Launcher界面。 在“Notebook”区域下,选择“TensorFlow-1.8”,新建一个ipynb文件。 在新建的Notobook中,在代码输入栏输入如下命令。 !pip install Shapely 在Terminal中安装 例如,通过
<jpg_path>: 人物图片路径,需要指定到具体的文件,例如 xxx/xxx.jpg。 <audio_path>:音频路径,需要指定到具体的文件,例如 xxx/xxx.mp4。 <output_path>:视频结果输出路径,需要指定到具体的输出文件名,例如 xxx/xxx.mp4。 执行test_wav2lip
${work_dir}:${container_work_dir}:代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录,目录下存放着训练所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。 容器不能挂
<jpg_path>: 人物图片路径,需要指定到具体的文件,例如 xxx/xxx.jpg。 <audio_path>:音频路径,需要指定到具体的文件,例如 xxx/xxx.mp4。 <output_path>:视频结果输出路径,需要指定到具体的输出文件名,例如 xxx/xxx.mp4。 执行test_wav2lip
客户端配置(用户可根据需要自行配置,不配置默认是不给服务端发心跳包),如图1,图2所示。 图1 打开VS Code ssh config配置文件 图2 增加配置信息 配置信息示例如下: Host ModelArts-xx …… ServerAliveInterval
f/grafana-9.1.6/conf/defaults.ini”文件。 修改[server]中的“root_url”和“serve_from_sub_path”字段。 图1 修改defaults.ini文件 其中: root_url的组成为:https:{jupyterlab
客户端配置(用户可根据需要自行配置,不配置默认是不给服务端发心跳包),如图1,图2所示。 图1 打开VS Code ssh config配置文件 图2 增加配置信息 配置信息示例如下: Host ModelArts-xx …… ServerAliveInterval
载链接下载数据集。 在创建OBS桶创建的桶下创建文件夹用以存放数据,例如在桶standard-llama2-13b中创建文件夹training_data。 利用OBS Browser+工具将步骤1下载的数据集上传至步骤2创建的文件夹目录下。得到OBS下数据集结构: obs://<
当对自定义镜像的驱动进行升级时,请确定底层驱动是否兼容。当前支持哪种驱动版本,请从基础镜像中获取。 文件权限不足 该问题可能为自定义镜像的用户与作业容器的用户不同导致的。请修改dockerfile文件: RUN if id -u ma-user > /dev/null 2>&1 ; \ then
tokenizer_config.json └── visual.py 赋予容器访问权重文件的权限。上传文件到宿主机时使用的是root用户,此处需要执行如下命令统一文件属主为ma-user用户。 #统一文件属主为ma-user用户 sudo chown -R ma-user:ma-group
载链接下载数据集。 在创建OBS桶创建的桶下创建文件夹用以存放数据,例如在桶standard-llama2-13b中创建文件夹training_data。 利用OBS Browser+工具将步骤1下载的数据集上传至步骤2创建的文件夹目录下。得到OBS下数据集结构: obs://<
with_column_header 否 Boolean 发布时是否将列名写到CSV文件的第一行,对于表格数据集有效。可选值如下: true:发布时将列名写到CSV文件的第一行(默认值) false:发布时不将列名写到CSV文件的第一行 响应参数 状态码: 201 表3 响应Body参数 参数 参数类型
去掉尖括号),使用浏览器下载vscode-server-linux-arm64.tar.gz文件。下载完成后,将下载的vscode-server-linux-arm64.tar.gz文件重命名为“vscode-server-linux-x64.tar.gz”。 https://update
${work_dir}:${container_work_dir} 代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录,目录下存放着训练所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。 容器不能挂
--shm-size:表示共享内存,用于多进程间通信。由于需要转换较大内存的模型文件,因此大小要求200g及以上。 修改目录权限,上传代码和数据到宿主机时使用的是root用户,如用ma-user用户训练,此处需要执行如下命令统一文件权限。 #统一文件权限 chmod -R 777 ${work_dir}
一般情况都是AI应用的端口配置有问题。建议您首先检查创建AI应用的端口是否正确。 处理方法 AI应用的端口没有配置,默认为8080,如您在自定义镜像配置文件中修改了端口号,需要在部署AI应用时,配置对应的端口号,使新的AI应用重新部署服务。 如何修改默认端口号,请参考使用自定义镜像创建在线服务,如何修改默认端口。
率和采样精度保持一致。 标注质量对于最终的模型精度有极大的影响,标注过程中尽量不要出现误标情况。 文本分类对数据集的要求 文件格式要求为txt或者csv,文件大小不能超过8MB。 以换行符作为分隔符,每行数据代表一个标注对象。 文本分类目前只支持中文。 父主题: 准备数据