检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
编写以下代码，并运行Untitled.ipynb文件（用于将OBS中的数据导入至SFS Turbo）。
description 否 String 描述信息，最大长度256，不支持特殊字符。 workspace_id 否 String 工作空间ID，默认为0。
读取文件报错，如何正确读取文件 TensorFlow-1.8作业连接OBS时反复出现提示错误 TensorFlow在OBS写入TensorBoard到达5GB时停止 保存模型时出现Unable to connect to endpoint错误 OBS复制过程中提示“BrokenPipeError
description 否 String 数据集描述信息。 父主题： 数据集管理
具体优化工具使用说明可参考如何选择最佳性能的zero-stage和-offloads。 父主题： 训练脚本说明
with_subscription 否 Boolean 工作流SMN消息订阅开关，默认为false，表示关闭消息订阅开关。 smn_switch 否 Boolean SMN开关。 subscription_id 否 String SMN消息订阅ID。
其中listen_ip为容器IP，您可以通过启动自定义镜像，在容器中获取容器IP。
图8 打开开发环境 单击图中的pytorch_1_8，即可创建一个ipynb文件，导入torch，可以看到安装的pytorch 1.8已经能够使用。 图9 创建一个ipynb文件 再打开一个Terminal，查看ffmpeg和gcc的版本，是Dockerfile中安装的版本。
="description_info") # name字段必填，title, description可选填 # 定义输入的OBS对象 obs_data = wf.data.OBSPlaceholder(name="obs_placeholder_name", object_type
# shell pip install ipykernel ipython kernel install --user --name=sfs-new-env rm -rf /home/ma-user/.local/share/jupyter/kernels/sfs-new-env/
修改成功后再调用查询训练作业接口即可看到description已被修改。
description String 超参搜索算法的描述。 表4 params 参数 参数类型 描述 key String 超参搜索算法的参数名称。 value String 超参搜索算法的参数取值。 type String 超参搜索算法的参数类型。
建议优化数据读取和数据增强的性能，例如将数据读取并行化，或者使用NVIDIA Data Loading Library（DALI）等工具提高数据增强的速度。 模型保存不要太频繁：模型保存操作一般会阻塞训练，如果模型较大，并且较频繁地进行保存，就会影响GPU/NPU利用率。
cd koyha_ss cp run_* sd-scripts cp kohya_finetune.toml sd-scripts cd sd-scripts vim run_finetune.sh vim kohya_finetune.toml python finetune/make_captions.py
job_description：可选参数，训练任务的描述。 开始训练。
_70b.sh xx.xx.xx.xx 8 0 # 第二台节点 sh scripts/llama2/0_pl_pretrain_70b.sh xx.xx.xx.xx 8 1 ... ... # 第八台节点 sh scripts/llama2/0_pl_pretrain
obsutil是一款用于访问管理华为云对象存储服务（Object Storage Service，OBS）的命令行工具，您可以使用该工具对OBS进行常用的配置管理操作，如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。
具体优化工具使用说明可参考如何选择最佳性能的zero-stage和-offloads。 父主题： 训练脚本说明
with_subscription Boolean 工作流SMN消息订阅开关，默认为false，表示关闭消息订阅开关。 smn_switch Boolean SMN开关。 subscription_id String SMN消息订阅ID。
mkdir -p context 准备可用的pip源文件pip.conf。本示例使用华为开源镜像站提供的pip源，其pip.conf文件内容如下。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
