检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
案例中从Gallery下载的数据集。单击图标选择您的OBS桶下的任意一处目录，但不能与输出位置为同一目录。 数据集输出位置：用来存放输出的数据标注的相关信息，或版本发布生成的Manifest文件等。单击图标选择OBS桶下的空目录，且此目录不能与输入位置一致，也不能为输入位置的子目录。
/home/ma-user/ws/llm_train/AscendSpeed/processed_for_input/llama2-13b 该路径下保存“数据转换”和“权重转换”的结果。示例中，默认生成在“processed_for_input”文件夹下。若用户需要修改，可添加并自定义该变量。
ue"”，启动时会增加该参数。 PyTorch-GPU框架启动原理 单机多卡场景下平台会为启动文件额外拼接 --init_method "tcp://<ip>:<port>" 参数。 多机多卡场景下平台会为启动文件额外拼接 --init_method "tcp://<ip>:<port>"
--load-dir：训练完成后保存的权重路径。 --save-dir：需要填入原始HF模型路径，新权重会存于../Llama2-13B/mg2hg下。 --target-tensor-parallel-size：任务不同调整参数target-tensor-parallel-size，默认为1。
emo。挂载时，后台自动会在Notebook容器“的/data/”目录下创建该文件夹，用来挂载OBS文件系统。 选择存放OBS并行文件系统下的文件夹，单击“确定”。 挂载成功后，可以在Notebook实例详情页查看到挂载结果。 代码调试。 打开Notebook，打开Terminal，进入步骤7中挂载的目录。
6秒 日志加载 作业运行中，已经输出1兆的日志文本，单击训练详情页面需要多久加载出日志。 2.5秒 训练详情页 作业运行中，没有用户日志情况下，在ModelArts控制台主页面单击训练详情页面后加载页面内容。 2.5秒 JupyterLab页面 进入JupyterLab页面后加载页面内容。
建议检查您的标注信息，保证标注多标签的图片，超过2张。 数据集切分后，训练集和验证集包含的标签类别不一样。出现这种情况的原因：多标签场景下时，做随机数据切分后，包含某一类标签的样本均被划分到训练集，导致验证集无该标签样本。由于这种情况出现的概率比较小，可尝试重新发布版本来解决。
启动数据特征分析任务 数据特征分析任务启动后，需执行一段时间，根据数据量不同等待时间不同，请耐心等待。当您选择分析的版本出现在“版本选择”列表下，且可选择时，即表示分析已完成。 查看数据特征分析结果。 “版本选择”：在右侧下拉框中选择进行对比的版本。也可以只选择一个版本。 “类型”：
修改区分训练作业中2个代码目录 使用环境变量SAVE_PATH重新覆盖权重文件保存路径，作为最终的权重保存路径。修改代码如图2。 图2 修改权重保存路径 多机训练场景下，需要将CODE_DIR修改为OBS_CODE_DIR目录，则可以使用scripts/tools/sync_with_obs.py工具将其它
--load-dir：训练完成后保存的权重路径。 --save-dir：需要填入原始HF模型路径，新权重会存于../Llama2-13B/mg2hg下。 --target-tensor-parallel-size：任务不同调整参数target-tensor-parallel-size，默认为1。
区分布。 图1 资源配置（单节点方式） 修改容器引擎空间大小 扩容资源池时，可以设置新建节点的容器引擎空间大小。此操作会导致资源池内该规格下节点的dockerBaseSize不一致，可能会使得部分任务在不同节点的运行情况不一致，请谨慎操作。存量节点不支持修改容器引擎空间大小。 修
分流：默认为100，输入值必须是0-100之间。 计算节点规格：请根据界面显示的列表，选择可用的规格，置灰的规格表示当前环境无法使用。如果公共资源池下规格为空数据，表示当前环境无公共资源。建议使用专属资源池，或者联系系统管理员创建公共资源池。 计算节点个数：默认为1，输入值必须是1-5之间的整数。
分流：默认为100，输入值必须是0-100之间。 计算节点规格：请根据界面显示的列表，选择可用的规格，置灰的规格表示当前环境无法使用。如果公共资源池下规格为空数据，表示当前环境无公共资源。建议使用专属资源池，或者联系系统管理员创建公共资源池。 计算节点个数：默认为1，输入值必须是1-5之间的整数。
户间的专属资源池物理隔离，公共资源池仅提供逻辑隔离，专属资源池的隔离性、安全性要高于公共资源池。 专属资源池用户资源独享，在资源充足的情况下，作业是不会排队的；而公共资源池使用共享资源，在任何时候都有可能排队。 专属资源池支持打通用户的网络，在该专属资源池中运行的作业可以访问打通
修改区分训练作业中2个代码目录 使用环境变量SAVE_PATH重新覆盖权重文件保存路径，作为最终的权重保存路径。修改代码如图2。 图2 修改权重保存路径 多机训练场景下，需要将CODE_DIR修改为OBS_CODE_DIR目录，则可以使用scripts/tools/sync_with_obs.py工具将其它
选择指定AZ时，可指定扩缩容完成后节点的可用区分布。 修改容器引擎空间大小 扩容资源池时，可以设置新建节点的容器引擎空间大小。此操作会导致资源池内该规格下节点的dockerBaseSize不一致，可能会使得部分任务在不同节点的运行情况不一致，请谨慎操作。存量节点不支持修改容器引擎空间大小。 修改容器引擎类型。
也支持切换规格。 自启动后，免费规格默认可使用1小时，请注意右上角的剩余时长。超过1小时后，可执行续期操作，且系统每隔一段时间，将提醒确认下续期。 免费的CodeLab主要用于体验，72小时内未使用，将释放资源。保存在其中的代码文档将丢失，请注意备份文件以及使用时长。 CodeLab入口
分流：默认为100，输入值必须是0-100之间。 计算节点规格：请根据界面显示的列表，选择可用的规格，置灰的规格表示当前环境无法使用。如果公共资源池下规格为空数据，表示当前环境无公共资源。建议使用专属资源池，或者联系系统管理员创建公共资源池。 计算节点个数：默认为1，输入值必须是1-5之间的整数。
分流：默认为100，输入值必须是0-100之间。 计算节点规格：请根据界面显示的列表，选择可用的规格，置灰的规格表示当前环境无法使用。如果公共资源池下规格为空数据，表示当前环境无公共资源。建议使用专属资源池，或者联系系统管理员创建公共资源池。 计算节点个数：默认为1，输入值必须是1-5之间的整数。
分流：默认为100，输入值必须是0-100之间。 计算节点规格：请根据界面显示的列表，选择可用的规格，置灰的规格表示当前环境无法使用。如果公共资源池下规格为空数据，表示当前环境无公共资源。建议使用专属资源池，或者联系系统管理员创建公共资源池。 计算节点个数：默认为1，输入值必须是1-5之间的整数。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
