检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本发布生成的Manifest文件等。单击图标选择OBS桶下的空目录，且此目录不能与输入位置一致，也不能为输入位置的子目录。 数据集输入位置：用来存放源数据集信息，例如本案例中从AI Gallery下载的数据集。单击图标选择您的OBS桶下的任意一处目录，但不能与输出位置为同一目录。
ModelArts中创建的数据集，如何在Notebook中使用 ModelArts上创建的数据集存放在OBS中，可以将OBS中的数据下载到Notebook中使用。 Notebook中读取OBS数据方式请参见如何在Notebook中上传下载OBS文件？。 父主题： 更多功能咨询
ModelArts上传数据集收费吗？ ModelArts中的数据集管理、标注等操作不收费，但是由于数据集存储在OBS中，因此会根据您使用的OBS桶进行收费。建议您前往OBS服务，了解OBS计费详情，创建相应的OBS桶用于存储ModelArts使用的数据。 父主题： 计费FAQ
ModelArts上传数据集收费吗？ ModelArts中的数据集管理、标注等操作不收费，但是由于数据集存储在OBS中，因此会根据您使用的OBS桶进行收费。建议您前往OBS服务，了解OBS计费详情，创建相应的OBS桶用于存储ModelArts使用的数据。 父主题： 计费相关
建议使用OBSutil作为和OBS交互的工具，如何在本机安装obsutil可以参考安装和配置OBS命令行工具。 训练数据、代码、模型下载。（本地使用硬盘挂载或者docker cp，在ModelArts上使用OBSutil） 启动脚本，用法无切换，一般就是到达执行目录，然后python
通过OBS创建AI应用时，构建日志中提示pip下载包失败 问题现象 通过OBS创建AI应用构建失败，查看构建日志，提示pip下载包失败。如下载numpy 1.16版本失败。 原因分析 一般下载包失败时，可能有如下几个原因： pip源中不存在该包，当前默认pip源为pypi.org中的包，请在pypi
预训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中，具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及选择上传的镜像。 代码目录选择：OBS桶路径下的llm_train/AscendSpeed代码目录。
本地与ModelArts上训练对比 ModelArts上进行训练比本地训练多了一步OBS和容器环境的数据迁移工作。 增加了和OBS交互工作的整个训练流程如下： 建议使用OBSutil作为和OBS交互的工具，如何在本机安装obsutil可以参考obsutil安装和配置。 训练数据、代码、模型下载。（本地使用硬盘挂载或者docker
Estimator初始化参数说明 参数 是否必选 参数类型 描述 session 是 Object 会话对象，初始化方法请参考Session鉴权。 job_id 是 String 训练作业的id，可通过创建训练作业生成的训练作业对象查询，如"job_instance.job_id"，或从查询训练作业列表的响应中获得。
e信息为模型服务返回的response信息，如果不符合预期，可以判断为模型服务返回的结果不符合预期。 建议与总结 鉴于模型服务有从对象存储服务(OBS)中导入，从容器镜像中导入，从AI Gallery中获取等多种途径，对于上述不同模型服务的来源所产生的常见问题及处理方法建议如下：
创建AI应用时，OBS文件目录对应镜像里面的目录结构是什么样的？ 问题现象 创建AI应用时，元模型来源指定的OBS目录下存放了自定义的文件和文件夹，都会拷贝到镜像中去。拷贝进去的路径是什么，怎么读取对应的文件或者文件夹里面的内容？ 原因分析 通过OBS导入AI应用时，ModelA
Gallery数据集下载至OBS，然后在SDK直接使用此OBS目录下的数据即可。详细操作步骤如下所示： 将AI Gallery数据集下载至OBS。详细指导请参见下载数据集。 数据集可以直接下载至OBS，也可以下载至ModelArts数据集中，不管任何方式，其最终的存储路径均为OBS目录。 下载
上传数据至OBS（首次使用时需要） 前提条件 已经在OBS上创建好普通OBS桶，请参见创建普通OBS桶。 已经安装obsutil，请参考下载和安装obsutil。 参考线下容器镜像构建及调试章节，构建容器镜像并调试，镜像构建及调试与单机单卡相同。 上传镜像，参考单机单卡训练的上传镜像章节操作。
导出ModelArts数据集中的数据到OBS 针对数据集中的数据，用户可以选中部分数据或者通过条件筛选出需要的数据，当需要将数据集中的数据存储至OBS用于后续导出使用时，可通过此种方式导出成新的数据集。用户可以通过任务历史查看数据导出的历史记录。 目前只有“图像分类”、“物体检测
Turbo 作业日志选择OBS中的路径，ModelArts的训练作业的日志信息则保存该路径下。 最后，请参考查看日志和性能章节查看LoRA微调的日志和性能。了解更多ModelArts训练功能，可查看模型开发简介。 父主题： 主流开源大模型基于Standard+OBS+SFS适配PyTorch
Turbo 作业日志选择OBS中的路径，ModelArts的训练作业的日志信息则保存该路径下。 最后，请参考查看日志和性能章节查看LoRA微调的日志和性能。了解更多ModelArts训练功能，可查看模型开发简介。 父主题： 主流开源大模型基于Standard+OBS+SFS适配PyTorch
Turbo 作业日志选择OBS中的路径，ModelArts的训练作业的日志信息则保存该路径下。 最后，请参考查看日志和性能章节查看LoRA微调的日志和性能。了解更多ModelArts训练功能，可查看模型开发简介。 父主题： 主流开源大模型基于Standard+OBS+SFS适配PyTorch
JupyterLab目录的文件、Terminal的文件和OBS的文件之间的关系 JupyterLab目录的文件与Terminal中work目录下的文件相同。即用户在Notebook中新建的，或者是从OBS目录中同步的文件。 挂载OBS存储的Notebook，JupyterLab目录的文件可以与OBS的文件进行同步，使
-modelarts”的桶，并创建如表1所示的文件夹。 创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。 请确保您使用的OBS与ModelArts在同一区域。 表1 OBS桶文件夹列表 文件夹名称 用途 obs://test-modelarts/ascend/demo-code/
不大于500MB数据量，直接复制至本地IDE中即可。 大于500MB数据量，请先上传到OBS中，再从OBS下载到云上Notebook。 图1 数据通过OBS中转上传到Notebook 上传数据至OBS，具体操作请参见上传文件至OBS桶。 将OBS中的数据传至Notebook中，通过在本地IDE的Termi
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
