AI开发平台MODELARTS-使用ModelArts Standard自定义算法实现手写数字识别:步骤三:创建OBS桶并上传文件

时间:2024-11-08 17:12:37

步骤三:创建OBS桶并上传文件

将上一步中的数据和代码文件、推理代码文件与推理配置文件,从本地上传到OBS桶中。在ModelArts上运行训练作业时,需要从OBS桶中读取数据和代码文件。

  1. 登录OBS管理控制台,按照如下示例创建OBS桶和文件夹。

    创建的OBS桶所在区域和后续使用ModelArts必须在同一个区域Region,否则会导致训练时找不到OBS桶。具体操作可参见查看OBS桶与ModelArts是否在同一区域

    创建OBS桶时,桶的存储类别请勿选择“归档存储”,归档存储的OBS桶会导致模型训练失败。

    OBS桶路径和文件夹命名要求如下:

    • {OBS桶}:OBS对象桶,用户可以自定义名称,例如:test-modelarts-xx
    • {OBS文件夹}:OBS文件夹,自定义名称,此处举例为pytorch
    • - mnist-data:OBS文件夹,用于存放训练数据集,可以自定义名称,此处举例为mnist-data
    • - mnist-code:OBS文件夹,用于存放训练脚本train.py,可以自定义名称,此处举例为mnist-code
    • - infer:OBS文件夹,用于存放推理脚本customize_service.py和配置文件config.json
    • - mnist-output :OBS文件夹,用于存放训练输出模型,可以自定义名称,此处举例为mnist-output

  2. 上传Step1 准备训练数据中下载的MNIST数据集压缩包文件到OBS的“mnist-data”文件夹中。
    • 上传数据到OBS中时,请不要加密,否则会导致训练失败。
    • 文件无需解压,直接上传压缩包至OBS中即可。
  3. 上传训练脚本“train.py”“mnist-code”文件夹中。
  4. 上传推理脚本“customize_service.py”和推理配置文件“config.json”“mnist-code”“infer”文件中。
support.huaweicloud.com/qs-modelarts/modelarts_06_0002.html