检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建数据集:前往创建数据集页面创建一个新的数据集。具体操作请参考创建ModelArts数据集。 “输出路径” 选择自动学习数据输出的统一OBS路径。 说明: “输出路径”是存储自动学习在运行过程中所有产物的路径。 “训练规格” 选择自动学习训练节点所使用的资源规格,以实际界面显示为准,将会根据不同的规格计费。 说明:
行筛选。 难例集:难例或非难例。 标签:您可以选择全部标签,或者基于您指定的标签,选中其中一个或多个。 文件名或目录:根据文件名称或者文件存储目录筛选。 标注人:选择执行标注操作的账号名称。 样本属性:表示自动分组生成的属性。只有启用了自动分组任务后才可使用此筛选条件。 数据属性
n,否则会导致训练时找不到OBS桶。具体操作可参见查看OBS桶与ModelArts是否在同一区域。 创建OBS桶时,桶的存储类别请勿选择“归档存储”,归档存储的OBS桶会导致模型训练失败。 上传Step1 准备训练数据中下载的MNIST数据集压缩包文件到OBS的“mnist-data”文件夹中。
/home/ma-user/AscendCloud-OPP-*.zip RUN pip install /home/ma-user/ascend_cloud_ops-1.0.0-py3-none-any.whl RUN pip install /home/ma-user/cann_ops-1
s.vm.cpu.2u的Notebook中,部署本地Predictor,其运行环境就是cpu.2u。 部署在线服务Predictor,即将存储在OBS中的模型文件部署到线上服务管理模块提供的容器中运行,其环境规格(如CPU规格,GPU规格)由表3 predictor configs结构决定。
sold_out Boolean 资源是否充足。 true 资源不足 false 资源充足 storages Array of strings 规格支持的存储类型。 EFS EVS vcpus Integer CPU核数。 表5 AscendInfo 参数 参数类型 描述 npu Integer
本案例需要创建一个Notebook,以便能够通过它访问SFS Turbo服务。随后,通过Notebook将OBS中的数据上传至SFS Turbo,并对存储在SFS Turbo中的数据执行编辑操作。 预训练 预训练 介绍如何进行预训练,包括训练数据处理、超参配置、创建训练任务及性能查看。 微调训练
Standard上运行GPU训练任务 本案例介绍了如何使用ModelArts Standard专属资源池提供的计算资源,结合SFS和OBS存储,在ModelArts Standard的训练环境中开展单机单卡、单机多卡、多机多卡分布式训练。 面向熟悉代码编写和调测的AI工程师,同时了解SFS和OBS云服务
秩表示的可训练参数的数量。权重矩阵被分解为经过训练和更新的低秩矩阵。所有预训练的模型参数保持冻结。训练后,低秩矩阵被添加回原始权重。这使得存储和训练LoRA模型更加高效,因为参数明显减少。 超参数设置,基于训练作业配置超参。超参指的是模型训练时原始数据集中实际字段和算法需要字段之间的映射关系。
ion比较的结果为true时允许执行的节点列表,存储的是节点名称;此时else_then_steps中的step跳过不执行。 else_then_step表示的是当Condition比较的结果为false时允许执行的节点列表,存储的是节点名称;此时if_then_steps中的step跳过不执行。
nsorflow/code/” 用于存储训练脚本文件。 “obs://test-modelarts/tensorflow/data/” 用于存储数据集文件。 “obs://test-modelarts/tensorflow/log/” 用于存储训练日志文件。 Step2 创建数据集并上传至OBS
若使用密钥对作为登录裸金属服务器的鉴权方式,您可以使用已有的密钥对或新创建的密钥对。 在ModelArts控制台购买Server资源。 资源配置 完成资源购买后,需要对网络、存储、软件环境进行相关配置。 资源使用 完成资源配置后,您可以登录到服务器进行训练和推理,具体案例可参考Lite Server资源使用。 资源管理
符 是 str desc 工作流的描述信息 是 str steps 工作流包含的节点列表 是 list[Step] storages 统一存储对象列表 否 Storage或者list[Storage] policy 工作流的配置策略,主要用于部分运行场景 否 Policy Step
验收结束后,针对不再使用的标注任务,您可单击任务所在行的删除。任务删除后,未验收的标注详情将丢失,请谨慎操作。但是数据集中的原始数据以及完成验收的标注数据仍然存储在对应的OBS桶中。 父主题: 通过团队标注方式标注数据
花朵种类将图片标注为“tulips”。同样选择其他未标注分类图片,将其标注为“sunflowers”、“roses”等。标注完成后,图片将存储至“已标注”页签下。 图片标注不支持多标签,即一张图片不可以添加多个标签。 标签名是由中文、大小写字母、数字、中划线或下划线组成。 当图片
ugging Face格式权重输出的路径(确保添加CONVERT_MG2HF环境变量并设置为True)。 分别单击“输入”和“输出”的数据存储位置,如图所示,选择OBS桶中指定的目录。ORIGINAL_TRAIN_DATA_PATH中则直接选中数据集文件,USER_CONVERT
常见的标准操作系统镜像,所有用户可见,包括操作系统以及预装的公共应用(SDI卡驱动、bms-network-config网络配置程序、Cloud-init初始化工具等)。请根据您的实际需要自助配置应用环境或相关软件。ModelArts服务提供镜像支持多种操作系统,内置AI场景相关
单击资产名称,进入资产详情页。 在资产详情页,单击“下架”,在弹窗中单击“确定”。即可将资产下架。 删除数据集 当资产不使用时,支持删除,释放AI Gallery仓库的存储空间。 在资产详情页,选择“设置”页签。 在“删除资产”处,单击“删除”按钮,确认后资产将被删除。 删除操作不可撤销,执行此操作后该资产及相关文件将被永久删除,请谨慎操作。
根据指定的实例规格、AI引擎镜像、存储等相关参数,创建一个开发环境实例。 查询Notebook实例详情 查询开发环境实例详情。 更新Notebook实例 更新开发环境实例。 删除Notebook实例 删除开发环境实例,删除的资源包括Notebook容器以及对应的所有存储资源。 通过运行的实例保存成容器镜像
Face格式权重输出的路径(确保convert_mg2hf_at_last设置为True,默认为True)。 分别单击“输入”和“输出”的数据存储位置,如图所示,选择OBS桶中指定的目录。超参:dataset中则直接选中数据集文件,超参:processed_data_dir则需选中存放已处理好数据集的目录文件夹。