检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
r资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254
昇腾资源。 创建OBS桶 ModelArts使用对象存储服务(Object Storage Service,简称OBS)存储输入输出数据、运行代码和模型文件,实现安全、高可靠和低成本的存储需求。因此,在使用ModelArts之前通常先创建一个OBS桶,然后在OBS桶中创建文件夹用于存放数据。
有的点组成一个多边形形状。使得需标注的对象在此标注框内。 圆形。也可使用快捷键【3】。在标注对象中,选择物体的中心点位置,单击鼠标确定圆心,然后移动鼠标,使得圆形框覆盖标注对象,然后再单击鼠标完成标注。 直线。也可使用快捷键【4】。在标注对象中,选择物体的起始点,单击鼠标确定直线
local_path=data_local, is_local_source=False) # 形式3,数据在Notebook中,且是一个目录,一般是使用SFS挂载磁盘的场景 #obs_path = os.path.join(base_bucket_path, "dataset-local/") #data_local
购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 SSH
针对大文件,建议使用OBS服务上传文件。使用OBS客户端,将本地文件上传至OBS桶中,然后使用ModelArts SDK从OBS下载文件至Notebook本地。 使用OBS客户端上传文件的操作指导:上传文件。 使用ModelArts SDK或Moxing接口从OBS下载文件请参见如何
Falcon2 falcon falcon-11B https://huggingface.co/tiiuae/falcon-11B 表2 操作任务流程说明 阶段 任务 说明 准备工作 准备环境 本教程案例是基于ModelArts Lite DevServer运行的,需要购买并开通DevServer资源。
JupyterLab默认工作路径是什么? 带OBS存储的Notebook实例 JupyterLab文件默认存储路径,为创建Notebook时指定的OBS路径。 在文件列表的所有文件读写操作都是基于所选择的OBS路径下的内容操作的,跟当前实例空间没有关系。如果用户需要将内容同步到实
--Dockerfile --test_app.py “Dockerfile” From ubuntu:18.04 # 配置华为云的源,安装 python、python3-pip 和 Flask RUN cp -a /etc/apt/sources.list /etc/apt/sources
本文档主要介绍如何在ModelArts Lite的DevServer环境中部署ComfyUI,使用NPU卡进行推理。 方案概览 本方案介绍了在ModelArts的DevServer上使用昇腾计算资源部署ComfyUI用于推理的详细过程。完成本方案的部署,需要先联系您所在企业的华为方技术支持购买DevServer资源。
od以承载服务,随后登录至该Pod容器内部署在线服务,并最终通过新建一个终端作为客户端来访问并测试该在线服务的功能。 图1 任务示意图 操作步骤 拉取镜像。本测试镜像为bert_pretrain_mindspore:v1,已经把测试数据和代码打进镜像中。 docker pull swr
args.output_prefix) for key in self.args.json_keys: ## 写入磁盘 先调用self.get_tokenized_data()对数据集进行encode self.get_tokenized_data()中调用self
args.output_prefix) for key in self.args.json_keys: ## 写入磁盘 先调用self.get_tokenized_data()对数据集进行encode self.get_tokenized_data()中调用self
批量创建信息。 表6 PoolNodeAz 参数 参数类型 描述 az String 可用区名称。 count Integer 指定可用区扩容时,指定可用区的节点数。 表7 Taint 参数 参数类型 描述 key String 键。 value String 值。 effect
批量创建信息。 表7 PoolNodeAz 参数 参数类型 描述 az String 可用区名称。 count Integer 指定可用区扩容时,指定可用区的节点数。 表8 Taint 参数 参数类型 描述 key String 键。 value String 值。 effect
预训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中,具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及选择上传的镜像。 代码目录选择:OBS桶路径下的llm_train/AscendSpeed代码目录。
# 定义输入的OBS对象 obs_data = wf.data.OBSPlaceholder(name="obs_placeholder_name", object_type="directory") # 通过JobStep来定义一个训练节点,并将训练结果输出到OBS job_step_1
单击“立即创建”开始AI应用创建,待应用状态显示“正常”即完成AI应用创建。 若权重文件大于60G,创建AI应用会报错,提示模型大于60G,请提工单扩容。 Step3 部署在线服务 将Step2 部署模型中创建的AI应用部署为一个在线服务,用于推理调用。 在ModelArts控制台,单击“模型部署
首次创建AI应用预计花费40~60分钟,之后每次构建AI应用花费时间预计5分钟。 若权重文件大于60G,创建AI应用会报错,提示模型大于60G,请提工单扩容。 Step3 部署在线服务 将Step2 部署模型中创建的AI应用部署为一个在线服务,用于推理调用。 在ModelArts控制台,单击“模型部署
当提示空间不足时,推荐使用EVS类型的Notebook实例。 参考如何在Notebook中上传下载OBS文件?操作指导,针对原有的Notebook,首先将代码和数据上传至OBS桶中。然后创建一个EVS类型的Notebook,将此OBS中的文件下载至Notebook本地(指新建的EVS类型Notebook)。