检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0-cann_8.0.rc3-py_3.10-hce_2.0.2406-aarch64-snt9b-20240910150953-6faa0ed 从SWR拉取。 约束限制 推理需要单机单卡。 确保容器可以访问公网。 Step1 检查环境 请参考DevServer资源开通,购买DevSer
获取代码并上传 上传代码AscendCloud-AIGC-6.3.909-xxx.zip到容器的工作目录${container_work_dir}中,包获取路径请参见表2。 步骤四 准备训练环境 下载权重。从HuggingFace下载Qwen-VL-Chat,或将您已下载的权重文件上传到
PretrainedConfig.from_pretrained(dir) # 从目录中加载序列化对象(本地或者是url),配置文件为dir/config.json PretrainedConfig.save_pretrained(dir) # 将配置实例序列化到dir/config.json “PretrainedModel”:预训练模型的基类
获取代码并上传 上传代码AscendCloud-AIGC-6.3.906-xxx.zip到容器的工作目录${container_work_dir}中,包获取路径请参见表2。 Step4 准备训练环境 下载权重。从HuggingFace下载Qwen-VL-Chat,或将您已下载的权重文件上传
输入数据的格式必须为csv格式,有效数据行数必须大于100行。列数必须小于200列,数据总大小不能超过100MB。 上传OBS操作步骤: 执行如下操作,将数据导入到您的数据集中,以便用于模型训练和构建。 登录OBS管理控制台,在ModelArts同一区域内创建桶。如果已存在可用的桶,需确保OBS桶与ModelArts在同一区域。
单击镜像的名称,进入镜像详情页,可以查看镜像版本/ID,状态,资源类型,镜像大小,SWR地址等。 基于自定义镜像创建Notebook实例 从Notebook中保存的镜像可以在镜像管理中查询到,可以用于创建新的Notebook实例,完全继承保存状态下的实例软件环境配置。 方式一:在Notebook实例创建
同时您的工作流会自动从数据标注节点开始运行。您需要做的是: 观察数据标注节点,待数据标注节点变为橙色即为“等待操作”状态。双击数据标注节点,打开数据标注节点的运行详情页面,单击“继续运行”。 在弹出的窗口中,单击“确定”,工作流会开始继续运行。当工作流运行到“服务部署”节点,状态
下: prefill_latency(首token时延):请求从到达服务开始到生成首token的耗时 model_prefill_latency(模型计算首token时延):服务从开始计算首token到生成首token的耗时 avg_decode_latency(平均增量toke
0-linux-amd64.tar.gz -C /usr/bin/ # 查看是否安装成功 nerdctl -v 安装buildkit工具。buildkit是从Docker从公司开源出来的下一代镜像构建工具,支持OCI标准的镜像构建,nerdctl需要结合buildkit一起使用。buildkit由两部分组成:
数据输入支持的标注格式不同,ModelArts目前支持的标注格式及其说明请参见不同类型数据集支持的功能列表。 从AI Gallery下载数据 当用户没有准备数据时,可以从AI Gallery上下载数据创建数据集。选择“AI Gallery”并选中列表中的一个资产。 下载至OBS桶
prune -ks 1 使用ma-cli image register命令注册SWR镜像到ModelArts镜像管理 调试完成后,使用ma-cli image register命令将新镜像注册到ModelArts镜像管理服务中,进而在能够在ModelArts中使用该镜像。 $ma-cli
0-cann_8.0.rc1-py_3.9-hce_2.0.2312-aarch64-snt9b-20240516142953-ca51f42 从SWR拉取。 获取软件 本教程使用的是Open-clip源码包。 昇腾适配过程通过修改训练脚本方式实现,不涉及其他软件获取。 Step1 准备环境
服务,典型的就是训练过程中,需要访问OBS读取用户的训练数据。在这个过程中,就出现了ModelArts“代表”用户去访问其他云服务的情形。从安全角度出发,ModelArts代表用户访问任何云服务之前,均需要先获得用户的授权,而这个动作就是一个“委托”的过程。用户授权ModelAr
映射关系。如果AI应用的输入是文件,则不需要映射关系。 自动生成的映射关系文件,填写每个参数对应到csv单行数据的字段索引,索引index从0开始计数。 映射关系生成规则:映射规则来源于模型配置文件“config.json”中输入参数(request)。当“type”定义为“st
0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240528150158-b521cc0 镜像发布到SWR,从SWR拉取 固件驱动:23.0.5 CANN:cann_8.0.rc2 容器镜像OS:hce_2.0 PyTorch:pytorch_2
开发环境Notebook中制作自定义镜像,镜像规范可参考创建AI应用的自定义镜像规范。 Step2 构建成功的镜像注册到镜像管理模块:将构建成功的自定义镜像注册到ModelArts的镜像管理模块中,方便下一步调试。 Step3 在Notebook中变更镜像并调试:在Notebook中调试镜像。
下: prefill_latency(首token时延):请求从到达服务开始到生成首token的耗时 model_prefill_latency(模型计算首token时延):服务从开始计算首token到生成首token的耗时 avg_decode_latency(平均增量toke
swr:repository:deleteTag swr:repository:getRepository swr:repository:listTags 从自定义镜像导入 从OBS导入时使用自定义引擎 OBS obs:bucket:ListAllMybuckets(获取桶列表) obs:bucket:HeadBucket(获取桶元数据)
服务,典型的就是训练过程中,需要访问OBS读取用户的训练数据。在这个过程中,就出现了ModelArts“代表”用户去访问其他云服务的情形。从安全角度出发,ModelArts代表用户访问任何云服务之前,均需要先获得用户的授权,而这个动作就是一个“委托”的过程。用户授权ModelAr
WorkflowStep 参数 是否必选 参数类型 描述 name 是 String Workflow工作流节点的名称,在一个DAG中唯一,1到64位只包含中英文,数字,空格,下划线(_)和中划线(-),并且以中英文开头。 type 否 String 节点的类型,枚举值如下: job