检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置多分支节点数据 功能介绍 仅用于存在多分支执行的场景,在编写构建工作流节点时,节点的数据输入来源暂不确定,可能是多个依赖节点中任意一个节点的输出。只有当依赖节点全部执行完成后,才会根据实际执行情况自动获取有效输出作为输入。 使用案例 from modelarts import
上传数据和算法至OBS(首次使用时需要) 前提条件 已经在OBS上创建好并行文件系统,请参见创建并行文件系统。 已经在obsutil安装和配置,请参见obsutils安装和配置。 准备数据 单击下载动物数据集至本地,并解压。 通过obsutil将数据集上传至OBS桶中。 ./obsutil
b可以安装插件吗? Jupyter可以安装插件。 目前jupyter插件多数采用wheel包的形式发布,一次性完成前后端插件的安装,安装时注意使用jupyter服务依赖的环境“/modelarts/authoring/notebook-conda/bin/pip”进行安装,不要使
据用户自己的需求自行配置。该方式只做目录的编排,不会自动创建新的目录。 输出目录管理:开发者在编辑开发工作流时可以对所有的输出路径做统一管理,用户无需手动创建输出目录,只需要在工作流运行前配置存储根路径,并且可以根据开发者的目录编排规则在指定目录下查看输出的数据信息。此外同一个工
从最新生成权重文件处继续训练。详见断点续训和故障快恢说明 CKPT_LOAD_TYPE 1 可选【0、1、2】,默认为1 0: 不加载权重 1:加载权重不加载优化器状态【增量训练】 2:加载权重且加载优化器状态【 断点续训】详见断点续训和故障快恢说明 USER_CONVERTED_CKPT_PATH
从最新生成权重文件处继续训练。详见断点续训和故障快恢说明 CKPT_LOAD_TYPE 1 可选【0、1、2】,默认为1 0: 不加载权重 1:加载权重不加载优化器状态【增量训练】 2:加载权重且加载优化器状态【 断点续训】详见断点续训和故障快恢说明 USER_CONVERTED_CKPT_PATH
Server-Sent Events(SSE)是一种服务器向客户端推送数据的技术,它是一种基于HTTP的推送技术,服务器可以向客户端推送事件。这种技术通常用于实现服务器向客户端推送实时数据,例如聊天应用、实时新闻更新等。 SSE主要解决了客户端与服务器之间的单向实时通信需求(例如ChatGP
配置仪表盘查看指标数据 Grafana中可以自定义配置各种视图的仪表盘,ModelArts也提供了针对集群的配置模板。本章节通过使用ModelArts提供的模板查看指标和创建Dashboards查看指标的方式,说明如何进行仪表盘配置。Grafana的更多使用请参考Grafana官方文档。
ModelArts在线服务和批量服务有什么区别? 在线服务 将模型部署为一个Web服务,您可以通过管理控制台或者API接口访问在线服务。 批量服务 批量服务可对批量数据进行推理,完成数据处理后自动停止。 批量服务一次性推理批量数据,处理完服务结束。在线服务提供API接口,供用户调用推理。
使用SSH功能 ECS ecs:serverKeypairs:list ecs:serverKeypairs:get ecs:serverKeypairs:delete ecs:serverKeypairs:create 为开发环境Notebook实例配置登录密钥。 DEW
如何在ModelArts的Notebook的CodeLab上安装依赖? ModelArts CodeLab中已安装Jupyter、Python程序包等多种环境,您也可以使用pip install在Notebook或Terminal中安装依赖包。 在Notebook中安装 在总览页面进入CodeLab。 在
storages=storage ) 案例中job_step_a和job_step_b均配置了跳过策略,并且都使用参数进行控制。当参数值配置不同时,model_step的执行可以分为以下几种情况(model_step没有配置跳过策略,因此会遵循默认规则): job_step_a_is_skip参数值
池过程中,如果需要开启自定义网络配置,需要配置VPC权限。 VPC FullAccess 可选 配置MaaS基础操作权限 创建用户组。 登录IAM管理控制台,单击“用户组>创建用户组”。在“创建用户组”界面,输入“用户组名称”单击“确定”。 配置用户组权限。 在用户组列表中,单击
具体原因。 镜像健康检查配置问题,需修复代码后重新制作镜像创建模型后部署服务。了解镜像健康接口配置请参考模型配置文件编写说明中health参数说明。 模型健康检查配置问题,需重新创建模型或者创建模型新版本,配置正确的健康检查,使用新的模型或版本重新部署服务。了解模型健康检查请参考
运行在ModelArts的模型读取存储在OBS服务的数据,或者输出至OBS服务指定路径,输入和输出数据需要配置3个地方: 训练代码中需解析输入路径参数和输出路径参数。ModelArts推荐以下方式实现参数解析。 1 2 3 4 5 6 7 8 9 10 import argparse
理”页面。 单击“添加授权”,进入“访问授权”配置页面,根据参数说明进行配置。 “授权对象类型”:根据需要选择"IAM子用户"、"联邦用户"、"委托用户"、"所有用户" “授权对象”:选择授权对象 “委托选择”:新增委托 “权限配置”:普通模式,选中弹性文件服务(SFSTurbo
服务管理权限 表1 服务管理细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 部署模型服务 POST /v1/{project_id}/services modelarts:service:create - √ √ 查询模型服务列表 GET /v1/
JupyterLab中文件保存失败,如何解决? 问题现象 JupyterLab中保存文件时报错如下: 原因分析 浏览器安装了第三方插件proxy进行了拦截,导致无法进行保存。 在Notebook中的运行文件超过指定大小就会提示此报错。 jupyter页面打开时间太长。 网络环境原因,是否有连接网络代理。
根据报错提示,请您排查代码,是否已添加以下配置,设置该程序可见的GPU: os.environ['CUDA_VISIBLE_DEVICES'] = '0,1,2,3,4,5,6,7' 其中,0为服务器的GPU编号,可以为0,1,2,3等,表明对程序可见的GPU编号。如果未进行添加配置则该编号对应的GPU不可用。
Diffusion v1.5的onnx pipeline代码为例进行说明。 进入容器环境,创建自己的工作目录。 由于在Snt9B裸金属服务器环境配置指南的配置环境步骤中,在启动容器时将物理机的home目录挂载到容器的“/home_host”目录下,该目录可以直接使用上传到物理机“hom