正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
批量服务创建时填写的环境变量。 任务结束时间 本次批量服务的任务结束时间。 描述 您可以单击编辑按钮,添加服务描述。 输入数据目录位置 本次批量服务中,输入数据的OBS路径。 输出数据目录位置 本次批量服务中,输出数据的OBS路径。 AI应用名称&版本 本次批量服务所使用的AI应用名称及版本。 运行日志输出
下载开源数据集naruto-blip-captions并上传到宿主机上,官网下载地址:https://huggingface.co/datasets/lambdalabs/naruto-blip-captions/tree/main。用户也可以使用自己的数据集。 下载开源数据集fi
在ModelArts管理控制台总览页确认会收费的实例已全部停止或删除,同时需清理运行Notebook实例时存储到云硬盘中的数据和其他存储到对象存储服务中的数据,以免继续扣费。 您可以在“费用中心 > 总览”页面设置“可用额度预警”功能,当可用额度、通用代金券和现金券的总额度低于预警阈值时,系统自动发送短信和邮件提醒。
这里去掉了int 4量化默认为FP16精度。${HOME} 目录需要根据读者实际数据集及模型路径匹配,适配的数据集是ADGEN数据集,如果需要读者也可以使用自定义的数据集训练,具体请参考使用自己数据集。另外通过指定local_rank为-1为单卡模式,多卡模式下无需指定,会默认启
termcolor==1.1.0 yacs==0.1.8 准备run.sh文件中所需要的obs文件路径。 准备imagenet数据集的分享链接 勾选要分享的imagenet21k_whole数据集文件夹,单击分享按钮,选择分享链接有效期,自定义提取码,例如123456,单击“复制链接”,记录该链接。
Service,OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。 在使用ModelArts时存在与OBS的数据交互,您需要使用的数据可以存储至OBS。 弹性云服务器 弹性云服务器(Elastic Cloud Server,ECS)是由CPU、内存、操作系统、云硬盘组成
查询指定作业名称的DLI Spark作业或根据作业名称关键字过滤DLI Spark作业。 -pn / --page-num Int 否 作业索引页,默认是第1页。 -ps / --page-size Int 否 每页显示的作业数量,默认是20。 -v / --verbose Bool
ts CommonOperations”已生效。 在“服务列表”中选择ModelArts,进入ModelArts主界面,单击“数据管理>数据集>创建数据”,如果可以成功访问对应的OBS路径,表示OBS权限已生效。 参考表1依次验证其他可选权限。 父主题: 配置MaaS访问授权
下载开源数据集naruto-blip-captions并上传到宿主机上,官网下载地址:https://huggingface.co/datasets/lambdalabs/naruto-blip-captions/tree/main。用户也可以使用自己的数据集。 下载开源数据集fi
ModelInput 属性 描述 是否必填 数据类型 name 模型注册节点的输入名称,只能包含英文字母、数字、下划线(_)、中划线(-),并且只能以英文字母开头,长度限制为64字符。同一个Step的输入名称不能重复 是 str data 模型注册节点的输入数据对象 是 OBS、SWR或订阅模
件环境时需要Server服务器能够访问网络,因此需要先完成网络配置。 2 配置Lite Server存储 Server资源需要挂载数据盘用于存储数据文件,当前支持SFS、OBS、EVS三种云存储服务,提供了多种场景下的存储解决方案。 3 配置Lite Server软件环境 不同镜像中预安装的软件不同,您通过Lite
大规模执行AI任务,并提高模型生成的效率。 ModelArts Workflow提供标准化MLOps解决方案,降低模型训练成本 支持数据标注、数据处理、模型开发/训练、模型评估、应用开发、应用评估等步骤 自动协调工作流步骤之间的所有依赖项,提供运行记录、监控、持续运行等功能 针对
例请参见train_params.json示例。 “dataset_readme.md” 必选文件,数据集要求说明,定义了模型训练时对数据集的要求,会显示在微调工作流的“准备数据”页面。 自定义镜像规范(推理) 当托管自定义镜像到AI Gallery时,如果镜像要支持AI Gal
自动学习 准备数据 模型训练 部署上线 模型发布
“输入-输入路径” 本次训练中,输入数据的OBS路径。 “输入-参数名称” 算法代码中,输入路径指代的参数。 “输入-获取方式” 本次训练作业的输入采用的获取方式。 “输入-本地路径(训练参数值)” 训练启动后,ModelArts将OBS路径中的数据下载至后台容器,本地路径指Mode
Service,并且提供在线的测试UI与监控功能,部署成功的在线服务,将为用户提供一个可调用的API。 将模型部署为批量推理服务 批量服务可对批量数据进行推理,完成数据处理后自动停止。 图2 不同类型的推理作业使用场景 父主题: 使用ModelArts Standard部署模型并推理预测
历史API 数据管理(旧版) 开发环境(旧版) 训练管理(旧版)
dataset_id 否 String 训练作业的数据集ID,可参考数据管理获取。需要与dataset_version_id同时出现,但是不可与inputs同时出现。 dataset_version_id 否 String 训练作业的数据集版本ID,可参考数据管理获取。需要与dataset_id
智能边缘平台(Intelligent EdgeFabric)通过纳管您的边缘节点,提供将云上应用延伸到边缘的能力,联动边缘和云端的数据,满足客户对边缘计算资源的远程管控、数据处理、分析决策、智能化的诉求。 ModelArts支持将模型通过智能边缘平台IEF,在边缘节点将模型部署为一个Web服务。您可以通过API接口访问边缘服务。
享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。