检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
obs:object:DeleteObjectVersion obs:object:ListMultipartUploadParts obs:object:AbortMultipartUpload obs:object:GetObjectAcl obs:object:GetObjectVersionAcl
通过SSH登录,不同机器之间网络互通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 父主题: 准备工作
调用批量更新样本标签根据获取的智能标注样本列表确认智能标注结果。 前提条件 已获取IAM的EndPoint和ModelArts的EndPoint。 确认服务的部署区域,获取项目名称和ID、获取帐号名和ID和获取用户名和ID。 已准备好用于智能标注的图像分类的数据集,并获取数据集ID,例如“6mHUGe
本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Standard上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。 适配的CANN版本是cann_8.0
通过SSH登录,不同机器之间网络互通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 父主题: 准备工作
create_version(name="V001", version_format="Default", label_task_type=0, description="version 001") 示例二:基于标注任务创建数据集 from modelarts.session import Session
title="title_info", description="description_info") # name字段必填,title, description可选填 # 定义输入的OBS对象 obs_data = wf.data.OBS
用户项目ID。获取方法请参见获取项目ID和名称。 workforce_id 是 String 标注团队ID。 请求参数 无 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 create_time Long 标注团队的创建时间。 description String 标注团队的描述。
running:运行中,服务正常运行。 deploying:部署中,服务正在部署,包含打镜像和调度资源部署。 concerning:告警,后端实例部分存在异常。 failed:失败,服务部署失败,失败原因可以看事件和日志标签页。 stopped:停止。 finished:只有批量服务会有这个状态,表示运行完成。
"image_info" : { "cpu_image_url" : "aip/horovod_tensorflow:train", "gpu_image_url" : "aip/horovod_tensorflow:train", "image_version"
Workflow工作流配置参数的名称。填写1-64位,仅包含英文、数字、下划线(_)和中划线(-),并且以英文开头的名称。 type String 参数的类型,枚举值如下: str:字符串 int:整型 bool:布尔类型 float:浮点型 description String Workflow工作流配置参数的描述。
创建处理任务 功能介绍 创建处理任务,支持创建“特征分析”任务和“数据处理”两大类任务。可通过指定请求体中的复合参数“template”的“id”字段来创建某类任务。 “特征分析”是指基于图片或目标框对图片的各项特征,如模糊度、亮度进行分析,并绘制可视化曲线,帮助处理数据集。 “
务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪任务后,CTS可记录ModelArts的管理事件和数据事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。 C
填;TRAIN_ITERS、MBS、GBS、TP、PP、WORK_DIR为非必填,有默认值。 查看日志和性能 训练完成后,查看SFT全参微调的日志和性能,具体方法请参见查看日志和性能。 父主题: SFT全参微调
instance_ip_obj = os.popen("curl http://169.254.169.254/latest/meta-data/local-ipv4") instance_ip = instance_ip_obj.read()
是否支持Keras引擎? 开发环境中的Notebook支持。训练作业和模型部署(即推理)暂时不支持。 Keras是一个用Python编写的高级神经网络API,它能够以TensorFlow、CNTK或者Theano作为后端运行。Notebook开发环境支持“tf.keras”。 如何查看Keras版本
_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 worker_id 是 String 标注团队成员ID。 workforce_id 是 String 标注团队ID。 请求参数 无 响应参数
购买容器镜像服务SWR 创建网络 购买ModelArts专属资源池 基本配置: 权限配置 obsutils安装和配置 (可选)工作空间配置 训练: 线下容器镜像构建及调试 上传镜像 上传数据和算法至OBS(首次使用时需要) 使用Notebook进行代码调试 创建训练任务 单机多卡 资源购买:
kers 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 指定每一页返回的最大条目数,取值范围[1,100],默认为10。
PyTorch版本:2.1.0 确保容器可以访问公网。 文档更新内容 6.3.908版本相对于6.3.907版本新增如下内容: 文档和代码中新增对mistral和mixtral模型的适配,并添加训练推荐配置。 文档中新增对Llama3支持长序列文本(sequence_length > 3