-
个人用户快速配置ModelArts访问权限 - AI开发平台ModelArts
普通用户包括用户使用ModelArts完成AI开发的所有必要功能权限,如数据的访问、训练任务的创建和管理等。一般用户选择此项即可。 可以单击“查看权限列表”,查看普通用户权限。 “新增委托 > 权限配置 > 自定义” 如用户有精细化权限管理的需求,可使用自定义模式灵活按需配置ModelArts创建的委托权限
-
物体检测 - AI开发平台ModelArts
操作。 如果勾选了“同时删除OBS源文件”,删除图片操作将删除对应OBS目录下存储的图片,此操作可能会影响已使用此源文件的其他数据集或数据集版本,有可能导致展示异常或训练/推理异常。删除后,数据将无法恢复,请谨慎操作。 标注人员管理 如果您创建的标注作业,开启了团队标注,“标注人
-
免费体验自动学习 - AI开发平台ModelArts
登录ModelArts管理控制台,在左侧导航栏中选择“自动学习”。 参考准备数据,准备用于模型训练的数据集,并按要求上传至OBS。 参考创建项目,创建一个“图像分类”的自动学习项目,在项目中,选择步骤2中准备的数据。 参考标注数据,将所有图片数据完成标注。 参考自动训练,在“训练设置”窗口中,选择“自
-
属性总览 - AI开发平台ModelArts
subnet_network_id 子网的网络ID,默认为空,当配置了vpc_id则此参数必填。需填写虚拟私有云控制台子网详情中显示的“网络ID”。通过子网可提供与其他网络隔离的、可以独享的网络资源。 否 str security_group_id 安全组,默认为空,当配置了vpc_id则此参数必填。安全组起着
-
推理业务迁移评估表 - AI开发平台ModelArts
例如:当前是“客户端 -> 云服务”模式,客户端请求应答可接受的最长时延为2秒。 - 模型参数规模,是否涉及分布式推理 10B/100B,单机多卡推理。 - 能否提供实际模型、网络验证的代码和数据等信息 提供实际模型、网络验证的代码和数据。 提供与业务类型类似的开源模型,例如GPT3
-
自定义镜像规范 - AI开发平台ModelArts
必选文件,训练参数文件,定义了模型训练的必要参数,例如训练方式、超参信息。该参数会显示在微调工作流的“作业设置”页面的算法配置和超参数设置里面。代码示例请参见train_params.json示例。 “dataset_readme.md” 必选文件,数据集要求说明,定义了模型训练时对数据集的要求,会显示在微调工作流的“准备数据”页面。
-
构造请求 - AI开发平台ModelArts
} 到这里为止这个请求需要的内容就具备齐全了,您可以使用curl、Postman或直接编写代码等方式发送请求调用API。对于获取用户Token接口,返回的响应消息头中“x-subject-token”的值,就是需要获取的用户Token。有了Token之后,您就可以使用Token认证调用其他API。
-
提交训练作业 - AI开发平台ModelArts
Pool”标识。只有购买了专属资源池的用户才会显示专属资源池规格。 Compute Nodes 计算资源节点个数。数量设置为1时,表示单机运行;数量设置大于1时,表示后台的计算模式为分布式。 Available/Total Nodes 当“Specifications”选择专属资源池规格时,显示专属资源池的可用节点数和总节点数,用户选择“Compute
-
向量召回评估 - AI开发平台ModelArts
i召回时为user,i2i召回时为item)的关联item集合为M,而实际召回了top k个和trigger相似的items,如果其中落在了M里的集合为N,则top k hitrate为|N| / |M|。 输入 参数 子参数 参数说明 inputs item_embedding
-
场景介绍 - AI开发平台ModelArts
准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据,可以用Alpaca数据集,也可以使用自己准备的数据集。 准备镜像 准备训练模型适用的容器镜像。 预训练 预训练 介绍如何进行预训练,包括训练数据处理、超参配置、训练任务、断点续训及性能查看。 微调训练 SFT全参微调
-
使用ModelArts的exporter功能在Prometheus查看监控数据 - AI开发平台ModelArts
)权限赋予了Prometheus,同时将上面创建的ConfigMap资源以文件系统的方式挂载到了prometheus容器的“/etc/prometheus”目录,并且通过--config.file=/etc/prometheus/prometheus.yml参数指定了“/bin/prometheus”使用该配置文件。
-
给子用户配置训练作业基本使用权限 - AI开发平台ModelArts
modelarts:network:get modelarts:workspace:get 创建训练作业和查看训练日志。 建议配置。 仅在严格授权模式开启后,需要显式配置左侧权限。 modelarts:workspace:getQuotas 查询工作空间配额。如果开通了工作空间功能,则需要配置此权限。
-
自动学习 - AI开发平台ModelArts
者需求的推理速度,自动调优并生成满足要求的模型。 图1 自动学习流程 ModelArts的自动学习不止为入门级开发者使用设计,还提供了“自动学习白盒化”的能力,开放模型参数,实现模板化开发。很多资深的开发者说,希望有一款工具,可以自动生成模型,然后在这个基础上修改,这很像普通软件
-
上传OBS文件到JupyterLab - AI开发平台ModelArts
提示文件上传失败,有以下三种常见场景。 异常场景1 图6 文件上传失败 可能原因: OBS路径没有设置为具体的文件路径,设置成了文件夹。 OBS中的文件设置了加密。请前往OBS控制台查看,确保该文件未加密。 OBS桶和Notebook不在同一个区域。请确保读取的OBS桶和Notebook处于同一站
-
查询资源池 - AI开发平台ModelArts
modelarts/description String 资源池的描述信息。 os.modelarts/billing.mode String 计费模式。可选值如下: 0:按需计费 1:包周期计费 os.modelarts/period.num String 包周期订购周期,比如2。 os
-
操作步骤 - AI开发平台ModelArts
environ["HUAWEICLOUD_SDK_AK"] __SK = os.environ["HUAWEICLOUD_SDK_SK"] # 如果进行了加密还需要进行解密操作 session = Session(access_key=__AK,secret_key=__SK, project_id='***'
-
部署在线服务 - AI开发平台ModelArts
子网的网络ID,默认为空,当配置了vpc_id则此参数必填。需填写虚拟私有云控制台子网详情中显示的“网络ID”。通过子网可提供与其他网络隔离的、可以独享的网络资源。 security_group_id 否 String 安全组,默认为空,当配置了vpc_id则此参数必填。安全组起
-
删除资源池 - AI开发平台ModelArts
modelarts/description String 资源池的描述信息。 os.modelarts/billing.mode String 计费模式。可选值如下: 0:按需计费 1:包周期计费 os.modelarts/period.num String 包周期订购周期,比如2。 os
-
查询AI应用详情 - AI开发平台ModelArts
镜像复制开关,仅当“model_type”为“Image”时有效。 true:默认值,复制镜像模式,无法极速创建AI应用,SWR源目录中的镜像更改或删除不影响服务部署。 false:不复制镜像模式,可极速创建AI应用,更改或删除SWR源目录中的镜像会影响服务部署。 description
-
查询资源池列表 - AI开发平台ModelArts
modelarts/description String 资源池的描述信息。 os.modelarts/billing.mode String 计费模式。可选值如下: 0:按需计费 1:包周期计费 os.modelarts/period.num String 包周期订购周期,比如2。 os