检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
UTC'的毫秒数。 description String 模型描述信息。 source_type String 模型来源的类型,仅当模型为自动学习部署过来时有值,取值为“auto”。 父主题: 模型管理
创建Notebook并执行性能诊断任务 本文介绍如何创建Notebook并执行性能诊断任务。 操作步骤 创建Notebook实例。 在ModelArts控制台创建一个Notebook实例,选择要使用的AI框架,创建Notebook时可以选择任意镜像。具体参见创建Notebook实例。
SD WebUI推理方案概览 本文档主要介绍如何在ModelArts的DevServer和ModelArts Standard环境上部署Stable Diffusion的WebUI套件,使用NPU卡进行推理。 约束限制 本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。
kubectl是Kubernetes集群的命令行工具,配置kubectl后,您可通过kubectl命令操作Kubernetes集群。本文介绍如何配置kubectl工具,操作步骤如下。 登录ModelArts管理控制台,在左侧菜单栏中选择“AI专属资源池 > 弹性集群 Cluster”,进入“弹性集群
Workflow多分支运行介绍 当前支持两种方式实现多分支的能力,条件节点只支持双分支的选择执行,局限性较大,推荐使用配置节点参数控制分支执行的方式,可以在不添加新节点的情况下完全覆盖ConditionStep的能力,使用上更灵活。 构建条件节点控制分支执行主要用于执行流程的条件分支选择,可以简单的
String 时间戳,例如"2021-11-01T03:49:41Z"。 labels PoolMetaLabels object 资源池的标签信息。 annotations PoolMetaAnnotations object 资源池的注释信息。 表5 PoolMetaLabels
(可选)本地安装ma-cli 使用场景 本文以Windows系统为例,介绍如何在Windows环境中安装ma-cli。 Step1:安装ModelArts SDK 参考本地安装ModelArts SDK完成SDK的安装。 Step2:下载ma-cli 下载ma-cli软件包。 完成软件包签名校验。
source_type String 模型来源的类型,仅当模型为自动学习部署过来时有值,取值为auto。 model_id String 模型id。 model_source String 模型来源。auto:自动学习;algos:预置算法;custom:自定义。 install_type
运行内置的知识库进行自动优化,以提升模型的运行效率。 自动高性能算子生成工具AKG AKG(Auto Kernel Generator)对深度神经网络中的算子进行优化,并提供特定模式下的算子自动融合功能。提升在昇腾硬件后端上运行网络的性能。 AKG由三个基本的优化模块组成:规范化、自动调度和后端优化。
定您的镜像位置。 制作自定义镜像的操作指导及规范要求,请参见模型镜像规范。 说明: 您选择的模型镜像将共享给系统管理员,请确保具备共享该镜像的权限(不支持导入其他账户共享给您的镜像),部署上线时,ModelArts将使用该镜像部署成推理服务,请确保您的镜像能正常启动并提供推理接口。
DLI. CPU 否 是 mlstudio-pyspark2.3.2-ubuntu16.04 CPU算法开发和训练基础镜像,包含可以图形化机器学习算法开发和调测MLStudio工具,并预置PySpark2.3.2 CPU 否 是 mindspore_1.10.0-cann_6.0.1-py_3
"used_quota" : 5, "quota" : 10, "min_quota" : -1, "name_cn" : "自动学习(图像分类、物体检测、声音分类)训练时长", "unit_cn" : "分钟", "name_en" : "ExeMLtraining
推理精度测试 本章节介绍如何使用lm-eval工具开展语言模型的推理精度测试,数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证
推理精度测试 本章节介绍如何使用lm-eval工具开展语言模型的推理精度测试,数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证
在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境(ModelArts控制台的在线服务功能)中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中,创建文件夹,准备ascend_vllm代码包、模型权重文件、推理启动脚本run_vllm.s
下载JupyterLab文件到本地 在JupyterLab中开发的文件,可以下载至本地。关于如何上传文件至JupyterLab,请参见上传文件至JupyterLab。 不大于100MB的文件,可以直接从JupyterLab中下载到本地,具体操作请参见从JupyterLab中下载不大于100MB的文件至本地。
帮您实现项目资源隔离、多项目分开结算等功能。 如果您开通了企业项目管理服务的权限,可以在创建工作空间的时候绑定企业项目ID,并在企业项目下添加用户组,为不同的用户组设置细粒度权限供组里的用户使用。 如果您未开通企业项目管理服务的权限,也可以在ModelArts创建自己独立的工作空间,但是无法使用跟企业项目相关的功能。
推理精度测试 本章节介绍如何使用lm-eval工具开展语言模型的推理精度测试,数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证
推理精度测试 本章节介绍如何使用lm-eval工具开展语言模型的推理精度测试,数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证
时间戳,例如"2021-11-01T03:49:41Z"。 labels NetworkMetadataLabels object 网络资源的标签信息。 annotations NetworkMetadataAnnotations object 网络资源的注释信息。 表4 NetworkMetadataLabels