检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ModelArts Studio大模型即服务平台已预置非量化模型与AWQ-W4A16量化模型的模型模板。 非量化模型可以支持调优、压缩、部署等操作。 量化模型仅支持部署操作。当需要获取SmoothQuant-W8A8量化模型时,则可以通过对非量化模型进行模型压缩获取。
训练预测分析模型 创建自动学习后,将会进行模型的训练,得到预测分析的模型。模型部署步骤将使用预测模型发布在线预测服务。 操作步骤 在新版自动学习页面,单击创建成功的项目名称,查看当前工作流的执行情况。 在“预测分析”节点中,待节点状态由“运行中”变为“运行成功”,即完成了模型的自动训练。
如何定位Workflow运行报错 使用run模式运行工作流报错时,分析解决思路如下: 确认安装的SDK包是否是最新版本,避免出现包版本不一致问题。 检查编写的SDK代码是否符合规范,具体可参考相应的代码示例。 检查运行过程中输入的内容是否正确,格式是否与提示信息中要求的一致。 根
进行剪枝,并保存剪枝后的模型;2、使用剪枝后的模型进行推理部署。 常用的剪枝技术包括:结构化稀疏剪枝、半结构化稀疏剪枝、非结构化稀疏剪枝。 FASP剪枝 FASP剪枝是一种结构化稀疏剪枝方法,能有效降低模型显存以及需要部署的资源依赖,减小推理过程中的计算量,降低增量推理时延,提升吞吐。
数据标注 ModelArts标注的数据存储在OBS中。 自动训练 训练作业结束后,其生成的模型存储在OBS中。 部署上线 ModelArts将存储在OBS中的模型部署上线为在线服务。 Standard AI全流程开发 数据管理 数据集存储在OBS中。 数据集的标注信息存储在OBS中。
在资源池详情页的右上角,单击“更多>扩缩容”,在资源池扩缩容页面可以查看该资源规格中携带的系统盘、容器盘、数据盘的磁盘类型、大小、数量和写入模式、容器引擎空间大小、挂载路径磁盘配置等参数。 父主题: 管理Standard专属资源池
指令仍然可以使用。 登录指令末尾的域名为镜像仓库地址,请记录该地址,后面会使用到。 在安装容器引擎的机器中执行上一步复制的登录指令。 登录成功会显示“Login Succeeded”。 在安装容器引擎的机器上执行如下命令,为镜像打标签。 docker tag [镜像名称1:版本名称1]
OBS提供了多种语言SDK供选择,开发者可根据使用习惯下载OBS SDK进行调用。使用OBS SDK前,需下载OBS SDK包,然后在本地开发环境中安装使用。 详细指导 :《OBS SDK参考》 MoXing MoXing是ModelArts自研的组件,是一种轻型的分布式框架,构建于Ten
oken,可以降低时延。 --host=${docker_ip}:服务部署的IP,${docker_ip}替换为宿主机实际的IP地址,默认为None,举例:参数可以设置为0.0.0.0。 --port:服务部署的端口。 --gpu-memory-utilization:NPU使用
Standard自动学习、Workflow、Notebook、模型训练、模型部署 Lite Cluster Lite Server Standard自动学习、Workflow、Notebook、模型训练、模型部署 变更计费模式 不支持 支持变更为包年/包月计费模式。 变更计费模式 变更规格
tions"拼接而成,部署成功后的在线服务详情页中可查看API接口公网地址。 图1 API接口公网地址 --app-code:获取方式见访问在线服务(APP认证)。 --tokenizer:tokenizer路径,HuggingFace的权重路径。若服务部署在notebook中,
ModelArts提供了AI全流程开发的套餐包,面向有AI基础的开发者,提供机器学习和深度学习的算法开发及部署全功能,包含数据处理、模型开发、模型训练、模型管理和模型部署流程。 约束限制 套餐包在购买和使用时的限制如下: 套餐包和购买时选定的区域绑定,套餐包只能使用于购买时选定
如果您当前使用的浏览器版本过低,将在一定程度上影响页面的显示效果,系统会提示您尽快对浏览器进行升级。 如果您当前使用的浏览器不支持访问管理控制台,系统会建议您对浏览器进行升级或安装支持的浏览器。 表1 PC端浏览器兼容性一览表 浏览器类型 版本 操作系统 兼容性 Internet Explorer 11 Windows
pip show ipykernel 对应conda环境没有ipykernel,直接在Notebook中添加自定义IPython Kernel安装。 父主题: 自定义镜像故障
[worker-0] [耗时: 秒] 训练输入(参数名称:)下载失败,失败原因: [worker-0] 正在安装Python依赖包,导入文件: [worker-0] [耗时: 秒] Python依赖包安装完成,导入文件: [worker-0] 训练作业开始运行 [worker-0] 训练作业运行结束,退出码
预置工作流生成指定场景模型,无需深究底层模型开发细节。ModelArts PRO底层依托ModelArts平台提供数据标注、模型训练、模型部署等能力。也可以理解为增强版的自动学习,提供行业AI定制化开发套件,沉淀行业知识,让开发者聚焦自身业务。 父主题: Standard自动学习
由于发布后的数据集不会默认启动数据特征分析,针对数据集的各个版本,需手动启动特征分析任务。在数据特征页签下,单击“启动特征分析”。 在弹出的对话框中配置需要进行特征分析的数据集版本,然后单击“确定”启动分析。 “版本选择”,即选择当前数据集的已发布版本。 图1 启动数据特征分析任务 数据特
进入Terminal界面 例如,通过Terminal在“TensorFlow-1.8”的环境中使用pip安装Shapely。 在代码输入栏输入以下命令,获取当前环境的kernel,并激活需要安装依赖的python环境。 cat /home/ma-user/README source /ho
大化地开发数据价值,发挥数据作用。 AI开发的基本流程 AI开发的基本流程通常可以归纳为几个步骤:确定目的、准备数据、训练模型、评估模型、部署模型。 图1 AI开发流程 确定目的 在开始AI开发之前,必须明确要分析什么?要解决什么问题?商业目的是什么?基于商业的理解,整理AI开发
训练作业:用户在运行训练作业时,可以查看多个计算节点的CPU、GPU、NPU资源使用情况。具体请参见训练资源监控章节。 在线服务:用户将模型部署为在线服务后,可以通过监控功能查看CPU、内存、GPU等资源使用统计信息和模型调用次数统计,具体参见查看服务详情章节。 父主题: ModelArts