检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
挂载到训练容器中的路径。 read_only Boolean nfs挂载卷在容器中是否只读。 表53 log_export_path 参数 参数类型 描述 obs_url String 训练作业日志保存的OBS地址。 host_path String 训练作业日志保存的宿主机的路径。
本,版本号也自动增加。 Workflow资产白名单设置: 在资产第一次发布时,可以通过release_to_gallery方法的visibility+group_users字段进行设置,后续需要对指定资产进行用户白名单添加或删除操作时,可执行如下命令: from modelarts
dtype类型不影响int8的scale系数的抽取和加载。 Step3 启动kv-cache-int8量化服务 在使用OpenAI接口或vLLM接口启动推理服务时添加如下参数: --kv-cache-dtype int8 #只支持int8,表示kvint8量化 --quantization-param-path
使用kv-cache-int8量化 kv-cache-int8是实验特性,在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化,支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见支持的模型列表和权重文件。
不想要的,或者将某一类直接全选后添加标签。 目前只有“图像分类”、“物体检测”和“图像分割”类型的数据集支持自动分组功能。 启动自动分组任务 登录ModelArts管理控制台,在左侧菜单栏中选择“数据准备>数据标注”,进入“数据标注”管理页面。 在标注作业列表中,选择“物体检测”
IAM权限体系进行正确的权限授权。例如:用户希望在ModelArts创建训练作业,则该用户必须拥有 "modelarts:trainJob:create" 的权限才可以完成操作(无论界面操作还是API调用)。 管理员新创建的用户在没有配置细粒度授权策略时,默认具有ModelArt
挂载到训练容器中的路径。 read_only Boolean nfs挂载卷在容器中是否只读。 表55 log_export_path 参数 参数类型 描述 obs_url String 训练作业日志保存的OBS地址。 host_path String 训练作业日志保存的宿主机的路径。
模型本身问题,无法启动 如果创建模型使用的镜像本身有问题,需要在创建模型之前,参考从0-1制作自定义镜像并创建AI应用,确保镜像可以正常启动,并可以在本地curl通返回预期内容。 镜像中配置的端口错误 模型可以正常启动,但是因为镜像中启用的端口非8080,或者镜像启用的端口与创建模型时配置
调用查询数据集详情接口根据数据集ID查询数据集的详情。 调用查询样本列表接口根据数据集ID获取数据集的样本详情。 调用批量更新样本标签接口根据数据集ID和样本ID给样本添加标签进行人工标注。 调用查询数据集的统计信息接口查看数据集的标注统计信息。 当数据集使用完成或不再使用时,调用删除数据集接口删除数据集。 前提条件
使用kv-cache-int8量化 kv-cache-int8是实验特性,在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化,支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见表1。
dtype类型不影响int8的scale系数的抽取和加载。 Step3 启动kv-cache-int8量化服务 在使用OpenAI接口或vLLM接口启动推理服务时添加如下参数: --kv-cache-dtype int8 #只支持int8,表示kvint8量化 --quantization-param-path
先级1~3。 如何设置训练作业优先级 在创建训练作业页面可以设置训练的“作业优先级”。取值为1~3,默认优先级为1,最高优先级为3。 如何修改训练作业优先级 在训练作业列表页面,选择“状态”为“等待中”的训练作业,单击“作业优先级”列的,在弹窗中修改优先级后单击“确定”。 图1 修改作业优先级
如何减小本地或ECS构建镜像的目的镜像的大小? 减小目的镜像大小的最直接的办法就是选择尽可能小且符合自己诉求的镜像,比如您需要制作一个PyTorch2.1+Cuda12.2的镜像,官方如果没有提供对应的PyTorch或者Cuda版本的镜像,优选一个没有PyTorch环境或没有安装
1 # 设置plog日志是否在屏幕上显示,1表示默认设置在屏幕上显示日志。 ASCEND_GLOBAL_EVENT_ENABLE=1 # 设置事件级别 不开启Event日志级别为0;开启Event日志级别为1。 ma-pre-start脚本在与训练启动文件同级的目录下放置,命名为ma-pre-start
登录ModelArts管理控制台,在左侧导航栏中选择“开发空间 > Notebook”,进入“Notebook”页面。 选择运行中的Notebook实例,单击实例名称,进入Notebook实例详情页面,在“存储配置”页签,单击“添加数据存储”,设置挂载参数。 设置本地挂载目录,在“/data/”目
制作自定义镜像用于创建Notebook Notebook的自定义镜像制作方法 在ECS上构建自定义镜像并在Notebook中使用 在Notebook中通过Dockerfile从0制作自定义镜像 在Notebook中通过镜像保存功能制作自定义镜像 父主题: 制作自定义镜像用于ModelArts
模型部署完成后,“在服务部署”节点,单击“实例详情”按钮,进入服务预测界面,在“预测”页签单击“上传”,选择本地图片进行测试。 单击“预测”进行测试,预测完成后,右侧“预测结果”区域输出标签名称“sunflowers”和检测的评分。如模型准确率不满足预期,可在“数据标注”页签中添加图片并进
batch为批量服务,批量服务可对批量数据进行推理,完成数据处理后自动停止。 edge表示边缘服务,通过华为云智能边缘平台,在边缘节点将模型部署为一个Web Service,需提前在IEF(智能边缘服务)创建好节点。 vpc_id 否 String 在线服务实例部署的虚拟私有云ID,默认为空,
以将优秀的Notebook代码样例发布在AI Gallery社区,供其他开发者学习使用;也可以在AI Gallery上查看其他人共享的Notebook案例的详细描述、代码信息等,通过“Run in ModelArts”将Notebook案例在ModelArts控制台快速打开、运行以及进行二次开发等操作。
注。 图6 标注工具 使用标注工具选中目标区域,在弹出的标签文本框中,直接输入新的标签名。如果已存在标签,从下拉列表中选择已有的标签。单击“添加”完成标注。 图7 添加物体检测标签 单击页面上方“返回数据标注预览”查看标注信息,在弹框中单击“确定”保存当前标注并离开标注页面。选中