检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进行进一步的调优）。 针对用户自己编写训练脚本或自定义镜像方式创建的训练作业，则需要在您的训练代码中添加评估代码，才可以在训练作业结束后查看相应的评估诊断建议。 只支持验证集的数据格式为图片。 目前，仅如下常用框架的训练脚本支持添加评估代码。 TF-1.13.1-python3.6
本教程使用Alpaca数据集，数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以用来对语言模型进行指令调优，使语言模型更好地遵循指令。 预训练使用的Alpaca数据集下载：https://huggingface
user_id：用户的唯一不重复的ID值，必选。 excel_addr：待处理的excel文件的地址，必选。 dataset_name：处理后的数据集名称，必选。 proportion：测试集所占份数，范围[1,9]，可选。 test_count：测试集的个数，范围[1，处理后数据集总长度
本教程使用Alpaca数据集，数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以用来对语言模型进行指令调优，使语言模型更好地遵循指令。 预训练使用的Alpaca数据集下载：https://huggingface
ModelArts环境挂载目录说明 本小节介绍Notebook开发环境、训练任务实例的目录挂载情况（以下挂载点在保存镜像的时候不会保存）。详情如下： Notebook 表1 Notebook挂载点介绍 挂载点 是否只读 备注 /home/ma-user/work/ 否 客户数据的持久化目录。
OBS操作相关故障 读取文件报错，如何正确读取文件 TensorFlow-1.8作业连接OBS时反复出现提示错误 TensorFlow在OBS写入TensorBoard到达5GB时停止 保存模型时出现Unable to connect to endpoint错误 OBS复制过程中提示“BrokenPipeError:
升级Lite Cluster资源池单个节点驱动 场景介绍 当Lite Cluster资源池中的节点含有GPU/Ascend资源时，用户基于自己的业务，可能会有自定义GPU/Ascend驱动的需求，ModelArts面向此类客户提供了自助Lite Cluster资源池升级节点GPU/Ascend驱动的能力。
运行训练代码，出现dead kernel，并导致实例崩溃 如何解决训练过程中出现的cudaCheckError错误？ 如何处理使用opencv.imshow造成的内核崩溃？ 使用Windows下生成的文本文件时报错找不到路径？ 创建Notebook文件后，右上角的Kernel状态为“No Kernel”如何处理？
从本地上传数据到ModelArts数据集 前提条件 已存在创建完成的数据集。 创建一个空的OBS桶，OBS桶与ModelArts在同一区域，并确保用户具有OBS桶的操作权限。 本地上传 文件型和表格型数据均支持从本地上传。从本地上传的数据存储在OBS目录中，请先提前创建OBS桶。 从本地
应的训练作业。 进入OBS，删除本训练作业使用的OBS桶及文件。 查找训练作业 当用户使用IAM账号登录时，训练作业列表会显示IAM账号下所有训练作业。ModelArts提供查找训练作业功能帮助用户快速查找训练作业。 操作一：单击“只显示自己”按钮，训练作业列表仅显示当前子账号下创建的训练作业。
True：会开启Prefix Cache特性。 False：不会开启Prefix Cache特性。 online --enable-prefix-caching - - 设置：会开启Prefix Cache特性。 不设置：不会开启Prefix Cache特性。 须知： 启用Prefix
/v2/{project_id}/workforces/worker-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 指定每一页返回的最大条目数，取值范围[1
表1 路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 delete_source
项目创建完成后，将会自动跳转至自动学习页面，并开始运行。单击“数据标注”节点，当状态变为“等待操作”时，需要手动进行确认数据集中的数据标注情况，也可以对数据集中的数据进行标签的修改，数据的增加或删减。 图1 数据标注节点状态 图片标注 在新版自动学习页面的数据标注节点单击“实例详情”按钮，前往数据标注页面。
导出ModelArts数据集中的数据到OBS 针对数据集中的数据，用户可以选中部分数据或者通过条件筛选出需要的数据，当需要将数据集中的数据存储至OBS用于后续导出使用时，可通过此种方式导出成新的数据集。用户可以通过任务历史查看数据导出的历史记录。 目前只有“图像分类”、“物体检测
项目名称，例如：XXX项目。 - 使用场景 例如： 使用YOLOv5算法对工地的视频流裁帧后进行安全帽检测。 使用BertBase算法对用户在app上购买商品后的评论进行理解。 - CPU架构 X86/ARM，自有软件是否支持ARM。 例如：4个推理模型在ARM上运行，6个推理模型在X86上运行。
中的数据。 Notebook实例： 运行中的Notebook实例会收费，使用完成后请及时停止Notebook实例或删除。使用EVS做存储时，需同时清理存储到EVS中的数据。 CodeLab计费：在体验CodeLab时，切换为付费规格后会收费，使用完后请在JupyterLab界面及时停止Notebook实例。
配额与限制 本节介绍ModelArts涉及的相关云服务的配额限制，帮助用户查看和管理自己的配额。 什么是配额 配额是在某一区域下最多可同时拥有的某种资源的数量。 华为云为防止资源滥用，对云服务每个区域的用户资源数量和容量做了配额限制。 如果当前资源配额限制无法满足使用需要，您可以申请扩大配额。
Standard镜像相关 不在同一个主账号下，如何使用他人的自定义镜像创建Notebook？ 如何登录并上传镜像到SWR？ 在Dockerfile中如何给镜像设置环境变量？ 如何通过docker镜像启动容器？ 如何在ModelArts的Notebook中配置Conda源？ Mod
出统计，不输入默认为false。当使用投机推理时必须开启，否则会导致输出token数量统计不正确。注：由于投机推理的性能测试使用随机输入意义不大，建议开启--dataset-type、--dataset-path，并选择性开启--use-real-dataset-output-tokens使用真实数据集进行测试。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
