检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从DLI导入数据到ModelArts数据集 表格数据集支持从DLI导入数据。 从DLI导入数据,用户需要选择DLI队列、数据库和表名称。所选择的表的schema(列名和类型)需与数据集一致,支持自动获取所选择表的schema。DLI的详细功能说明,请参考DLI用户指南。 图1 DLI导入数据
导出ModelArts数据集中的数据到OBS 针对数据集中的数据,用户可以选中部分数据或者通过条件筛选出需要的数据,当需要将数据集中的数据存储至OBS用于后续导出使用时,可通过此种方式导出成新的数据集。用户可以通过任务历史查看数据导出的历史记录。 目前只有“图像分类”、“物体检测
解析Pascal VOC文件 解析xml文件支持本地和OBS,如果是OBS,需要Session信息。 PascalVoc.parse_xml(xml_file_path, session=None) 示例代码 指定xml路径,通过调用parse_xml来解析获取xml文件的信息。
数值比较来控制执行流程,也可以根据节点输出的metric相关信息决定后续的执行流程。主要应用场景如下: 可以用于需要根据不同的输入值来决定后续执行流程的场景。例如:需要根据训练节点输出的精度信息来决定是重新训练还是进行模型的注册操作时可以使用该节点来实现流程的控制。 属性总览 您
准备图像分类数据 使用ModelArts自动学习构建模型时,您需要将数据上传至对象存储服务(OBS)中。OBS桶需要与ModelArts在同一区域。 数据集要求 保证图片质量:不能有损坏的图片,目前支持的格式包括jpg、jpeg、bmp、png。 不要把明显不同的多个任务数据放在同一个数据集内。
片的标签具有相似性,则需要更多的图片。用于训练的图片,至少有1种以上的分类,每种分类的图片数不少50张。 标注时,类内方差尽量要小。即相同类别的标注,尽量近似;不同类别的标注,尽量保持差距较大。 标记的每个标签尽量和背景有较大的区分度。 物体检测标注,需要保证目标框内物体的完整性
n()方法,支持用户在开发态发布并运行工作流,节省了前往console配置执行的操作。 使用该方法时需要注意以下几个事项: Workflow中所有出现占位符相关的配置对象时,均需要设置默认值,或者直接使用固定的数据对象 方法的执行依赖于Workflow对象的名称:当该名称的工作流
本教程案例是基于ModelArts Lite DevServer运行的,需要购买并开通DevServer资源。 准备代码 准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据,可以用本案使用的数据集,也可以使用自己准备的数据集。 准备镜像 准备训练模型适用的容器镜像。
如果在线服务的状态处于“运行中”,则表示在线服务已部署成功,部署成功的在线服务,将为用户提供一个可调用的API,此API为标准Restful API。在集成至生产环境之前,需要对此API进行调测,您可以使用以下方式向在线服务发起预测请求: 方式一:使用图形界面的软件进行预测(以Postman为例)。Windows系统建议使用Postman。
report-to tensorboard:指定输出loss指标到tensorboard,一般需要做精度评估才需要带上。 train-num-samples:指定每个epoch需要训练的样本个数,不超过总样本个数。 batch-size:指定一次处理的数据batch。 epochs:指定训练的epoch个数。
目前华为云AI市场订阅的算法YOLOv3-Ascend(物体检测/TensorFlow)中可以使用soft NMS,YOLOv5算法文档中没有看到相关支持的信息,需要自定义算法进行使用。 父主题: 功能咨询
问题现象 在安装ToolKit工具过程中,出现如下错误。 图1 错误提示 解决措施 此问题是因为插件版本和PyCharm版本不一致导致的,需要获取和PyCharm同一版本的插件安装,即2019.2或以上版本。 父主题: PyCharm Toolkit使用
该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF_WEIGHT路径相同。如果用户需要将Hugging Face权重与tokenizer文件分开存放时,则需要修改参数。 INPUT_PROCESSED_DIR /home/ma-user/work/Ascend
该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF_WEIGHT路径相同。若用户需要将Hugging Face权重与tokenizer文件分开存放时,则需要修改参数。 INPUT_PROCESSED_DIR /home/ma-user/work/Ascend
确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.
的卡ID号,与实际选择的卡ID不匹配。 处理方法 尽量代码里不要去修改CUDA_VISIBLE_DEVICES变量,用系统默认里面自带的。 如果必须指定卡ID,需要注意1/2/4规格下,指定的卡ID与实际分配的卡ID不匹配的情况。 如果上述方法还出现了错误,可以去notebook
确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.
s的Notebook开发环境中,调试和运行代码。 对于使用本地IDE的开发者,由于本地资源限制,运行和调试环境大多使用团队公共搭建的资源服务器,并且是多人共用,这带来一定的环境搭建和维护成本。 而ModelArts的Notebook的优势是即开即用,它预先装好了不同的AI引擎,并
NMS方法降低目标框堆叠度 目前华为云AI市场订阅的算法中,yolo3可以使用该方法降低目标框堆叠度,yolo5 算法中没有看到相关支持的信息,需要在自定义算法进行使用。 父主题: Standard数据管理
该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF_WEIGHT路径相同。如果用户需要将Hugging Face权重与tokenizer文件分开存放时,则需要修改参数。 INPUT_PROCESSED_DIR /home/ma-user/work/Ascend