检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0版本工具进行模型量化,工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。 量化脚本convert_checkpoint.py存放在TensorRT-LLM/examples路径对应的模型文件夹下,例如:llama模型对应
栏中选择“数据准备> 数据标注”,进入“数据标注”管理页面。 在标注作业列表右侧“所有类型”页签下拉选择标注类型,基于“标注类型”选择需要进行标注的标注作业,单击标注作业名称进入标注作业标注详情页。 图1 下拉选择标注类型 在标注作业标注详情中,展示此标注作业下全部数据。 标注视频
0版本工具进行模型量化,工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。 量化脚本convert_checkpoint.py存放在TensorRT-LLM/examples路径对应的模型文件夹下,例如:llama模型对应
导出ModelArts数据集中的数据 针对数据集中的数据,用户可以选中部分数据或者通过条件筛选出需要的数据,导出成新的数据集。用户可以通过任务历史查看数据导出的历史记录。 目前只有“图像分类”、“物体检测”、“图像分割”类型的数据集支持导出功能。 “图像分类”只支持导出txt格式的标注文件。 “物体检测”只支持导出Pascal
String APP名称。 app_remark String APP描述,默认为空。不超过200个字符。 app_secret String APP密钥。 app_type String APP类型。枚举值如下: APIC:该APP注册在roma connect网关上 APIG:该APP注册在共享API网关上
在VS Code中上传下载文件 在VS Code中上传数据至Notebook 不大于500MB数据量,直接复制至本地IDE中即可。 大于500MB数据量,请先上传到OBS中,再从OBS上传到云上开发环境。 操作步骤 上传数据至OBS。具体操作请参见上传文件至OBS桶。 或者在本地VS
数据管理计费项 计费说明 在ModelArts数据管理模块,提供的数据集、数据标注、数据处理功能都不收费。具体如下: 数据集:在ModelArts数据管理中创建数据集时,不收费。 数据标注:在ModelArts数据管理中进行手动标注和智能标注时,不收费。 数据处理:在ModelA
法通过。 创建完成后,跳转至模型详情页。 上传模型文件 在模型详情页,选择“模型文件”页签。 单击“添加文件”,进入上传文件页面,选择本地的数据文件单击“点击上传”或拖动文件,单击“确认上传”启动上传。 上传单个超过5GB的文件时,请使用Gallery CLI工具。CLI工具的获取和使用请参见Gallery
String 导出数据集版本的格式。 export_dataset_version_name String 导出数据集版本的名称。 export_dest String 数据集导出类型。可选值如下: DIR:导出到OBS(默认值) NEW_DATASET:导出到新数据集 export_new_dataset_name
在MoXing中,无法自动将文件操作接口自动切换为TensorFlow的接口,下表呈现内容仅表示功能类似,帮助您更快速地了解MoXing文件操作接口的功能。 表1 API对应关系 Python(本地文件操作接口) mox.file(MoXing文件操作接口) tf.gfile(TensorFlow文件操作接口)
创建团队标注任务 同一个数据集,支持创建多个团队标注作业,指派给同一团队的不同成员,或者指派给其他标注团队。 登录ModelArts管理控制台,在左侧菜单栏中选择“资产管理 >数据集”,打开数据集列表。 在数据集列表中,选择支持团队标注的数据集,单击数据集名称进入数据集概览页。 在数据集概览页页
更新数据集 功能介绍 修改数据集的基本信息,如数据集名称、描述、当前版本或标签等信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v2/{projec
创建数据集标签 功能介绍 创建数据集标签。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/datasets/{datas
0版本工具进行模型量化,工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。 量化脚本convert_checkpoint.py存放在TensorRT-LLM/examples路径对应的模型文件夹下,例如:llama模型对应
桶创建完成后,选择对应桶名称,单击“新建文件夹”,在“新建文件夹”对话框中,填写文件夹“名称”,单击“确定”完成创建,选择创建的文件夹。 文件夹名称不能包含以下字符 : \/:*?"<>|。 文件夹名称不能以英文句号(.)或斜杠(/)开头或结尾。 文件夹的绝对路径总长度不能超过1023字符。
ModelArts上进行训练比本地训练多了一步OBS和容器环境的数据迁移工作。 增加了和OBS交互工作的整个训练流程如下: 建议使用OBSutil作为和OBS交互的工具,如何在本机安装obsutil可以参考obsutil安装和配置。 训练数据、代码、模型下载。(本地使用硬盘挂载或者docker
Object 样本文件的字节数据。类型为java.nio.ByteBuffer,前台调用时传字节数据转换后的字符串。 data_source 否 DataSource object 数据来源。 encoding 否 String 样本文件的编码类型,用于文本类型(txt/csv)的文件上传。
使用OBS或ModelArts SDK将OBS中的文件下载到本地。 方式一:使用OBS进行下载 在OBS中,可以将样例中的“obs_file.txt”下载到本地。如果您的数据较多,推荐OBS Browser+下载数据或文件夹。使用OBS下载文件的操作指导,请参见下载文件。 方式二:使用ModelArts
datasets /home/ma-user/datasets 把上述代码文件、模型依赖包、数据集、Dockerfile文件都上传至ECS,上传步骤可参考本地Windows主机使用WinSCP上传文件到Linux云服务器。 文件上传后目录如下: <ECS_folder> ├── diffusers_sdxl_lora_train
failed:失败,服务部署失败,失败原因可以看事件和日志标签页。 stopped:停止。 finished:只有批量服务会有这个状态,表示运行完成。 is_opened_sample_collection String 是否打开数据采集,默认“false”。 transition_at