-
编写Workflow - AI开发平台ModelArts
resource.Workspace(workspace_id="***") # ) # 其中workspace_id可前往ModelArts的工作空间服务中进行查看 上述代码示例在云上Notebook环境中可直接调试运行,如果需要在本地IDE中使用,则需要补充相关的session鉴权内容,代码示例修改如下:
-
SFT微调数据处理 - AI开发平台ModelArts
erCase', 'BertWordPieceCase','GPT2BPETokenizer', 'PretrainedFromHF'],设置为PretrainedFromHF。 - tokenizer-name-or-path:tokenizer的存放路径。 - handler
-
图像分割 - AI开发平台ModelArts
系统默认的标注方式为多边形标注。选择多边形标注或极点标注。 标注第一张图片时,一旦选择其中一种,其他所有图片都需要使用此方式进行标注。 图3 工具栏 图4 工具栏 表1 标注方式 图标 使用说明 多边形。在标注对象所在范围内,鼠标左键单击完成一个点的标注,沿着物体的形状边缘,通过
-
更新开发环境实例信息 - AI开发平台ModelArts
"id": "DE-7d558ef8-c73d-11ea-964c-0255ac100033", "latest_update_timestamp": "1594888143062", "name": "notebook-c6fd", "profile":
-
使用ma-cli ma-job stop命令停止ModelArts训练作业 - AI开发平台ModelArts
CLI connection profile to use. The default profile is "DEFAULT". -H, -h, --help Show this message and exit. 表1 参数说明 参数名 参数类型 是否必选 参数说明
-
语音分割 - AI开发平台ModelArts
加数据”。 在弹出的导入对话框中,选择数据来源、导入方式、导入路径等参数,导入数据。单击确定。 导入数据的详细操作介绍请参见导入操作。 图3 导入数据 删除音频 通过数据删除操作,可将需要丢弃的音频数据快速删除。 在“未标注”或“已标注”页面中,选中需要删除的音频,然后单击左上角
-
查询训练作业版本列表 - AI开发平台ModelArts
"dataset_version_id": "2ff0d6ba-c480-45ae-be41-09a8369bfc90", "dataset_id": "38277e62-9e59-48f4-8d89-c8cf41622c24", "data_source":
-
PMI - AI开发平台ModelArts
1 -1.10406 do it 23 34 2 -1.16469 do not 23 12 2 -0.12323 do to 23 32 3 -0.6986 do try 23 38 4 -0.58276 do you 23 15 2 -0.34638 good is 16 16
-
进阶用法的样例代码 - AI开发平台ModelArts
通过重写pandas源码API的方式,将该API改造成支持OBS路径的形式。 写h5到OBS = 写h5到本地缓存 + 上传本地缓存到OBS + 删除本地缓存 从OBS读h5 = 下载h5到本地缓存 + 读取本地缓存 + 删除本地缓存 即将以下代码写在运行脚本的最前面,就能使运行过程中的to_hdf和read_hdf支持OBS路径。
-
查询开发环境实例列表 - AI开发平台ModelArts
"DE-7d558ef8-c73d-11ea-964c-0255ac100033", "latest_update_timestamp": "1594887749962", "name": "notebook-c6fd",
-
文本分类 - AI开发平台ModelArts
在“未标注”页签添加:单击页面中标签集右侧的加号,然后在弹出的“新增标签”页中,添加标签名称,选择标签颜色,单击“确定”完成标签的新增。 图3 添加标签(1) 在“已标注”页签添加:单击页面中标签集右侧的加号,然后在弹出的“新增标签”页中,添加标签名称,选择标签颜色,单击“确定”完成标签的新增。
-
视频标注 - AI开发平台ModelArts
上一帧对应的画面标注完成后,在进度条处单击播放按钮继续播放,在需要标注处暂停,然后重复执行步骤3完成整个视频的标注。 单击界面右上角的“标注列表”,在“当前文件标签”的详情页将呈现当前视频带标注的时间点。 图3 当前文件标签信息 单击页面左上角“返回数据标注预览”,页面将自动返回标注作业详情
-
命名实体 - AI开发平台ModelArts
在“未标注”页签添加:单击页面中标签集右侧的加号,然后在弹出的“新增标签”页中,添加标签名称,选择标签颜色,单击“确定”完成标签的新增。 图3 添加命名实体标签(1) 在“已标注”页签添加:单击页面中标签集右侧的加号,然后在弹出的“新增标签”页中,添加标签名称,选择标签颜色,单击“确定”完成标签的新增。
-
进入ML Studio操作界面 - AI开发平台ModelArts
打开Notebook实例,并进入MLS可视化操作界面 在基于MLS引擎的Notebook实例右侧,单击操作栏的“打开”,进入Jupyterlab页面。 图3 打开Notebook实例 在JupyterLab页面下方,单击MLS Editor图标,在弹出的“Select Kernel”对话框中选择“PySpark-2
-
查询训练作业列表 - AI开发平台ModelArts
枚举值: like:类似 in:包含 not:非 between:范围 value 否 Array of strings 分组条件键对应值。 表3 get_job_list返回参数说明 参数 参数类型 描述 total Integer 查询到当前用户名下的所有作业总数。 count Integer
-
使用ma-cli image register命令注册SWR镜像到ModelArts镜像管理 - AI开发平台ModelArts
调试完成后,使用ma-cli image register命令将新镜像注册到ModelArts镜像管理服务中,进而在能够在ModelArts中使用该镜像。 $ma-cli image register -h Usage: ma-cli image register [OPTIONS] Register
-
SFT微调训练任务 - AI开发平台ModelArts
多机必填。节点序号,当前节点ID,一般从0开始。单机默认是0。以Qwen-72B 5机训练为例,节点ID依次为(0 1 2 3 4);一般ID为0的节点设置为主节点IP。 MODEL_PATH /home/ma-user/ws/processed_for_ma_input/Qwe
-
SFT全参微调任务 - AI开发平台ModelArts
input/GLM3-6B/converted_weights TRAIN_ITERS=200 MBS=1 GBS=64 TP=2 PP=4 SEQ_LEN=8192 WORK_DIR=/home/ma-user/ws sh scripts/glm3/glm3_base.sh 其中
-
预训练任务 - AI开发平台ModelArts
多机必填。节点序号,当前节点ID,一般从0开始,单机默认是0。以Qwen-72B 5机训练为例,节点ID依次为(0 1 2 3 4);一般ID为0的节点设置为主节点IP。 WORK_DIR /home/ma-user/ws 容器的工作目录。训练的权重文件保存在此路径下。非必填,默
-
创建开发环境实例 - AI开发平台ModelArts
1.0(python3) Multi-Engine 1.0 (python2)-cpu Multi-Engine 1.0 (python2)-gpu Multi-Engine 1.0 (python3)-cpu Multi-Engine 1.0 (python3)-gpu Multi-Engine