检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Workflow数据集导入节点 功能介绍 通过对ModelArts数据集能力进行封装,实现数据集的数据导入功能。数据集导入节点主要用于将指定路径下的数据导入到数据集或者标注任务中,主要应用场景如下: 适用于数据不断迭代的场景,可以将一些新增的原始数据或者已标注数据导入到标注任
创建Workflow数据集标注节点 功能介绍 通过对ModelArts数据集能力进行封装,实现数据集的标注功能。数据集标注节点主要用于创建标注任务或对已有的标注任务进行卡点标注,主要用于需要对数据进行人工标注的场景。 属性总览 您可以使用LabelingStep来构建数据集标注节点,LabelingStep结构如下:
ModelArts提供了命令方式将用户的自定义指标上报保存到AOM。 约束与限制 ModelArts以10秒/次的频率调用自定义配置中提供的命令或http接口获取指标数据。 自定义配置中提供的命令或http接口返回的指标数据文本不能大于8KB。 命令方式采集自定义指标数据 用于
创建Workflow数据集版本发布节点 功能介绍 通过对ModelArts数据集能力进行封装,实现数据集的版本自动发布的功能。数据集版本发布节点主要用于将已存在的数据集或者标注任务进行版本发布,每个版本相当于数据的一个快照,可用于后续的数据溯源。主要应用场景如下: 对于数据标注这
查看训练作业详情 登录ModelArts管理控制台。 在左侧导航栏中,选择“模型训练 > 训练作业”,进入“训练作业”列表。 在作业列表,单击“导出”,可以将训练作业根据时间周期导出Excel表到本地。最多只支持导出前200行数据。 在“训练作业”列表中,单击作业名称,进入训练作业详情页。
原因分析 自定义镜像的python环境没有注册。 解决方案 在Terminal里执行命令排查实例存在几个Conda环境。 conda env list 执行如下命令分别切换到对应环境查看是否有ipykernel包。 conda activate base # base替换为实际使用的python环境
案例中job_step_a和job_step_b均配置了跳过策略,并且都使用参数进行控制。当参数值配置不同时,model_step的执行可以分为以下几种情况(model_step没有配置跳过策略,因此会遵循默认规则): job_step_a_is_skip参数值 job_step_b_is_skip参数值
在Workflow中指定仅运行部分节点 Workflow通过支持预置场景的方式来实现部分运行的能力,在开发工作流时按照场景的不同对DAG进行划分,之后在运行态可选择任意场景单独运行。具体代码示例如下所示: workflow =wf.Workflow( name="image_cls"
信息记录到事件中。 图1 查看资源池事件 查看资源池节点 在资源池详情页,切换到“节点”页签。您可以查看资源池中所有的节点,并且能查看每个节点资源占用的情况。当把鼠标放在节点名称上方时,会显示节点名称和资源ID,资源ID可用于查询账单或者在费用中心查询包周期资源的计费信息。 由于
在ModelArts的Notebook中使用VS Code如何查看远端日志? 在VS Code环境中执行Ctrl+Shift+P 搜show logs 选择Remote Server。 也可在如下截图的红框处切换至其他的Log 父主题: Standard Notebook
使用Grafana查看AOM中的监控指标 安装配置Grafana 配置Grafana数据源 配置仪表盘查看指标数据 父主题: ModelArts Standard资源监控
在MaaS应用实践中心查看应用解决方案 ModelArts Studio大模型即服务平台提供了MaaS应用实践中心,为具体的应用场景提供一整套解决方案。 应用中心介绍 “MaaS应用实践中心”提供基于行业客户应用场景的AI解决方案。MaaS提供的模型服务和华为云各AI应用层构建工
给子账号配置查看所有Notebook实例的权限 查找实例 Notebook页面展示了所有创建的实例。如果需要查找特定的实例,可根据筛选条件快速查找。 参考给子账号配置查看所有Notebook实例的权限后,进入“开发空间>Notebook”页面,打开“查看所有”开关,可以看到IAM
E用于分布式训练? ModelArts会帮用户生成RANK_TABLE_FILE文件,可通过环境变量查看文件位置。 在Notebook中打开terminal,可以运行如下命令查看RANK_TABLE_FILE: 1 env | grep RANK 在训练作业中,您可以在训练启
prometheus-config configMap: name: prometheus-config 执行如下命令创建Prometheus实例,并查看创建情况: $ kubectl create -f prometheus-deployment.yml service "prometheus"
码中打印GPU使用信息? 用户可通过shell命令或python命令查询GPU使用信息。 使用shell命令 执行nvidia-smi命令。 依赖CUDA nvcc watch -n 1 nvidia-smi 执行gpustat命令。 pip install gpustat gpustat
前提条件 已创建CPU或GPU类型的Notebook实例,并处于运行中。 打开Terminal。 操作步骤 在Terminal中依次执行以下命令,下载并安装Grafana。 mkdir -p /home/ma-user/work/grf cd /home/ma-user/work/grf
配置Grafana数据源 在Grafana配置数据源后,即可通过Grafana查看ModelArts的监控数据。 前提条件 已安装Grafana。 配置Grafana数据源 获取Grafana数据源配置代码。 进入AOM管理控制台。 图1 AOM管理控制台 在左侧导航栏中选择“Prometheus监控
新增一条运行记录。 用户可以单击Workflow详情页中任一节点查询节点运行状况。包括节点的属性(节点的运行状态、启动时间以及运行时长)、输入位置与输出位置以及参数(数据集的标注任务名称)。 图4 查看节点运行情况 父主题: 管理Workflow
在Windows上安装配置Grafana 在Linux上安装配置Grafana 在Notebook上安装配置Grafana 父主题: 使用Grafana查看AOM中的监控指标