检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
息,单击“确定”完成下架。 资产下架后,已订阅该资产的用户可继续正常使用,其他用户将无法查看和订阅该资产。 图6 下架资产 资产下架成功后,操作列的“下架”会变成“上架”,您可以通过单击“上架”将下架的资产重新共享到AI Gallery中。 父主题: 发布分享
发布数据集到AI Gallery 除了Gallery提供的已有资产外,还可以将个人创建的资产发布至Gallery货架上,供其他AI开发者使用,实现资产共享。 数据集资产上架 登录AI Gallery,选择右上角“我的Gallery”。 在“我的资产 > 数据集”下,选择未发布的数
请参考界面提示。 写入模式:部分规格支持设置容器盘的写入模式为线性或条带化。线性逻辑卷是将一个或多个物理卷整合为一个逻辑卷,实际写入数据时会先往一个基本物理卷上写入,当存储空间占满时再往另一个基本物理卷写入。条带化是指创建逻辑卷时指定条带化,当实际写入数据时会将连续的数据分成大小
ModelArts会自动将数据集中新增的数据同步至标注作业,包含数据及当前标注作业支持的标注信息。 为了快速获取数据集中最新数据,可在标注作业详情页的“全部”、“未标注”或“已标注”页签中,单击“同步新数据”,快速将数据集中的数据添加到标注作业中。 问题现象: 将已标注好的数据上传至OBS,同步数据后,显示为未标注。
如下: 源文件不存在。 OBS路径不正确或者是两个OBS路径不在同一个区域。 训练作业空间不足。 处理方法 按照报错提示,需要排查以下几个问题: 检查moxing.file.copy_parallel()的第一个参数中是否有文件,否则会出现报错:No files to copy 文件存在,请执行2。
object 执行记录使用到的执行策略。 表3 StepExecution 参数 参数类型 描述 step_name String 节点的名称,在一个DAG中唯一,1到64位只包含中英文,数字,空格,下划线(_)和中划线(-),并且以中英文开头。 uuid String 唯一标识uuid。创建节点执行时,后台自动生成。
arm Toolkit和VS Code Toolkit,方便将云上资源作为本地的一个扩展。 亮点特性2:开发环境支持一键镜像保存 Notebook提供了镜像保存功能。支持一键将运行中的Notebook实例保存为镜像,将准备好的环境保存下来,可以作为自定义镜像,方便后续使用,并且方便进行分享。
rvice_name}/{eval_dataset}-{timestamp} 的目录结果保存到对应的测试工程。执行多少次,则会在{service_name}下生成多少次结果。 单独的评测结果如下: {eval_dataset}-{timestamp} # 例如: mmlu-20240205093257
Cluster资源。 购买专属资源池注意事项 使用场景需要选择ModelArts Lite。 CCE集群已完成创建。 节点数量可自定义选择使用多少节点。 开启高级选项:输入容器引擎空间大小(推荐输入最大空间),容器引擎选择Containerd。 图1 购买Lite专属池 k8s Cluster资源配置
Cluster资源。 购买专属资源池注意事项 使用场景需要选择ModelArts Lite。 CCE集群已完成创建。 节点数量可自定义选择使用多少节点。 开启高级选项:输入容器引擎空间大小(推荐输入最大空间),容器引擎选择Containerd。 图1 购买Lite专属池 k8s Cluster资源配置
np.uint8), cv2.IMREAD_COLOR) 将一个不支持OBS路径的API改造成支持OBS路径的API pandas中对h5的文件读写to_hdf和read_hdf既不支持OBS路径,也不支持输入一个文件对象,考虑以下代码会出现错误。 1 2 3 4 import
方法一:执行cd checkpoints命令打开checkpoints文件夹。 方法二:新建一个文件夹,移动checkpoints文件夹的数据到新建的文件夹下。 执行mkdir xxx命令,新建一个文件夹,例如“xxx”(不要用checkpoints关键字命名) 然后移动checkpo
经常不能一次性获得一个满意的模型,需要反复的调整算法参数、数据,不断评估训练生成的模型。 一些常用的指标,如准确率、召回率、AUC等,能帮助您有效的评估,最终获得一个满意的模型。 部署模型 模型的开发训练,是基于之前的已有数据(有可能是测试数据),而在得到一个满意的模型之后,需要
real-time代表在线服务,将模型部署为一个Web Service,并且提供在线的测试UI与监控能力,服务一直保持运行。 batch为批量服务,批量服务可对批量数据进行推理,完成数据处理后自动停止。 edge表示边缘服务,通过华为云智能边缘平台,在边缘节点将模型部署为一个Web Servi
python=3.7 #创建一个名为myenv环境,指定Python版本是3.7 conda activate myenv #激活名为myenv的环境 conda deactivate #关闭当前环境 conda remove -n myenv --all #删除一个名为myenv的环境
的开发交付不同,在这个过程中,算法工程师参与度还是非常高的。企业内部一般都是有一个交付配合的机制。从项目管理角度上需要增加一个AI项目的工作流程机制管理,流程管理不是一个简单的流水线构建管理,它是一个任务管理体系。 这个工具需要具备以下的能力: 流程分析:沉淀行业样例流水线,帮助
集”区域中不同标签进行标注。 一个文本对象只能添加一个标签。 确认文件标签后,单击右下方“保存当前页”,完成标注。 当“标注对象列表”内容较多时,其区域下方将呈现翻页,请务必在本页完成标注后,单击“保存当前页”保存后再翻页。如果您未完成保存即翻页,将导致前一页的标注信息丢失,需重新标注。
查看ModelArts模型事件 创建模型的(从用户可看见创建模型任务开始)过程中,每一个关键事件点在系统后台均有记录,用户可随时在对应模型的详情页面进行查看。 方便用户更清楚的了解创建模型过程,遇到任务异常时,更加准确的排查定位问题。可查看的事件点包括: 事件类型 事件信息(“XXX”表示占位符,以实际返回信息为准)
查看训练作业事件 训练作业的(从用户可看见训练作业开始)整个生命周期中,每一个关键事件点在系统后台均有记录,用户可随时在对应训练作业的详情页面进行查看。 方便用户更清楚的了解训练作业运行过程,遇到任务异常时,更加准确的排查定位问题。当前支持的作业事件如下所示: 训练作业创建成功 训练作业创建失败报错:
transformers Trainer 和 DeepSpeed。 数据准备 要准备微调数据,您应该将每个样本制定为一个字典,其中包含一个 ID、一个图像路径(或图像列表)和一个对话列表。然后,将数据样本保存在 JSON 文件中。 对于视觉语言任务,您必须提供占位符(例如<image>或