检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
时,会发生超时的错误。 图1 报错提示 解决方法 1. 需要保证磁盘IO带宽正常,可以在36分钟内将文件保存到磁盘。单个节点内,最大只有60G(实际应该在40G以下)的文件内容,只要在36分钟内保存完成,就不会报超时错误。 2. 忽略该报错,因为报错不影响实际报错的权重。 父主题:
时,会发生超时的错误。 图1 报错提示 解决方法 1. 需要保证磁盘IO带宽正常,可以在36分钟内将文件保存到磁盘。单个节点内,最大只有60G(实际应该在40G以下)的文件内容,只要在36分钟内保存完成,就不会报超时错误。 2. 忽略该报错,因为报错不影响实际保存的权重。 父主题:
时,会发生超时的错误。 图1 报错提示 解决方法 1. 需要保证磁盘IO带宽正常,可以在36分钟内将文件保存到磁盘。单个节点内,最大只有60G(实际应该在40G以下)的文件内容,只要在36分钟内保存完成,就不会报超时错误。 2. 忽略该报错,因为报错不影响实际报错的权重。 父主题:
时,会发生超时的错误。 图1 报错提示 解决方法 1. 需要保证磁盘IO带宽正常,可以在36分钟内将文件保存到磁盘。单个节点内,最大只有60G(实际应该在40G以下)的文件内容,只要在36分钟内保存完成,就不会报超时错误。 2. 忽略该报错,因为报错不影响实际报错的权重。 父主题:
时,会发生超时的错误。 图1 报错提示 解决方法 1. 需要保证磁盘IO带宽正常,可以在36分钟内将文件保存到磁盘。单个节点内,最大只有60G(实际应该在40G以下)的文件内容,只要在36分钟内保存完成,就不会报超时错误。 2. 忽略该报错,因为报错不影响实际报错的权重。 父主题:
Gallery。 发布的免费资产将展示在AI Gallery的公共页签以及“我的Gallery > 我的资产”的各个模块的“我的发布”中。 已经订阅的免费资产将展示在AI Gallery的“我的Gallery > 我的资产”的各个模块的“我的订阅”或“我的下载”中。 免费资产在ModelArts的AI
进入OBS管理控制台,根据上述步骤获得的路径,找到对应版本号目录,即可获取数据集对应的标注结果。 如需将标注结果下载至本地,可前往manifest文件存储的OBS中,单击“下载”,即可将标注结果存储至本地。 图1 下载标注结果 父主题: Standard数据准备
在模型广场查看模型 在模型广场页面,ModelArts Studio大模型即服务平台提供了丰富的开源大模型,在模型详情页可以查看模型的详细介绍,根据这些信息选择合适的模型进行训练、推理,接入到企业解决方案中。 访问模型广场 登录ModelArts Studio控制台,在顶部导航栏选择目标区域。
分别单击“输入”和“输出”的数据存储位置,如图所示,选择OBS桶中指定的目录。ORIGINAL_TRAIN_DATA_PATH中则直接选中数据集文件。 “输入”和“输出”中的获取方式全部选择为:环境变量。 “输出”中的预下载至本地目标选择:下载,此时输出路径中的数据则会下载至OBS中。
当专属资源池中的节点含有GPU/Ascend资源时,用户基于自己的业务,可能会有自定义GPU/Ascend驱动的需求,ModelArts面向此类客户提供了自助升级专属资源池GPU/Ascend驱动的能力。 驱动升级有两种升级方式:安全升级、强制升级。 安全升级:不影响正在运行的业务,开
分别单击“输入”和“输出”的数据存储位置,如图所示,选择OBS桶中指定的目录。ORIGINAL_TRAIN_DATA_PATH中则直接选中数据集文件。 “输入”和“输出”中的获取方式全部选择为:环境变量。 “输出”中的预下载至本地目标选择:下载,此时输出路径中的数据则会下载至OBS中。
检测等等。不同的项目对数据的要求,使用的AI开发手段也是不一样的。 准备数据 数据准备主要是指收集和预处理数据的过程。 按照确定的分析目的,有目的性的收集、整合相关数据,数据准备是AI开发的一个基础。此时最重要的是保证获取数据的真实可靠性。而事实上,不能一次性将所有数据都采集全,
clone私有仓库和git push文件时需要在授权方式框中输入token。 解决方案 使用token替换原先的密码授权方式,在git clone私有仓库和git push文件时,需要在授权方式框中输入token(见下图);具体获取token方式请参考查看GitHub中Personal Access Token信息。
“名称”默认生成“data-xxxx”形式的数据集名称,该数据集将同步在ModelArts数据集列表中。 “描述”可以添加对于该数据集的相关描述。 图2 下载数据集(至ModelArts) 单击“确定”,跳转至“我的数据 > 我的下载”页面。 下载的数据集在AI Gallery“我的数据 > 我的下载”不会立
xx为Grafana的所在宿主机的IP地址 图1 Prometheus 在HTTP的URL输入框中输入Prometheus的IP地址和端口号,单击Save&Test: 图2 IP地址和端口号 至此,指标监控方案安装完成。指标监控效果展示如下: 图3 指标监控效果 这里使用的是Grafan
timed out”提示,不显示详细的构建日志。 处理方法 预先准备需要编译下载的依赖包,减少依赖包下载和编译的时间。可通过线下wheel包方式安装运行环境依赖。线下wheel包安装,需确保wheel包与模型文件放在同一目录。 优化模型代码,提高构建模型镜像的编译效率。 父主题: 模型管理
登录“应用运维管理”控制台,在“配置管理 > Agent管理”中,选择未安装ICAgent的集群,并单击“安装ICAgent”。 图1 安装ICAgent 建议不要随意卸载ICAgent,否则会影响特权池详情页的参数显示。 父主题: Lite Cluster
记录训练过程中时如果出现故障,作业自动重启的次数。仅当创建训练作业时开启“自动重启”功能时可见。 “描述” 训练作业的描述。 您可以单击编辑图标,更新训练作业的描述。 “作业优先级” 显示训练作业的优先级。 训练作业参数 表2 训练作业参数 参数 说明 “算法名称” 本次训练作业使用的算法。单击算法名称,可以跳转至算法详情页面。
下拉框中选择您所需的DWS集群。 数据库名称:根据选择的DWS集群,填写数据所在的数据库名称。 表名称:根据选择的数据库,填写数据所在的表。 用户名:输入DWS集群管理员用户的用户名。 密码:输入DWS集群管理员用户的密码。 从DWS导入数据,需要借助DLI的功能,如果用户没有访
odelArts Notebook的详细资料请查看开发环境介绍。本案例中使用ModelArts的开发环境Notebook部署推理服务进行调试,请按照以下步骤完成Notebook的创建。 登录ModelArts控制台,在贵阳一区域,进入开发环境的Notebook界面,单击右上角“创