检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行如下命令安装libfontconfig1。 sudo apt-get install -y adduser libfontconfig1 回显如下代表执行成功: 执行如下命令下载Grafana安装包。 wget https://dl.grafana.com/oss/release/grafana_9
Notebook 界面提示成功创建分享后,返回至AI Gallery,进入示例的详情页面查看示例。 进入AI Gallery首页。选择“项目”,进入项目列表页面。 在搜索框中输入创建好的Notebook名称,单击页签进入详情页。 编辑资产详情 资产发布成功后,发布者可以进入详情页修改该资产的名称
JobStep的输入在运行时配置;data字段也可使用data=wf.data.OBSPath(obs_path="fake_obs_path")表示 outputs=wf.steps.JobOutput(name="train_url",
profile is "DEFAULT". -H, -h, --help Show this message and exit. 表1 参数说明 参数名 参数类型 是否必选 参数说明 -d / --drop-last-dir Bool 否 如果指定,在复制文件夹时不会将源
训练运行到结束的过程中,关键事件支持手动/自动刷新。 查看操作 在ModelArts管理控制台的左侧导航栏中选择“模型训练 > 训练作业”。 在训练作业列表中,单击作业名称进入训练作业详情页面。 在训练作业详情页面,单击“事件”页签查看事件信息。 图1 查看事件信息 父主题: 管理模型训练作业
您也可以在导入数据集后,在标注数据操作时,添加或删除标签。 “只导入难例”:难例指manifest文件中的“hard”属性,勾选此参数,表示此导入操作,只导入manifest文件“hard”属性中数据信息。 图1 导入manifest文件 导入成功后,数据将自动同步到数据集中。
atch_size调小,重新训练如未解决则执行下一步。 替换深度学习训练加速的工具或增加zero等级,可参考模型NPU卡数、梯度累积值取值表,如原使用Accelerator可替换为Deepspeed-ZeRO-1,Deepspeed-ZeRO-1替换为Deepspeed-ZeRO
启动自动分组任务 登录ModelArts管理控制台,在左侧菜单栏中选择“数据准备>数据标注”,进入“数据标注”管理页面。 在标注作业列表中,选择“物体检测”或“图像分类”类型的标注作业,单击标注作业名称进入“标注作业详情页”。 在数据集详情页的“全部”页签中,单击“自动分组 >
能力,和高度自动化的参数配置机制,使得模型优化过程不再依赖于手动尝试,显著缩短了从模型开发到部署的周期,确保了模型在各类应用场景下的高性能表现,让客户能够更加聚焦于业务逻辑与创新应用的设计。 资源易获取,按需收费,按需扩缩,支撑故障快恢与断点续训 企业在具体使用大模型接入企业应用
default="NCHW", enum_list=["NCHW", "NHWC"], description="输入数据类型,NHWC表示channel在最后,NCHW表channel在最前,默认值NCHW(速度有提升)")), wf.AlgorithmParamet
format(os.environ['PROJECT_ID'], os.environ["INSTANCE_ID"]) # 查询动态挂载列表 auth_by_apig(session, 'GET', request_url) # 动态挂载,OBS路径obs://obs-buc
pyterLab中下载大于100MB的文件到本地。 从JupyterLab中下载不大于100MB的文件至本地 在JupyterLab文件列表中,选择需要下载的文件,单击右键,在操作菜单中选择“Download”下载至本地。下载的目的路径,为您本地浏览器设置的下载目录。 图1 下载文件
登录ModelArts管理控制台,在左侧导航栏中选择“AI专属资源池 > 弹性集群Cluster”,进入“Standard资源池”页面。 在资源池列表中,选择需要进行驱动升级的资源池,在右侧的操作列,单击“ > 驱动升级”。 在“驱动升级”弹窗中,会显示当前专属资源池的驱动类型、实例数量、
图3 告警条件设置 设置告警通知,单击“立即创建”。 “告警方式”:选择“直接告警” “行动规则”:开启开关,选择已创建的行动规则。如果现有列表中的告警行动规则无法满足需要,可单击“新建告警行动规则”添加,详细操作请参考创建告警行动规则。 “告警恢复通知”:开启开关 图4 设置告警通知
首次登录会提示修改密码,请根据界面提示进行修改。 在ModelArts控制台的左侧导航栏中,选择“专属资源池”,单击创建,未提示权限不足,表明管理员用户的权限配置成功。 配置开发者权限 开发者权限需要通过IAM的细粒度授权控制实现,可以通过以下配置流程实现开发者权限配置。 使用主
--quiet --yes -n my-env python=3.6.5 创建完成后,执行conda info --envs命令查看现有的虚拟环境列表,可以看到my-env虚拟环境: sh-4.4$conda info --envs # conda environments: # base
/llama2/2_convert_mg_hf.sh脚本,自定义环境变量的值,并在Notebook运行该脚本。其中环境变量详细介绍如下: 表1 权重转换脚本中的环境变量 参数 示例 参数说明 $1 hf2hg、mg2hf 运行 2_convert_mg_hf.sh 时,需要附加的参数值。如下:
为例,用户可直接编辑 scripts/llama2/2_convert_mg_hf.sh 脚本,自定义环境变量的值,并运行该脚本。其中环境变量详细介绍如下: 表1 权重转换脚本中的环境变量 参数 示例 参数说明 $1 hf2hg、mg2hf 运行 2_convert_mg_hf.sh 时,需要附加的参数值。如下:
不填默认使用name的值。 否 str description 描述信息。 否 str create_dir 表示是否自动创建目录,默认为“False”。 否 bool with_execution_id 表示创建目录时是否拼接execution_id,默认为“False”。该字段只有在create
/home/ma-user/work/llm_train/AscendSpeed/ModelLink 命令,随后在Notebook中运行该脚本。 其中环境变量详细介绍如下: 表1 权重转换脚本中的环境变量 参数 示例 参数说明 $1 hf2hg、mg2hf 运行 2_convert_mg_hf.sh 时,需要附加的参数值。如下: