检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
moxing.tensorflow是否包含整个TensorFlow,如何对生成的checkpoint进行本地Fine Tune? 问题现象 使用MoXing训练模型,“global_step”放在Adam名称范围下,而非MoXing代码中没有Adam名称范围,如图1所示。其中1为
18(Ascend) 进行训练作业,训练失败报错label_map.pbtxt cannot be found。 原因分析 该报错信息表示验证集中有label在训练集中不存在,可能由于在发布数据集版本进行数据切分时,训练集比例填写为0导致发布的数据全部为验证集,所以出现上述报错。
85.2版本进行远程连接。 VS Code安装指导如下: 图2 Windows系统下VS Code安装指导 Linux系统下,执行命令sudo dpkg -i code_1.85.2-1705561292_amd64.deb安装。 Linux系统用户,需要在非root用户进行VS Code安装。
文件数在100w~1000w的场景、单个大文件及文件大小大于20GB的场景。 登录ModelArts管理控制台,在左侧菜单栏中选择“模型训练 > 训练作业”,进入训练作业管理页面。 单击右上角“创建训练作业”进入创建训练作业页面,在“环境变量”中设置“MA_MOXING_FWVER=2
据集支持进行数据切分功能。 一般默认不启用该功能。启用后,需设置对应的训练验证比例。 输入“训练集比例”,数值只能是0~1区间内的数。设置好“训练集比例”后,“验证集比例”自动填充。“训练集比例”加“验证集比例”等于1。 “训练集比例”即用于训练模型的样本数据比例;“验证集比例”
tonkenization_qwen.py会在cache中读取SimSun.ttf 文件,如果没有,就会联网下载,可能会遇到: SSL:CERTIFICATE_VERIFY_FAILED ssl.1129错误 407 Proxy Authentication Required 解决方案: 1. 直接手动下载
tonkenization_qwen.py会在cache中读取SimSun.ttf 文件,如果没有,就会联网下载,可能会遇到: SSL:CERTIFICATE_VERIFY_FAILED ssl.1129错误 407 Proxy Authentication Required 解决方案: 1. 直接手动下载
ount、username和password; 在ModelArts Notebook中可以不用执行鉴权命令,默认使用委托信息,不需要手动进行鉴权操作; 如果用户在ModelArts Notebook中也配置了鉴权信息,那么将会优先使用用户指定的鉴权信息。 在鉴权时,注意您的敏感信息数据保护,避免敏感信息泄露。
s所在区域、填写AK、SK(获取方式参考链接),然后单击“OK”完成登录。 “Region”:从下拉框中选择区域。必须与ModelArts管理控制台在同一区域。 “Project”:Region选择后,Project自动填充为Region对应的项目。 “Access Key ID”:填写访问密钥的AK。
使用PyCharm手动连接Notebook 本地IDE环境支持PyCharm和VS Code。通过简单配置,即可用本地IDE远程连接到ModelArts的Notebook开发环境中,调试和运行代码。 本章节介绍基于PyCharm环境访问Notebook的方式。 前提条件 本地已安装2019
tail -f output.log 如果要对代码进行debug调试,步骤如下: 单击左侧“Run > Run and Debug”。 选择当前打开的默认的python代码文件进行调试。 对当前代码进行打断点,即在代码左侧进行单击,就会出现小红点。 此时,即可按照正常的代码调试
ssl_certificate /etc/nginx/ssl/server/server.crt; ssl_password_file /etc/nginx/keys/fifo; ssl_certificate_key /etc/nginx/ssl/server/server
get-image 查询ModelArts已注册镜像。 register 注册SWR镜像到ModelArts镜像管理。 unregister 取消注册ModelArts镜像管理中的已注册镜像。 build 基于指定的Dockerfile构建镜像 (只支持ModelArts Notebook里使用)。
2版本或者最新版本进行远程连接。 VS Code安装指导如下: 图2 Windows系统下VS Code安装指导 Linux系统下,执行命令sudo dpkg -i code_1.85.2-1705561292_amd64.deb安装。 Linux系统用户,需要在非root用户进行VS Code安装。
Target”,再单击页面上的设置按钮,此时会出现SSH配置文件路径。 图3 配置SSH Targets页面 单击列表中出现的SSH路径按钮,打开config文件,进行配置。 图4 配置SSH Config文件 HOST remote-dev hostname <instance connection
所有的移动操作均可以操作文件夹,如果操作的是文件夹,那么则会递归移动文件夹下所有的内容。 复制一个文件。mox.file.copy仅支持对文件操作,如果要对文件夹进行操作,请使用mox.file.copy_parallel。 从OBS复制到OBS,例如将“obs://bucket_name/obs_file
MoXing进阶用法的样例代码 如果您已经熟悉了常用操作,同时熟悉MoXing Framework API文档以及常用的Python编码,您可以参考本章节使用MoXing Framework的一些进阶用法。 读取完毕后将文件关闭 当读取OBS文件时,实际调用的是HTTP连接读取网
使用PyCharm上传数据至Notebook 不大于500MB数据量,直接复制至本地IDE中即可。 大于500MB数据量,请先上传到OBS中,再从OBS下载到云上Notebook。 图1 数据通过OBS中转上传到Notebook 上传数据至OBS,具体操作请参见上传文件至OBS桶。
ma-cli auto-completion自动补全命令 命令行自动补全是指用户可以在Terminal中输入命令前缀通过Tab键自动提示支持的ma-cli命令。ma-cli自动补全功能需要手动在Terminal中激活。执行ma-cli auto-completion命令,用户根据
tail -f output.log 如果要对代码进行debug调试,步骤如下: 单击左侧“Run > Run and Debug”。 选择当前打开的默认的python代码文件进行调试。 对当前代码进行打断点,即在代码左侧进行单击,就会出现小红点。 此时,即可按照正常的代码调试