检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
python3 python3-pip && \ pip3 install --trusted-host https://repo.huaweicloud.comxxx -i https://repo.huaweicloud.comxxx/repository/pypi/simple
-s建立软连接 如果代码中涉及文件绝对路径,由于Notebook调试与训练作业环境不同,可能会导致文件绝对路径不一致,需要修改代码内容。推荐使用软链接的方式解决该问题,用户只需提前建立好软链接,代码中的地址可保持不变。 新建软链接: # ln -s 源目录/文件 目标目录/文件 #
排查密钥是否是和实例绑定的一致。 停止实例,进入实例详情页。 更新密钥:单击“认证”旁边的编辑按钮,然后单击“立即创建”创建并选择新密钥。 重新使用VS Code连接实例,选择新创建的密钥。 父主题: VS Code连接开发环境失败故障处理
康接口配置请参考模型配置文件编写说明中health参数说明。 模型健康检查配置问题,需重新创建模型或者创建模型新版本,配置正确的健康检查,使用新的模型或版本重新部署服务。了解模型健康检查请参考制作模型镜像并导入中的“健康检查”参数说明。 父主题: 服务部署
he”,实际下载的数据会翻倍。例如只下载了2.5TB的数据,程序就显示空间不够而失败,因为/cache只有4TB的可用空间。 处理方法 在使用Tensorflow多节点作业下载数据时,正确的下载逻辑如下: import argparse parser = argparse.ArgumentParser()
add_argument('--init_method', default='tcp://xxx',help="init-method") 通过使用解析方式args, unparsed = parser.parse_known_args()代替args = parser.parse_args()解决该问题。代码示例如下:
像超大会导致加载的各种问题,所以这里做了限制。这种场景下,建议找到原始镜像重新构建环境进行保存。 解决方法 找到原始镜像重新构建环境。建议使用干净的基础镜像,最小化的安装运行依赖内容,并进行安装后的软件缓存清理,然后保存镜像。 父主题: 自定义镜像故障
ModelLink中。 git clone https://gitee.com/ascend/ModelLink.git cd ModelLink git checkout 8f50777 cd .. git clone https://gitee.com/lmzwhu/Megatron-LM
非错误。 为了更好地了解这种计算差异,并且能够正确区分正常计算差异和引起模型精度问题的异常差异,本指南提供了算子问题定位工具集详细的使用场景和使用步骤,方便用户自行或在支持下排查可能的数值计算精度问题。 当用户将大语言模型或者其他类型深度神经网络的训练从GPU迁移到昇腾AI处理器
rnetes.io/serviceaccount 是 / 训练任务 表2 训练任务挂载点介绍 挂载点 是否只读 备注 /xxx 否 专属池使用SFS盘挂载的目录,路径由客户自己指定。 /home/ma-user/modelarts 否 空文件夹,建议用户主要用这个目录。 /cache
py会在cache中读取SimSun.ttf 文件,如果没有,就会联网下载,ModelArts作业在执行过程中可能不能请求网络,会遇到报错。 # 直接手动下载 https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/SimSun.ttf
模型权重目录下 /home/ma-user/work/model-dir/Qwen-VL-Chat/ https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/SimSun.ttf
模型权重目录下 /home/ma-user/work/model-dir/Qwen-VL-Chat/ https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/SimSun.ttf
存储到OBS中的数据需在OBS控制台进行手动删除。如果未删除,则会按照OBS的计费规则进行持续计费。 按需计费 包年/包月 创建桶不收取费用,按实际使用的存储容量和时长收费 计费示例 示例:存储费用 假设用户于2023年4月1日10:00将创建模型需用到的模型包文件上传至OBS桶中。按照存储费用结算,那么创建的费用计算如下:
py会在cache中读取SimSun.ttf 文件,如果没有,就会联网下载,ModelArts作业在执行过程中可能不能请求网络,会遇到报错。 # 直接手动下载 https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/SimSun.ttf
数据选择:数据选择一般是指从全量数据中选择数据子集的过程。 数据可以通过相似度或者深度学习算法进行选择。数据选择可以避免人工采集图片过程中引入的重复图片、相似图片等问题;在一批输入旧模型的推理数据中,通过内置规则的数据选择可以进一步提升旧模型精度。 数据增强: 数据扩增通过简单的数据扩
运行环境请参见推理基础镜像列表。 安装pip包有先后依赖关系。 处理方法 到pypi.org上查询依赖的待安装包是否存在,如果不存在则建议使用whl包进行安装(将待安装的whl包放到模型所在的OBS目录下)。 查看待安装包的安装限制和前置依赖等,排查是否满足相关要求。 如果包有依
“数据标注状态”:已标注。 “高级特征选项 ”:默认关闭,可通过勾选高级选项提供增强功能。 “按标签导入”:系统将自动获取此数据集的标签,您可以单击“添加标签”添加。此字段为可选字段,您也可以在导入数据集后,在标注数据操作时,添加或删除标签。 “只导入难例”:难例指manifest文件中的“hard”属性
间的关系等。它可以应用到市场营销的各个方面,如客户寻求、保持和预防客户流失活动、产品生命周期分析、销售趋势预测及有针对性的促销活动等。 分类 分类是找出一组数据对象的共同特点并按照分类模式将其划分为不同的类,其目的是通过分类模型,将数据项映射到某个给定的类别。它可以应用到客户的分
如“按标签导入”:系统将自动获取此数据集的标签,您可以单击“添加标签”添加相应的标签。此字段为可选字段,您也可以在导入数据集后,在标注数据操作时,添加或删除标签。 图1 导入数据集-OBS 导入成功后,数据将自动同步到数据集中。您可以在“数据集”页面,单击数据集的名称,查看详细数据,并可以通过创建标注任务进行数据标注。