检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
conv2 = self.make_layer(block, 64, 64, 2, 1) self.conv3 = self.make_layer(block, 64, 128, 2, 2) self.conv4 = self.make_layer(block
算法运行时需要依赖鉴权服务,公共资源池是否支持两者打通网络? 创建失败的专属资源池删除后,控制台为什么还能看到? 训练专属资源池如何与SFS弹性文件系统配置对等链接?
// 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。
提示“上传的AK/SK不可用”,如何解决? 问题分析 AK与SK是用户访问OBS时需要使用的密钥对,AK与SK是一一对应,且一个AK唯一对应一个用户。如提示不可用,可能是由于账号欠费或AK与SK不正确等原因。 解决方案 使用当前账号登录OBS管理控制台,确认当前账号是否能访问OBS。
数据集版本名称。 with_column_header Boolean 发布的CSV文件的第一行是否为列名,对于表格数据集有效。可选值如下: true:发布的CSV文件的第一行是列名 false:发布的CSV文件的第一行不是列名 表5 LabelStats 参数 参数类型 描述 attributes
dels/text_encoder.mindir --device=Ascend 上述命令中:modelFile指定生成的mindir模型文件;device指定运行推理的设备。其他用法请参考benchmark文档。 测试结果如下所示: 图1 测试结果 父主题: 性能调优
指定可用区扩容时,指定可用区的节点数。 表8 Taint 参数 参数类型 描述 key String 键。 value String 值。 effect String 作用效果。 表9 UserTag 参数 参数类型 描述 key String 键。不得以"CCE-"或"__type_baremetal"开头
rc2,驱动版本是23.0.5。 本文档适用于仅使用OBS对象存储服务(Object Storage Service)作为存储的方案,OBS用于存储模型文件、训练数据、代码、日志等,提供了高可靠性的数据存储解决方案。 约束限制 如果要使用自动重启功能,资源规格必须选择八卡规格,只有llama3-8B/70B支持该功能。
报错日志 从上图报错日志判断,预测失败是模型推理代码编写有问题。 解决方法 根据日志报错提示,append方法中缺少必填参数,修改模型推理代码文件“customize_service.py”中的代码,给append方法中传入合理的参数。 如需了解更多模型推理代码编写说明,请参考模型推理代码编写说明。
max_model_len is greater than the drived max_model_len 解决方法: 修改config.json文件中的"seq_length"的值,"seq_length"需要大于等于 --max-model-len的值。 config.json存在模
gfile”模块连接OBS,启动训练作业后会频繁打印如下日志信息: Connection has been released. Continuing. Found secret key 原因分析 这是TensorFlow-1.8中会出现的情况,该日志是Info级别的,并不是错误信息,可以通过设置环境变量来屏蔽IN
依赖的算子包。代码包具体说明请参见模型软件包结构说明。 获取路径:Support-E 说明: 如果没有下载权限,请联系您所在企业的华为方技术支持下载获取。 支持的模型列表和权重文件 本方案支持vLLM的v0.4.2版本。不同vLLM版本支持的模型列表有差异,具体如表3所示。 表3
不同类型的数据集支持不同的功能。 数据集类型 标注类型 创建数据集 导入数据 导出数据 发布数据集 修改数据集 管理版本 自动分组 数据特征 文件型 图像分类 支持 支持 支持 支持 支持 支持 支持 支持 物体检测 支持 支持 支持 支持 支持 支持 支持 支持 图像分割 支持 支持
py中修改优化器为apex混合精度模式下的DDP优化方式(修改点:注释第161和167行,增加第168~170行)。 二进制调优使能,减少算子编译耗时,在train.py头文件导入之后添加 (修改点:增加第37行)。 torch_npu.npu.set_compile_mode(jit_compile=False)
进入OBS管理控制台,根据上述步骤获得的路径,找到对应版本号目录,即可获取数据集对应的标注结果。 如需将标注结果下载至本地,可前往manifest文件存储的OBS中,单击“下载”,即可将标注结果存储至本地。 图1 下载标注结果 父主题: Standard数据管理
/AutoAWQ-0.2.5 export PYPI_BUILD=1 pip install -e . 需要编辑“examples/quantize.py”文件,针对NPU进行如下适配工作,以支持在NPU上进行量化。 添加import。 import torch_npu from torch_npu
ModelArts.3567:用户只能访问自己账号下的obs目录,ModelArts在读取其他用户obs下的数据时,需要用户委托权限,没有创建委托,就没有权限使用其他用户obs中的数据。 登录ModelArts控制台,管理控制台,在左侧导航栏中选择“权限管理”,单击“查看权限”,检查是否配置了obs的委托权限。
--model ${model_path}:模型地址,模型格式是HuggingFace的目录格式。即Step2 准备权重文件上传的HuggingFace权重文件存放目录。如果使用了量化功能,则使用推理模型量化章节转换后的权重。 --max-num-seqs:最大同时处理的请求数,超过后拒绝访问。
方技术支持。 提示:本文档适用于仅使用OBS对象存储服务(Object Storage Service)作为存储的方案,OBS用于存储模型文件、训练数据、代码、日志等,提供了高可靠性的数据存储解决方案。 约束限制 如果要使用自动重启功能,资源规格必须选择八卡规格,只有llama3-8B/70B支持该功能。
您可以通过如下两种方式将训练的模型迁移到其他账号。 将训练好的模型下载至本地后,上传至目标账号对应区域的OBS桶中。 通过对模型存储的目标文件夹或者目标桶配置策略,授权其他账号进行读写操作。详请参见配置高级桶策略。 父主题: 查看作业详情