检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询服务对象列表 获取当前用户服务对象列表。 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 场景1:查询当前用户所有服务对象 1 2 3 4 5 6 from modelarts.session
原因分析 出现该问题的可能原因如下: OBS相关错误。 OBS文件不存在。The specified key does not exist。 用户OBS权限不足。 OBS限流。 OBS其他问题。 磁盘空间不足。 处理方法 如果是OBS相关错误。 OBS文件不存在。The specified
Code中设置远端默认安装的插件配置,即会在连接远端时自动安装,减少等待时间。 方法三:VS Code官网排查方式https://code.visualstudio.com/docs/remote/troubleshooting 小技巧(按需调整远端连接的相关参数): "remote.SSH
作。 设置包年/包月资源到期后转按需。 单个资源到期转按需:选择需要更改计费模式的实例,选择“操作 > 更多 > 到期转按需”。 图2 单个资源转按需 批量资源到期转按需:选择需要更改计费模式的实例,单击列表左上角的“到期转按需”。 查看资费变更的相关信息后,单击“到期转按需”。
#原始权重及tokenizer目录,需要用户手动创建,后续操作步骤中会提示 |── Llama2-70B |── training_data #原始数据目录,需要用户手动创建,后续操作步骤中会提示 |── t
训练好的模型是否可以下载或迁移到其他账号?如何获取下载路径? 通过训练作业训练好的模型可以下载,然后将下载的模型上传存储至其他账号对应区域的OBS中。 获取模型下载路径 登录ModelArts管理控制台,在左侧导航栏中选择“模型训练 > 训练作业”,进入“训练作业”列表。 在训练作业列表中,单击目标训练作业名称,查看该作业的详情。
#原始权重与tokenizer目录,需要用户手动创建,后续操作步骤中会提示 |── Llama2-70B |── tokenizers #tokenizer目录,需要用户手动创建,后续操作步骤中会提示 |──
/model_file_parent_dir/”。 environment 否 Environment实例 描述模型正常运行需要的环境,如使用的python版本、tensorflow版本等。 Environment实例的示例请参见示例代码。 source_job_id 否 String 来源训练作业
I等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另外,华为云还提供了以下销售许可证及软件著作权证书,供用户下载和参考。具体请查看合规资质证书。
swag、Winogrande、TruthfulQA等,该工具为离线测评,不需要启动推理服务,目前支持大语言模型。 约束限制 确保容器可以访问公网。 使用opencompass工具需用vllm接口启动在线服务。 当前的精度测试仅适用于语言模型精度验证,不适用于多模态模型的精度验证
03-py3镜像进行适配,使用开源大模型llama7b进行推理任务。 增加用户ma-user。 Triton镜像中默认已存在id为1000的triton-server用户,需先修改triton-server用户名id后再增加用户ma-user,Dockerfile中执行如下命令。 RUN usermod
在创建训练作业时指定的代码目录不存在导致训练失败。 处理方法 请您根据报错原因排查创建训练作业时指定的代码目录,即OBS桶的路径是否正确。有两种方法判断是否存在。 使用当前账户登录OBS管理控制台,去查找对应的OBS桶、文件夹、文件是否存在。 通过接口判断路径是否存在。在代码中执行如下命令,检查路径是否存在。 import
数据处理过程中对数据进行解压,导致数据大小膨胀,将"/cache"目录空间用完。 数据未保存至/cache目录或者/home/ma-user/目录(/cache会软连接成/home/ma-user/),导致数据占满系统目录。系统目录仅支持系统功能基本运行,无法支持大数据存储。 部分训练任务会在训练过程中生
问题现象 保存镜像时报错“too many layers in your image”。 原因分析 用户创建Notebook时所选用的镜像是经过多次保存的自定义镜像或用户自行注册的镜像,基于该镜像所创建的Notebook已经无法再执行镜像保存的操作了。 解决方法 使用公共镜像或其
在Notebook中添加自定义IPython Kernel 使用场景 当前Notebook默认内置的引擎环境不能满足用户诉求,用户可以新建一个conda env按需搭建自己的环境。本小节以搭建一个“python3.6.5和tensorflow1.2.0”的IPython Kernel为例进行展示。
chmark,支持训练、性能对比、下游任务评测、loss和下游任务对比能力。对比结果以excel文件呈现。方便用户验证发布模型的质量。所有配置都通过yaml文件设置,用户查看默认yaml文件即可知道最优性能的配置。 目前仅支持SFT指令监督微调训练阶段。 代码目录 benchma
0:打标者 1:审核者 2:团队管理者 3:数据集拥有者 status Integer 标注成员的当前登录状态。可选值如下: 0:未发送邀请邮件 1:已发送邀请邮件但未登录 2:已登录 3:标注成员已删除 update_time Long 更新时间。 worker_id String
训练作业的自定义镜像如何安装Moxing? 为避免自动安装Moxing会影响用户自定义镜像中的包环境,所以自定义镜像需要用户手动安装Moxing。Moxing安装包会在作业启动后放在“/home/ma-user/modelarts/package/”目录下。可在使用Moxing功
常。 解决方法 设置Terminal的“fontFamily”为“Menlo”。 操作步骤 登录ModelArts管理控制台,选择“开发空间>Notebook”。 创建Notebook实例之后,在Notebook列表中,单击目标Notebook“操作”列的“打开”,进入“JupyterLab”开发页面。
其中,加粗的斜体字段需要根据实际值填写: iam_endpoint为IAM的终端节点。 user_name为IAM用户名。 user_password为用户登录密码。 domain_name为用户所属的帐号名。 cn-north-1为项目名,代表服务的部署区域。 返回状态码“201 Create