检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发布至AI Gallery ModelArts提供了“AI Gallery”功能,方便将个人的模型等共享给所有ModelArts用户,您也可以从“AI Gallery”获取他人共享的内容,快速完成构建。
您可以单击下载,获取示例数据集“simple_moss.jsonl”,该数据集可以用于文本生成类型的模型调优。
获取方法请参见获取项目ID和名称。 workflow_id 是 String 工作流的ID。 execution_id 是 String 工作流执行ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 created_at 否 String 创建时间。
修改以下脚本中NpuLogCollection的参数,将ak、sk、obs_dir替换为前面步骤中获取到的值,然后把该脚本上传到要收集NPU日志的节点上。
镜像地址{image_url}获取请参见表1。
20241028_164746-0.txt qwen2.5-7b-sft-4096-lora-313T-20241028_164746-npu_info-0.txt 执行下游评估 为增加精度评测的稳定性及进一步确保训练精度,使用多个数据集【MMLU、CEVAL】评测,执行过程如下: 获取到训练权重后使用
表1 代码包中适配的模型 序号 支持模型 支持模型参数量 权重文件获取地址 1 Llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf 2 llama2-13b https://huggingface.co
load_param_into_net(opt, param_dict) # 获取保存的epoch值,模型会在此epoch的基础上继续训练,此参数在mindspore1.3及以后版本会支持。
创建数据集版本 为数据集创建新的版本。 dataset.create_version(name=None, version_format=None, label_task_type=None, label_task_id=None, **kwargs) 示例代码 示例一:为数据集创建新的版本
从“输出数据目录位置”参数右侧获取详细OBS地址,前往此OBS目录,可以获取批量服务预测结果,包括预测结果文件和模型预测结果。 如果预测成功,目录下有预测结果文件和模型预测结果;如果预测失败,目录下只有预测结果文件。
CLI工具的获取和使用请参见Gallery CLI配置工具指南。 文件合集大小不超过50GB。 文件上传完成前,请不要刷新或关闭上传页面,防止意外终止上传任务,导致数据缺失。
Data source:已配置Grafana数据源; Metric:指标名称,可参考表1、表2、表3获取想要查询的指标; Labels:填写过滤该指标的标签,请参考表4。 图10 创建Dashboards查看指标 父主题: 使用Grafana查看AOM中的监控指标
--basepath str LLM原始模型权重地址 --bs int 训练模型的batch 其中,要获取模型config文件, 首先到https://github.com/SafeAILab/EAGLE/页找到对应Eagle模型地址。
ModelArts服务不会保存用户的Token认证凭据,在后台作业中操作用户的资源(如OBS桶)前,需要用户通过IAM委托向ModelArts显式授权,ModelArts在需要时使用用户的委托获取临时认证凭据用于操作用户资源,具体配置见配置访问授权章节。
v1的DLS_TASK_INDEX环境变量,当前可以使用v2的VC_TASK_INDEX环境变量替换,下一步使用MA_TASK_INDEX替换,建议使用demo script中的方式获取,以保证兼容性。
开发环境监控功能 AOM aom:alarm:put 调用AOM的接口,获取Notebook相关的监控数据和事件,展示在ModelArts的Notebook中。 建议配置。
tools:描述可用的外部工具或功能的信息,这些工具可能被模型用来执行某些任务或获取更多信息。
查询数据集列表 分页查询用户的数据集列表。 list_datasets(session, dataset_type=None, dataset_name=None, offset=None, limit=None) 示例代码 示例一:查询数据集列表 from modelarts.session
http": "http://{proxy_server_private_ip}:3128", "https": "http://{proxy_server_private_ip}:3128" } 代理服务器IP即步骤二:使用Docker安装和配置正向代理中创建的ECS私有IP,获取方式请见查看弹性云服务器详细信息
在获取此Manifest文件后,可将此数据集导入其他区域或者其他账号的ModelArts中,导入后的数据已携带标注信息,无需重复标注,提升开发效率。 Manifest文件描述的是原始文件和标注信息,可用于标注、训练、推理场景。