检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
eDatasetOutput的列表 properties 数据集创建相关的配置信息。 是 DatasetProperties title title信息,主要用于前端的名称展示。 否 str description 数据集创建节点的描述信息。 否 str policy 节点执行的policy。
查看任务详情、服务详情、数据集详情和评测配置信息。 任务详情:展示任务的名称、任务ID、描述、创建时间等。 服务详情:展示模型类型、评测服务的具体信息等。 数据集详情:展示数据集的类型、配比、数据量等。 评测配置:展示评测的类型、作业机制等。 导出评测结果 登录ModelArts管理控制台,
TEXT_TRIPLE (文本三元组) AUDIO_CLASSIFICATION (声音分类) SPEECH_CONTENT (语音内容)SPEECH_SEGMENTATION (语音分割) TABLE (表格数据) VIDEO_ANNOTATION (视频标注) description
本地安装SDK。如果本地未安装SDK,可参考(可选)本地服务器安装ModelArts SDK安装;如果本地已安装,则无需再次安装。 进行Session鉴权。可参见(可选)Session鉴权完成鉴权。鉴权完成后,即可开始使用。
s控制台发起变更规格操作,变更时系统将按照如下规则为您计算变更费用: 资源升配:新配置价格高于老配置价格,此时您需要支付新老配置的差价。 资源降配:新配置价格低于老配置价格,此时华为云会将新老配置的差价退给您。 资源降配会影响ModelArts性能,通常不建议您这样操作。这里以资
预训练 预训练 介绍如何进行预训练,包括训练数据处理、超参配置、训练任务、性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调、超参配置、训练任务、性能查看。 LoRA微调训练 介绍如何进行LoRA微调、超参配置、训练任务、性能查看。 父主题: 主流开源大模型基于DevServer适配ModelLink
如果当前账号是个IAM用户(即子账号),需确认当前账号是否具备OBS服务操作权限。 请参考OBS权限管理,为当前IAM用户配置“作用范围”为“全局级服务”的“Tenant Administrator”策略,即拥有OBS服务所有操作权限。 如果需要限制此IAM用户操作,仅为此用户配置OBS相关
自定义引擎创建模型的规范 使用自定义引擎创建模型,用户的SWR镜像、OBS模型包和文件大小需要满足以下规范: SWR镜像规范: 镜像必须内置一个用户名为“ma-user”,组名为“ma-group”的普通用户,且必须确保该用户的uid=1000、gid=100。内置用户的dockerfile指令如下:
startOrStopService 启停边缘服务节点 service startOrStopNodesService 添加用户访问密钥 service addAkSk 删除用户访问密钥 service deleteAkSk 创建专属资源池 cluster createCluster 删除专属资源池
al目录下安装依赖。 cd opencompass #在benchmark_eval目录下 pip install -e . #下载对应依赖 cd ../human-eval #在benchmark_eval目录下 (可选,如果选择使用humaneval数据集) pip install
型引用了其他依赖,您需要在“算法管理 > 创建算法”的“代码目录”下放置相应的文件或安装包。 安装python依赖包请参考模型中引用依赖包时,如何创建训练作业? 安装C++的依赖库请参考如何安装C++的依赖库? 在预训练模型中加载参数请参考如何在训练中加载部分训练好的参数? 解析输入路径参数、输出路径参数
在费用中心批量退订实例资源 登录ModelArts管理控制台。 在左侧导航栏中,选择“资源管理 > AI专属资源池 > 弹性节点Server”,进入“节点”列表页面。 记录需要退订实例的ID。 此时如果显示需要配置委托,请联系您的账号管理员为您配置委托权限,详细操作参考配置ModelaArts委托。
defaultGateWay Boolean 默认路由开关。 phase String 网络的连接状态。可选值如下: Connecting:网络连接中 Active:网络连接正常 Abnormal:网络连接不正常 表15 sfsTurboStatus 参数 参数类型 描述 sfsId String
本案例需要创建一个Notebook,以便能够通过它访问SFS Turbo服务。随后,通过Notebook将OBS中的数据上传至SFS Turbo,并对存储在SFS Turbo中的数据执行编辑操作。 预训练 预训练 介绍如何进行预训练,包括训练数据处理、超参配置、创建训练任务及性能查看。 微调训练
2.2.8.0aa484aa ipykernel 6.7.0 ipython 8.18.1 jupyter-client 7.4.9 matplotlib 3.5.1 numpy 1.22.0 pandas 1.3.5 Pillow 10.0.1 pip 21.0.1 psutil
并直接重启Notebook实例。重启后多种配置重置,会导致用户数据丢弃,环境丢失,造成很不好的使用体验。因此需要提供cache盘使用情况的监控和告警,并将数据上报至AOM平台。 配置流程 填写告警基本信息 设置告警规则 监控对象指标配置 告警触发条件设置 告警通知设置 创建主题、设置主题策略、订阅主题
VSCode远程连接时卡顿,或Python调试插件无法使用如何处理? 问题现象 VSCode远程连接Notebook时,单击“VS Code接入”跳转至连接界面时一直卡顿,或Python调试插件无法使用。 图1 Python调试插件错误 原因分析 该问题通常由VS Code安装了第三方中文插件引起。
工具使用包含以下三步:dump、run_ut以及api_precision_compare。基本步骤如下: 通过pip安装msprobe工具。 # shell pip install mindstudio-probe 获取NPU和GPU的dump数据。 PyTorch训练脚本插入dump接口方式如下:
被清理。例如:用户在开发环境中的其他目录下安装的外部依赖包等,在Notebook停止后会被清理。您可以通过保存镜像的方式保留开发环境设置,具体操作请参考保存Notebook实例。 Notebook实例将停止计费,但如有EVS盘挂载,存储部分仍会继续计费。 删除实例 针对不再使用的
件,从而提高工作效率。 功能亮点 一键运行:允许用户一键运行Notebook文件,无需逐个执行Cell。 定时任务调度:允许用户设置定时执行代码块的时间和频率。支持秒、分钟、小时和每天/每周/月的时间设置。 支持参数化执行:允许用户在运行时向Notebook传递参数,使得Notebook能根据不同需求调整行为。