检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入数据过程中,为什么无法选中OBS的具体文件进行上传 在数据导入过程中,平台仅支持通过OBS服务导入文件夹类型的数据,而不支持直接导入单个文件。 您需要将文件整理到文件夹中,并选择该文件夹进行上传。 父主题: 大模型使用类问题
无监督领域知识数据量无法支持增量预训练,如何进行模型学习 一般来说,建议采用增量预训练的方式让模型学习领域知识,但预训练对数据量的要求较大,如果您的无监督文档量级过小,达不到预训练要求,您可以通过一些手段将其转换为有监督数据,再将转换后的领域知识与目标任务数据混合,使用微调的方式让模型学习。
使用盘古预置NLP大模型进行文本对话 场景描述 此示例演示了如何使用盘古预置NLP大模型进行对话问答,包含两种方式:使用“能力调测”功能和调用API接口。 您将学习如何使用“能力调测”功能调试模型超参数、如何调用盘古NLP大模型API以实现智能化对话问答能力。 准备工作 请确保您
作为加密因子,结合请求体携带的特定信息计算而成。通过访问密钥(AK/SK)认证方式进行认证鉴权,即使用Access Key ID(AK)/Secret Access Key(SK)加密的方法来验证某个请求发送者身份。 父主题: 安全
盘古-CV-物体检测-N 微调 图片+检测标注 图片+xml 训练CV大模型所需数据量 初期启动训练时,每种模型类别先提供1000张已标注的图片数据进行训练,后续根据验证结果再动态提供数据迭代。 图片中需要识别的目标是清晰可见的,没有遮挡、模糊等特征破坏问题。图片中的目标大小显著,目标物体在不放大图片的情况下人眼清晰可见。
现了过拟合或欠拟合等异常情况。 模型评估:使用平台的“模型评估”功能,“模型评估”将对您之前上传的测试集进行评估。通过查看测试集样本的PPL、BLEU和ROUGE等指标,进行横向(相同训练数据+不同规格的通用模型)或纵向(不同训练数据训练的多个模型版本)对比来判断训练过程是否出现了问题。
认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 使用推理SDK章节示例代码均以ak和sk保存在环境变量中来实现身份验证。 登录“我的凭证”页面,获取“IAM用户名”、“账号名”以及待使用区域的“项目ID”。调用服务时会用到这些信息,请提前保存。
都包括输入和期望的输出。 LoRA 局部微调(LoRA)是一种优化技术,用于在深度学习模型的微调过程中,只对模型的一部分参数进行更新,而不是对所有参数进行更新。这种方法可以显著减少微调所需的计算资源和时间,同时保持或接近模型的最佳性能。 过拟合 过拟合是指为了得到一致假设而使假设
评测功能能够帮助用户在多种应用场景下验证模型的准确性与可靠性。 模型压缩:在模型部署前,进行模型压缩是提升推理性能的关键步骤。通过压缩模型,能够有效减少推理过程中的显存占用,节省推理资源,同时提高计算速度。当前,平台支持对NLP大模型进行压缩。 模型部署:平台提供了一键式模型部
能有助于用户高效管理模型生命周期,提高资产管理效率。 模型资产包含以下两种形式: 预置模型。 用户在平台中可试用、已订购的预置模型。 用户自行发布的模型。 用户可以将训练完成的模型发布为模型资产。发布的模型支持查看详细信息、编辑属性、删除、导出、导入等操作。 管理模型资产 登录ModelArts
指定预测目标变量的列名,仅支持单目标变量预测。格式为["列名"],默认设置为[],表示选择最后一列作为预测目标变量。 训练集&验证集比例 将数据集划分为训练集和验证集。填写验证集的比例(默认为 0.2,即训练集占0.8,验证集占0.2)。可选比例包括0.1、0.2、0.3、0.4。 基模型算法池 对于异常检测模型:
管理NLP大模型评测任务 管理评测任务 在评测任务列表中,任务创建者可以对任务进行克隆(复制评测任务)、启动(重启评测任务)和删除操作。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型评测”,可进行如下操作:
管理CV大模型训练任务 在训练任务列表中,任务创建者可以对任务进行编辑、启动、克隆(复制训练任务)、重试(重新训练任务)和删除操作。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,可进行如下操作:
权限管理 如果您需要对华为云上购买的盘古大模型资源,为企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(IAM)和盘古角色管理功能进行精细的权限管理。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户(子用户)进行权限管理,您可
管理科学计算大模型训练任务 在训练任务列表中,任务创建者可以对创建好的任务进行编辑、启动、克隆(复制训练任务)、重试(重新训练任务)和删除操作。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,进入模型训练页面,可进行如下操作:
错误码 当您调用API时,如果遇到“APIGW”开头的错误码,请参见API网关错误码进行处理。遇到“APIG”开头的错误码,请参考本文档进行处理。 表1 错误码 错误码 错误信息 说明 建议解决方法 PANGU.0001 unknown error. 未知错误。 请联系服务技术支持协助解决。
资源到期了如何续费 包年/包月方式购买的资源到期后,请在平台订购管理页面进行续订操作。具体步骤如下: 登录ModelArts Studio大模型开发平台,单击页面右上角“订购管理”。 在“订购管理”页面,单击“资源订购”页签。 在“资源订购”页签可进行数据资源、训练资源、推理资源的续费操作。 父主题:
管理NLP大模型训练任务 在训练任务列表中,任务创建者可以对任务进行编辑、启动、克隆(复制训练任务)、重试(重新训练任务)和删除操作。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,可进行如下操作:
管理预测大模型训练任务 在训练任务列表中,任务创建者可以对任务进行编辑、启动、克隆(复制训练任务)、重试(重新训练任务)和删除操作。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,可进行如下操作:
通常情况下越小越好。 一般来说,一个正常的Loss曲线应该是单调递减的,即随着训练的进行,Loss值不断减小,直到收敛到一个较小的值。 验证损失值 模型在验证集上的损失值。值越小,意味着模型对验证集数据的泛化能力越好。 获取训练日志 单击训练任务名称,可以在“日志”页面查看训练过程中产生的日志。