检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Key(AK)和Secret Access Key(SK)。下载的访问密钥为credentials.csv文件,包含AK/SK信息。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 使用推理SDK章节示例代码均以ak和sk保存在环境变量中来实现身份验证。
请求什么类型的操作。 GET:请求服务器返回指定资源。 PUT:请求服务器更新指定资源。 POST:请求服务器新增资源或执行特殊操作。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器资源头部。 PATCH:请求服务器更新资源的部分内容。当资源不存在的时
行上线、删除操作。 如果任务状态为“失败”,可能由以下原因导致: 文件后缀校验不通过,需要检查文件后缀是否一致。例如,选择创建csv格式的数据集时,文件后缀应为“.csv”。 文件内容校验不通过,需要检查上传的文件数据格式是否正确。可以在“创建原始数据集”页面下载数据样例进行比对。
获取政府部门提供的内部脱敏数据等。相关的数据格式包括但不限于:在线网页、离线word文档、离线txt文件、离线excel表格、离线PDF文件、扫描版word文档、扫描版PDF文件等。 微调数据要求: 数据格式样例:JSONL格式,每行是一条JSON,包含“context”和“target”两个字段。示例如下:
入框中输入具体的变量值信息。 输入变量值后预览区域会自动组装展示提示词。也可以直接选择已创建的变量集填入变量值信息,变量集是一个excel文件,每行数据是需要输入的变量值信息,可以通过“导入”功能进行上传。 图1 效果预览 单击“查看效果”,输出模型回复结果,用户可以基于预览的效果调整提示词文本和变量。
选择左侧“数据工程 > 数据获取”,单击右上角“创建原始数据集”。 在“创建原始数据集”页面,选择“文本 > 单轮问答”,选择文件格式、文件来源并添加文件,填写数据集名称及描述,单击“立即创建”。 图1 创建原始数据集 创建成功的数据集的任务状态为“成功”,单击操作列的“上线”按钮,将该数据集上线,用于后续加工操作。
请检查创建数据集时使用的数据,与平台要求的文件内容格式是否一致。 Verification failed. Please check the content format is consistent with the template requirements. 请检查创建数据集时使用的数据,与平台要求的文件内容格式是否一致。
选择左侧“数据工程 > 数据获取”,单击右上角“创建原始数据集”。 在“创建原始数据集”页面,选择“图片 > 图片+Caption”,选择文件格式、文件来源,填写数据集名称及描述,单击“立即创建”。 创建成功的数据集的任务状态为“成功”,单击操作列的“上线”按钮,将该数据集上线,用于后续标注操作。
见表1。 表1 文本类数据集格式要求 文件内容 文件格式 文件要求 文档 txt、mobi、epub、docx、pdf 数据集最大100万个文件,单文件最大10GB,整个数据集最大10TB。 网页 html 数据集最大100万个文件,单文件最大10GB,整个数据集最大10TB。 预训练文本
数据集,创建时可导入图片、图片+Caption、图片+QA对三种类型的数据,具体格式要求详见表1。 表1 图片类数据集格式要求 文件内容 文件格式 文件要求 图片 tar、图片目录 图片:支持jpg、jpeg、png、bmp类型,单张图片大小不能超过5M,图片总大小不能超过500MB。
具体格式要求详见表1。 表1 其他类数据集格式要求 文件内容 文件格式 文件要求 图片+CV标注 图片+分割标注(图片+xml格式) 要求用户将标注对象和标注文件存储在同一目录,并且一一对应,如标注对象文件名为“IMG_2.jpg”,那么标注文件的文件名应为“IMG_2.xml”。具体示例如下:
单击左侧导航栏“工作台”,在“应用”页签,单击待调试的应用。单击应用右上侧的“调试详情”,进入调试详情页面。 在调试详情页面,单击,选择需要查看的信息。 单击“日志概览”页签。 可以查看到该次执行的整体情况,包括执行状态、开始/结束时间、运行时长和输入/输出。 单击“节点详情”页签。 可以查看到该次执
表1 预测类数据集格式要求 文件内容 文件格式 文件样例 时序 csv 数据为结构化数据,包含列和行,每一行表示一条数据,每一列表示一个特征,并且必须包含预测目标列,预测目标列要求为连续型数据。 目录下只有1个数据文件时,文件无命名要求。 目录下有多个数据文件时,需要通过命名的方式指
够更有效地应对具体的任务需求。这一阶段使模型能够精确执行如文案生成、代码生成和专业问答等特定场景中的任务。在微调过程中,通过设定训练指标来监控模型的表现,确保其达到预期的效果。完成微调后,将对用户模型进行评估并进行最终优化,以确保满足业务需求,然后将其部署和调用,用于实际应用。 NLP大模型选择建议
再分析数据为二进制格式,具体格式要求详见表1。 表1 气象类数据集格式要求 文件内容 文件格式 文件要求 海洋气象 nc、cdf、netcdf、gr、gr1、grb、grib、grb1、grib1、gr2、grb2、grib2 数据集最大100万个文件,单文件最大10GB,整个数据集最大10TB。 海洋数据
部署后的模型可用于后续调用操作。 创建NLP大模型部署任务 查看NLP大模型部署任务详情 查看部署任务的详情,包括部署的模型基本信息、任务日志等。 查看NLP大模型部署任务详情 管理NLP大模型部署任务 可对部署任务执行执行描述、删除等操作。 管理NLP大模型部署任务 调用NLP大模型
TXT内容提取 从TXT文件中提取所有文本内容。 CSV内容提取 从CSV文件中读取所有文本内容,并按该文件内容类型模板KEY值生成匹配的JSON格式数据。 PDF内容提取 从PDF中提取内容转换为结构化数据。 JSON内容提取 从JSON文件(键值对类型文件)中提取出内容。 HTML内容提取
”,表示数据已经完成加工,加工完成的数据集支持上线、编辑与删除操作。 平台支持查看加工后的数据集。单击加工完成的数据集名称,在“数据文件”页签的文件操作列单击“下载”,再单击“确定”,下载完成后即可查看。 父主题: 加工文本类数据集
”,表示数据已经完成加工,加工完成的数据集支持上线、编辑与删除操作。 平台支持查看加工后的数据集。单击加工完成的数据集名称,在“数据文件”页签的文件操作列单击“下载”,再单击“确定”,下载完成后即可查看。 父主题: 加工视频类数据集
”,表示数据已经完成加工,加工完成的数据集支持上线、编辑与删除操作。 平台支持查看加工后的数据集。单击加工完成的数据集名称,在“数据文件”页签的文件操作列单击“下载”,再单击“确定”,下载完成后即可查看。 父主题: 加工图片类数据集