检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
刷新页面,等待几分钟。 由于出现此错误,常见原因是内存占用满导致的,您可以尝试使用如下方法,从根本上解决错误。 方法1:将Notebook更换为更高规格的资源。 方法2:可以参考如下方法调整代码中的参数,减少内存占用。如果代码调整后仍然出现内存不足的情况,请使用方法1。 调用sk
--input:原始数据集的存放路径。支持 .parquet \ .csv \ .json \ .jsonl \ .txt \ .arrow 格式。 --output-prefix:处理后的数据集保存路径+数据集名称(例如:alpaca_gpt4_data) --tokenizer-
训练作业的输出文件OBS路径URL,默认为空。 version_format 否 String 数据集版本格式。可选值如下: Default:默认格式 CarbonData:Carbon格式(仅表格数据集支持) CSV:CSV格式 worker_server_num 否 Integer 训练作业worker的个数。
_ADDRESS_IN_USE。 原因分析 可能是用户本地网络的原因,网速不稳定或者网络配置有问题,均可能导致保存失败。 解决方案 1. 切换为稳定的网络后重试。 2. 初始化网络配置,使用管理员权限启动CMD,输入netsh winsock reset指令,完成后重启电脑,再登录数据标注平台重试。
Long 版本更新时间。 version_format String 数据集版本格式。可选值如下: Default:默认格式 CarbonData:Carbon格式(仅表格数据集支持) CSV:CSV格式 version_id String 数据集版本ID。 version_name
get_tokenized_data()中调用self._filter方法处理每一个sample self._filter在基类中未定义,需要各个子类针对目标数据集格式进行实现 所有handler依据实际数据集实现self._filter方法,处理原始数据集中的单一sample,其余方法复用基类的实现。
get_tokenized_data()中调用self._filter方法处理每一个sample self._filter在基类中未定义,需要各个子类针对目标数据集格式进行实现 所有handler依据实际数据集实现self._filter方法,处理原始数据集中的单一sample,其余方法复用基类的实现。
的视频将呈现在“已标注”页签下。 常见问题 Q:视频数据集无法显示或者无法播放视频? A:如果无法显示和播放视频,请检查视频格式类型,目前只支持MP4格式。 父主题: 通过人工标注方式标注数据
训练作业的输出文件OBS路径URL,默认为空。 version_format String 数据集版本格式。可选值如下: Default:默认格式 CarbonData:Carbon格式(仅表格数据集支持) CSV:CSV格式 worker_server_num Integer 训练作业worker的个数。
self.label = [0,1,2,3,4,5,6,7,8,9] # 接收request数据,并转换为模型可以接受的输入格式 def _preprocess(self, data): preprocessed_data = {}
出现该问题的可能原因如下: 桶中的对象不存在,请检查OBS路径中的内容是否存在。具体错误码请参见OBS官方文档。 处理方法 检查OBS路径及内容格式是否正常。 必现的问题,使用本地Pycharm远程连接Notebook调试。 建议与总结 在创建训练作业前,推荐您先使用ModelArts
String Manifest文件路径,支持OBS和本地路径。如果是OBS,需要Session信息。 encoding 否 String 文件编码格式,默认为utf-8。 表2 manifest_info返回参数说明 参数 参数类型 描述 size Long 样本数量。 samples JSON
\t)。 annotation_config 否 表4 数据标注格式的说明。该字段为None,则不导入标注信息。如果根据Manifest文件导入,可以传入一个内容为空的dict对象实现导入标注信息。目前支持的标注格式类型如下: 图像分类 物体检测 语音分类 文本分类 with_column_header
理访问密钥”操作指导,确认当前AK/SK是否是当前账号创建的AK/SK。 是,请联系提交工单处理。 否,请根据“如何管理访问密钥”操作指导更换为当前账号的AK/SK。 请确认当前账号是否欠费。 是,请给账号充值。操作指导请参见账户充值。 否,且提示资源已过保留期,需要提工单给OBS开通资源。
self.label = [0,1,2,3,4,5,6,7,8,9] # 接收request数据,并转换为模型可以接受的输入格式 def _preprocess(self, data): preprocessed_data = {}
图片深度。 segmented String 分割。 mask_source String 图像分割得到的mask文件的云存储路径,目前只支持PNG格式。 voc_objects JSON Array 标注对象列表,详细请见表4。 表3 source参数 参数 参数类型 描述 database
A系列裸金属服务器无法获取显卡如何解决 GPU裸金属服务器无法Ping通如何解决 GPU A系列裸金属服务器RoCE带宽不足如何解决? GPU裸金属服务器更换NVIDIA驱动后执行nvidia-smi提示Failed to initialize NVML 训练速度突然下降以及执行nvidia-smi卡顿如何解决?
refresh”。 启用运行日志输出前,支持关键词的“与”、“或”组合搜索。格式为“query logs&&erro*”或“query logs||erro*”。启用运行日志输出后,支持关键词的“与”、“或”组合搜索。格式为“query logs AND erro*”或“query logs
generation_config.json. generation_config.json内容格式错误。 检查“generation_config.json”文件中的内容是否为json格式。 The value of do_sample is not set to true in generation_config
default="True", description="是否进行数据清洗, 数据格式异常会导致训练失败,建议开启,保证训练稳定性。数据量过大时,数据清洗可能耗时较久,可自行线下清洗(支持BMP.JPEG,PNG格式, RGB三通道)。建议用JPEG格式数据")), wf.Algor