检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
html转义符反转 将文本中html转义符进行反转,如>|>替换为>|>。 冗余说明去除 移除文本中冗余的说明。 去除冗余尾部信息 移除文本尾部冗余的信息。 冗余段落过滤 移除文本中的冗余段落。 字符归一化 将文本中不同的字符风格统一显示,如①,⑴,㊀,⒈,⓵,➊,❶,➀统一显示为1
璉等,常见表情符清单请参见Full Emoji List。 空值校验 校验数据中是否存在空字符串。 异常格式校验 检查数据是否满足数据格式要求。 冗余换行符校验 检查数据中是否存在连续两个及以上的换行符。 表2 健康度状态说明 正常数据量 健康度颜色 是否可用于训练 >=80% 绿色 可用