检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
各个map的输入文件。 选择“FILE”,表示按文件分割源文件,即每个map处理一个或多个完整的源文件,同一个源文件不可分配至不同map,完成数据导入后保持源文件的目录结构。 选择“SIZE”,表示按大小分割源文件,即每个map处理一定大小的输入文件,同一个源文件可分割至多个ma
文本文件 “SEQUENCE_FILE”: 导入文本文件并保存在“sequence file”文件格式 “BINARY_FILE”:以二进制流的方式导入文件,可以导入任何格式的文件 TEXT_FILE 压缩格式 在下拉菜单中选择数据导入HDFS/OBS后保存文件的压缩格式,未配置或选择“NONE”表示不压缩数据。
/opt/tempfile;/opt 文件分割方式 选择按文件或大小分割源文件,作为数据导入的MapReduce任务中各个map的输入文件。 选择“FILE”,表示按文件分割源文件,即每个map处理一个或多个完整的源文件,同一个源文件不可分配至不同map,完成数据导入后保持源文件的目录结构。 选择“
/opt/tempfile;/opt 文件分割方式 选择按文件或大小分割源文件,作为数据导入的MapReduce任务中各个map的输入文件。 选择“FILE”,表示按文件分割源文件,即每个map处理一个或多个完整的源文件,同一个源文件不可分配至不同map,完成数据导入后保持源文件的目录结构。 选择“
ClickHouse数据批量导入 本章节适用于MRS 3.3.0及之后版本。 操作场景 当同时存在较多待导入的数据文件,用户可以使用多线程导入工具批量导入ClickHouse。 前提条件 已安装ClickHouse客户端,例如客户端安装目录为“/opt/client”。 如果集群
“APPEND”:在旧文件尾部合并新文件内容。合并操作只是简单的追加,不保证追加文件是否可以使用。例如文本文件可合并,压缩文件合并后可能无法使用。 “IGNORE”:保留旧文件,不复制新文件。 “ERROR”:转移过程中出现同名文件时任务将停止执行并报错,已转移的文件导入成功,同名的文件及未转移的文档导入失败。
选择按文件或大小分割源文件,作为数据导入的MapReduce任务中各个map的输入文件。 选择“FILE”,表示按文件分割源文件,即每个map处理一个或多个完整的源文件,同一个源文件不可分配至不同map,完成数据导入后保持源文件的目录结构。 选择“SIZE”,表示按大小分割源文件,即每个map处理一定
提升权限管理的易用性和用户体验。 MRS集群权限模型由“用户-用户组-角色-权限”四类对象构成。 图1 权限模型 权限 由组件侧定义,允许访问组件某个资源的能力。不同组件针对自己的资源,有不同的权限。 例如: HDFS针对文件资源权限,有读、写、执行等权限。 HBase针对表资源权限,有创建、读、写等权限。
表达式过滤。 * 文件过滤器 配置通配符对源文件的输入文件名进行过滤。配置多个过滤条件时使用“,”隔开。不能配置为空。不支持正则表达式过滤。 * 编码类型 源文件的编码格式,如UTF-8。导入文本文件时才能配置。 UTF-8 后缀名 源文件导入成功后对输入文件增加的后缀值。该值为空,表示不加后缀。
表达式过滤。 * 文件过滤器 配置通配符对源文件的输入文件名进行过滤。配置多个过滤条件时使用“,”隔开。不能配置为空。不支持正则表达式过滤。 * 编码类型 源文件的编码格式,如UTF-8。导入文本文件时才能配置。 UTF-8 后缀名 源文件导入成功后对输入文件增加的后缀值。该值为空,表示不加后缀。
/opt/tempfile;/opt 文件分割方式 选择按文件或大小分割源文件,作为数据导入的MapReduce任务中各个map的输入文件。 选择“FILE”,表示按文件分割源文件,即每个map处理一个或多个完整的源文件,同一个源文件不可分配至不同map,完成数据导入后保持源文件的目录结构。 选择“
/opt/tempfile;/opt 文件分割方式 选择按文件或大小分割源文件,作为数据导入的MapReduce任务中各个map的输入文件。 选择“FILE”,表示按文件分割源文件,即每个map处理一个或多个完整的源文件,同一个源文件不可分配至不同map,完成数据导入后保持源文件的目录结构。 选择“
HDFS 文件类型 在下拉菜单中选择数据导入HDFS后保存文件的文件类型。 “TEXT_FILE”:导入文本文件并保存为文本文件。 “SEQUENCE_FILE”:导入文本文件并保存为sequence file文件格式。 “BINARY_FILE”:以二进制流的方式导入文件,可以导入任何格式的文件,不对文件做任何处理。
ClickHouse写入分布式表时发送数据文件到远端分片失败 本章节仅适用于MRS 3.3.1及之后版本。 告警解释 ClickHouse实例分布式表检查模块300秒检查一次,如果连续失败的次数超过配置的阈值,则触发上报告警,此时ClickHouse写入分布式表的节点无法正常发送数据文件到远端分片节点。
/opt/tempfile;/opt 文件分割方式 选择按文件或大小分割源文件,作为数据导入的MapReduce任务中各个map的输入文件。 选择“FILE”,表示按文件分割源文件,即每个map处理一个或多个完整的源文件,同一个源文件不可分配至不同map,完成数据导入后保持源文件的目录结构。 选择“
单击“计算实例”: 导入实例配置文件:单击“导入”,在本地选择JSON格式的实例配置文件后,单击“打开”。 导入导出功能,仅保存计算实例的配置,不保存实例ID、名称、开始时间、结束时间、状态等信息,重新导入后,这些信息将会重新生成。 导出实例配置文件:勾选待导出的实例,然后单
为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败 问题 为什么将非ViewFS文件系统配置为ViewFS时MR作业运行失败? 回答 通过集群将非ViewFS文件系统配置为ViewFS时,ViewFS中的文件夹的用户权限与默认NameService中
Broker Load导入任务的数据量超过阈值 现象描述 使用Broker Load导入数据时报错: Scan bytes per broker scanner exceed limit:xxx 原因分析 BE处理的单个导入任务的最大数据量为3GB,超过该值的待导入文件需要通过调整Broker
表达式过滤。 * 文件过滤器 配置通配符对源文件的输入文件名进行过滤。配置多个过滤条件时使用“,”隔开。不能配置为空。不支持正则表达式过滤。 * 编码类型 源文件的编码格式,如UTF-8。导入文本文件时才能配置。 UTF-8 后缀名 源文件导入成功后对输入文件增加的后缀值。该值为空,表示不加后缀。
Loader数据导入导出概述 Loader数据导入简介 Loader是实现MRS与外部数据源如关系型数据库、SFTP服务器、FTP服务器之间交换数据和文件的ETL工具,支持将数据或文件从关系型数据库或文件系统导入到MRS系统中。 Loader支持如下数据导入方式: 从关系型数据库导入数据到HDFS/OBS