检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Loader数据导入导出概述 Loader数据导入简介 Loader是实现MRS与外部数据源如关系型数据库、SFTP服务器、FTP服务器之间交换数据和文件的ETL工具，支持将数据或文件从关系型数据库或文件系统导入到MRS系统中。 Loader支持如下数据导入方式： 从关系型数据库导入数据到HDFS/OBS
经分析，发现在建表时没有指定存储格式，所以采用了缺省存储格式RCFile。 在导入数据时，被导入数据格式是TEXTFILE格式，最终导致此问题。 解决办法 属于应用侧问题，解决办法有多种。只要保证表所指定存储格式和被导入数据格式是一致的，可以根据实际情况采用合适方法。 方法1： 可以使用具
为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败 问题 为什么将非ViewFS文件系统配置为ViewFS时MR作业运行失败？ 回答 通过集群将非ViewFS文件系统配置为ViewFS时，ViewFS中的文件夹的用户权限与默认NameService中
已安装MySQL客户端，相关操作可参考使用MySQL客户端连接Doris。 已准备待导入至Doris的数据文件。 创建OBS并行文件系统并获取AK/SK 创建OBS并行文件系统。 登录OBS管理控制台。 选择“并行文件系统 > 创建并行文件系统”。 填写文件系统名称，例如“doris-obs”。 企业项目需要与
Spark任务提交失败 问题现象 Spark提交任务直接提示无法提交任务。 Spark提示无法获取到yarn的相关jar包。 提示多次提交一个文件。 原因分析 问题1： 最常见的无法提交任务原因是认证失败， 还有可能是参数设置不正确。 问题2： 集群默认会把分析节点的hadoop
为什么新创建的Flink用户提交任务失败，报ZooKeeper文件目录权限不足？ 问题 创建一个新的Flink用户，提交任务，ZooKeeper目录无权限导致提交Flink任务失败，日志中报如下错误： NoAuth for /flink/application_1499222480199_0013
由于HDFS块丢失导致DataNode退服失败 问题背景与现象 在退服DataNode过程中，一直提示退服失败。 原因分析 查看退服失败报错日志，日志中显示总计1564个块，有一个块一直没法被备份。 登录集群Master节点，进入HDFS客户端，执行hdfs fsck /命令查看损坏的块，并记录文件路径。 例如
File or Project”对话框。 在弹出窗口选择文件夹“hive-jdbc-example”，单击“OK”。Windows下要求该文件夹的完整路径不包含空格。 设置IntelliJ IDEA的文本文件编码格式，解决乱码显示问题。 在IntelliJ IDEA的菜单栏中，选择“File
为什么创建Hive表失败？ 问题 为什么创建Hive表失败？ 回答 当源表或子查询具有大数据量的Partition时，创建Hive表失败。执行查询需要很多的task，此时输出的文件数就会很多，从而导致driver OOM。 可以在创建Hive表的语句中增加distribute b
将Oracle数据库中的数据导入HDFS时各连接器的区别 问题 使用Loader将Oracle数据库中的数据导入到HDFS中时，可选择的连接器有generic-jdbc-connector、oracle-connector、oracle-partition-connector三种，要怎么选？有什么区别？
中存在的MOR和COW两种模型中，MOR表的流式读写性能相对较好，因此在流式计算场景下采用MOR表模型。关于MOR表在读写性能的对比关系如下： 对比维度 MOR表 COW表 流式写 高 低 流式读 高 低 批量写 高 低 批量读 低 高 实时入湖，表模型采用MOR表。 实时入湖一
为什么创建Hive表失败？ 问题 为什么创建Hive表失败？ 回答 当源表或子查询具有大数据量的Partition时，创建Hive表失败。执行查询需要很多的task，此时输出的文件数就会很多，从而导致driver OOM。 可以在创建Hive表的语句中增加distribute b
COMPLETED 文件传输完成后添加的后缀。 deletePolicy never 文件传输完成后源文件删除策略，never或immediate。“never”表示不删除已完成传输的源文件，“immediate”表示传输完成后立刻删除源文件。 ignorePattern ^$ 忽略文件的正则
通过Hue创建Sqoop任务将数据从HBase导入HDFS时报错 用户问题 利用Hue的Sqoop操作把HBase中的数据导入HDFS时报错： Caused by: java.lang.ClassNotFoundException: org.apache.htrace.Trace
File or Project”对话框。 在弹出窗口选择文件夹“hive-jdbc-example”，单击“OK”。Windows下要求该文件夹的完整路径不包含空格。 设置IntelliJ IDEA的文本文件编码格式，解决乱码显示问题。 在IntelliJ IDEA的菜单栏中，选择“File
是简单的追加，不保证追加文件是否可以使用。例如文本文件可合并，压缩文件合并后可能无法使用。 “IGNORE”：保留旧文件，不复制新文件。 “ERROR”：转移过程中出现同名文件时任务将停止执行并报错，已转移的文件导入成功，同名的文件及未转移的文档导入失败。 OVERRIDE Map数
业的最大的导入并发数，默认值为：10。 最小处理的数据量、最大并发数、源文件的大小和当前集群BE节点的个数共同决定了本次任务导入的并发数： 本次导入并发数 = Math.min（源文件大小/最小处理量，最大并发数，当前BE节点个数） 本次导入单个BE的处理量 = 源文件大小/本次导入的并发数
单击“LoaderServer(节点名称，主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“导入”，进入作业导出界面。 在“导入”界面中选择要导入的配置文件的路径。 单击“上传”，开始导入作业。当弹出框中进度条显示100%，则说明作业导出完成。 父主题： 管理Loader作业
将Oracle数据库中的数据导入HDFS时各连接器的区别 问题 使用Loader将Oracle数据库中的数据导入到HDFS中时，可选择的连接器有generic-jdbc-connector、oracle-connector、oracle-partition-connector三种，要怎么选？有什么区别？
配置的列代替。不能和“架构名称”、“表名”同时配置。 说明： SQL Where语句可以使用宏定义，具体请参考配置项中使用宏定义。 select * from test where ${CONDITIONS} 表列名 配置要导入的列，使Loader将列的内容全部导入。配置多个字段时使用“
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
