检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
console”。 执行./flume-manage.sh start force命令,重启FlumeClient。 修改完成后,请检查docker配置信息是否正确。 父主题: 组件配置类
使用loader-backup工具备份作业数据 操作场景 通过Loader WebUI或客户端工具loader-tool创建好作业后,可使用loader-backup工具进行数据备份。 仅有数据导出的Loader作业才支持数据备份。 此工具为Loder的内部接口,供上层组件HBa
使用loader-backup工具备份作业数据 操作场景 通过Loader WebUI或客户端工具loader-tool创建好作业后,可使用loader-backup工具进行数据备份。 仅有数据导出的Loader作业才支持数据备份。 此工具为Loder的内部接口,供上层组件HBa
schedule-tool工具使用示例 操作场景 通过Loader WebUI或客户端工具Loader-tool创建好作业后,可使用schedule-tool工具执行作业。 本章节适用于MRS 3.x及后续版本。 前提条件 完成了Loader客户端的安装与配置,具体操作请参见使用命令行运行Loader作业。
schedule-tool工具使用指导 概述 schedule-tool工具,用于提交数据源为SFTP的作业。提交作业前可以修改输入路径、文件过滤条件,当目标源为HDFS时,可以修改输出路径。 参数说明 表1 schedule.properties配置参数说明 配置参数 说明 示例
schedule-tool工具使用示例 操作场景 通过Loader WebUI或客户端工具Loader-tool创建好作业后,可使用schedule-tool工具执行作业。 前提条件 完成了Loader客户端的安装与配置,具体操作请参见使用客户端运行Loader作业。 操作步骤
waiting for namespace table to be assigned at org.apache.hadoop.hbase.master.TableNamespaceManager.start(TableNamespaceManager.java:98)
使用Share Lib工具检查Oozie依赖Jar包正确性 Oozie任务运行需要依赖Share Lib中的原生Jar包,Share Lib由Oozie内核启动时自动上传到HDFS的“/user/oozie”目录下,当HDFS上的Share Lib损坏、缺失或Jar包冲突可能导致Oozie任务运行失败。
waiting for namespace table to be assigned at org.apache.hadoop.hbase.master.TableNamespaceManager.start(TableNamespaceManager.java:98)
schedule-tool工具使用指导 概述 schedule-tool工具,用于提交数据源为SFTP的作业。提交作业前可以修改输入路径、文件过滤条件,当目标源为HDFS时,可以修改输出路径。 本章节适用于MRS 3.x及后续版本。 参数说明 表1 schedule.properties配置参数说明
riftServer,进行根据指定namespace获取tablename以及创建表、删除表的操作。 代码样例 方法调用 // Get table of specified namespace. getTableNamesByNamespace(client, "default");
riftServer,进行根据指定namespace获取tablename以及创建表、删除表的操作。 代码样例 方法调用 // Get table of specified namespace. getTableNamesByNamespace(client, "default");
提供对Oozie流程的查看和监控功能。 Client 通过接口控制Workflow流程:可以执行提交流程,启动流程,运行流程,终止流程,恢复流程等操作。 SDK 软件开发工具包SDK(SoftwareDevelopmentKit)是被软件工程师用于为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件的开发工具的集合。
/spark-submit --class yourclassname --master yarn-cluster /yourdependencyjars任务以yarn-cluster模式提交任务,Driver端会在集群中启动,由于加载的是客户端的spark.driver.extr
使用TableIndexer工具生成HBase本地二级索引 场景介绍 为了快速对数据创建索引,HBase提供了可通过MapReduce功能创建索引的TableIndexer工具,该工具可实现添加、构建和删除索引。具体使用场景如下: 在表中预先存在大量数据的情况下,可能希望在某个列
例如:sh mergetool.sh merge default.table1 128 false 提示如下,则操作成功: SUCCESS: Merge succeeded 请确保当前用户对合并的表具有owner权限。 合并前请确保HDFS上有足够的存储空间,至少需要被合并表大小的一倍以上。
bond0 否,如下所示,则该节点未配置bond模式,执行5。 # ls -l /proc/net/bonding/ ls: cannot access /proc/net/bonding/: No such file or directory 执行cat /proc/net/bond
例如:sh mergetool.sh merge default.table1 128 false 提示如下,则操作成功: SUCCESS: Merge succeeded 请确保当前用户对合并的表具有owner权限。 合并前请确保HDFS上有足够的存储空间,至少需要被合并表大小的一倍以上。
客户端工具说明 使用客户端运行Loader作业 loader-tool工具使用指导 loader-tool工具使用示例 schedule-tool工具使用指导 schedule-tool工具使用示例 使用loader-backup工具备份作业数据 开源sqoop-shell工具使用指导
客户端工具说明 使用命令行运行Loader作业 loader-tool工具使用指导 loader-tool工具使用示例 schedule-tool工具使用指导 schedule-tool工具使用示例 使用loader-backup工具备份作业数据 开源sqoop-shell工具使用指导