检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将Oracle数据库中的数据导入HDFS时各连接器的区别 问题 使用Loader将Oracle数据库中的数据导入到HDFS中时,可选择的连接器有generic-jdbc-connector、oracle-connector、oracle-partition-connector三种,要怎么选?有什么区别?
在“名称”填写一个作业的名称。 在“源连接”和“目的连接”选择对应的连接。 选择某个类型的连接,表示从指定的源获取数据,并保存到目的位置。 如果没有需要的连接,可单击“添加新连接”。 在“自”填写源连接的作业配置。 具体请参见Loader作业源连接配置说明。 在“至”填写目的连接的作业配置。 具体请参见Loader作业目的连接配置说明。
否,执行10。 在hbase shell中执行以下命令打开负载均衡功能,并查看是否成功打开。 balance_switch true balancer_enabled 建议打开和手动触发负载均衡操作在业务低峰期进行。 执行以下命令手动触发负载均衡。 balancer 执行完均衡后,等待一段时间,再登录FusionInsight
} LOGGER.info("Test scanData done."); } 父主题: HBase ThriftServer连接样例程序
运行模式:选择HDFS连接的运行模式。 步骤3:创建OBS连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数,如图3所示。 名称:用户自定义连接名称,例如“obslink”。
xml、hdfs-site.xml、hbase-site.xml文件,需要放置到"src/main/resources/conf"的目录下。 连接ThriftServer实例 以下代码在“hbase-thrift-example”样例工程的“com.huawei.bigdata.hbase
LOGGER.warn("{} not exist.", tableName); } } 父主题: HBase ThriftServer连接样例程序
为已有MRS集群创建RDS数据连接 该步骤指导用户为当前已有的MRS集群创建RDS数据连接。 登录MRS控制台,在导航栏选择“数据连接”。 单击“新建数据连接 ”。 参考表1配置相关参数。 表1 数据连接 参数 示例 说明 类型 - 选择外部源连接的类型。 RDS服务Postgr
} LOGGER.info("Test scanData done."); } 父主题: HBase ThriftServer连接样例程序
warn("{} not exist.", tableName); } } 父主题: 访问HBase ThriftServer连接样例程序
使用HDFS 修改RPC端口后HDFS NameNode实例都变为备状态 通过公网IP连接使用HDFS客户端报错 使用Python远程连接HDFS的端口失败 HDFS容量达到100%导致上层服务HBase、Spark等不可用 启动HDFS和Yarn服务报错“Permission denied”
} LOGGER.info("Test scanData done."); } 父主题: HBase ThriftServer连接样例程序
单击“新建作业”。 在“基本信息”填写参数。 在“名称”填写一个作业的名称。例如“obs2hdfs”。 在“源连接”选择已创建的OBS连接。 “目的连接”选择已创建的HDFS连接。 在“自”填写源连接参数。 在“桶名”填写业务数据所保存的OBS文件系统名称。 在“源目录或文件”填写业务数据在文件系统的具体位置。
LOGGER.info("Test putDataList done."); } 父主题: HBase ThriftServer连接样例程序
LOGGER.info("Test putDataList done."); } 父主题: HBase ThriftServer连接样例程序
该任务指导用户在使用Oozie客户端提交Hive任务 Hive任务有如下类型: Hive作业 使用JDBC方式连接的Hive作业。 Hive2作业 使用Beeline方式连接的Hive作业。 本文以使用Oozie客户端提交Hive作业为例介绍。 使用Oozie客户端提交Hive2作
该任务指导用户在使用Oozie客户端提交Hive任务 Hive任务有如下类型: Hive作业 使用JDBC方式连接的Hive作业。 Hive2作业 使用Beeline方式连接的Hive作业。 本文以使用Oozie客户端提交Hive作业为例介绍。 使用Oozie客户端提交Hive2作
xml、hdfs-site.xml、hbase-site.xml文件,需要放置到"src/main/resources/conf"的目录下。 连接ThriftServer实例 以下代码在“hbase-thrift-example”样例工程的“com.huawei.bigdata.hbase
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 发生连接数告警时,表示连接到HiveServer的session数过多,将会导致无法建立新的连接。 可能原因 连接HiveServer的客户端过多。 处理步骤 增加Hive最大连接数配置。 登录MRS集群详情页面,选择“组件管理”。
拼接转换 概述 “拼接转换”算子,将已有字段的值通过连接符拼接,生成新的字段。 输入与输出 输入:需要拼接的字段 输出:拼接后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出字段名 配置拼接后的字段名。 string 是 无 分隔符 配置拼接符,可为空。