检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink读取HBase表样例程序 Flink HBase样例程序开发思路 Flink HBase样例程序(Java) 父主题: 开发Flink应用
Spark读取HBase表样例程序 操作Avro格式数据 操作HBase数据源 BulkPut接口使用 BulkGet接口使用 BulkDelete接口使用 BulkLoad接口使用 foreachPartition接口使用 分布式Scan HBase表 mapPartitions接口使用
从HBase读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题: 开发Spark应用
从Hive读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题: 开发Spark应用
Spark读取HBase表样例程序 操作Avro格式数据 操作HBase数据源 BulkPut接口使用 BulkGet接口使用 BulkDelete接口使用 BulkLoad接口使用 foreachPartition接口使用 分布式Scan HBase表 mapPartition接口使用
如何配置HBase双读功能 操作场景 HBase客户端应用通过自定义加载主备集群配置项,实现了双读能力。HBase双读作为提高HBase集群系统高可用性的一个关键特性,适用于使用Get读取数据、使用批量Get读取数据、使用Scan读取数据,以及基于二级索引查询。它能够同时读取主备集群数据,减少查询毛刺,具体表现为:
WHERE id IN (SELECT id FROM tab_b WHERE name = 'xx'); 这里说的大表为条件过滤后的总数据量,千万级以上的数据量可定义为大表。 关联查询必须大表join小表 对于ClickHouse来说,原则上需要把多表join模型提前加工为宽表模型,但
Doris JDBC接口样例程序开发思路 通过典型场景,用户可以快速学习和掌握Doris的开发过程,并且对关键的接口函数有所了解。 场景说明 Doris可以使用SQL进行常见的业务操作,代码样例中所涉及的SQL操作主要包括创建数据库、创建表、插入表数据、查询表数据以及删除表操作。
Doris JDBC接口样例程序开发思路 通过典型场景,用户可以快速学习和掌握Doris的开发过程,并且对关键的接口函数有所了解。 场景说明 Doris可以使用SQL进行常见的业务操作,代码样例中所涉及的SQL操作主要包括创建数据库、创建表、插入表数据、查询表数据以及删除表操作。
配置Hive读取关系型数据库 操作场景 Hive支持创建与其他关系型数据库关联的外表。该外表可以从关联到的关系型数据库中读取数据,并与Hive的其他表进行Join操作。 目前支持使用Hive读取DB2和Oracle两种关系型数据库的数据。 前提条件 已安装Hive客户端。 操作步骤
Flink读取HBase表样例程序 Flink HBase样例程序开发思路 Flink HBase样例程序(Java) 父主题: 开发Flink应用
Flink读取Hudi表样例程序 Flink Hudi样例程序开发思路 Flink Hudi样例程序(Java) 父主题: 开发Flink应用
Flink读取Hudi表样例程序 Flink Hudi样例程序开发思路 Flink Hudi样例程序(Java) 父主题: 开发Flink应用
如需删除数据连接元素,选择该目标并单击界面右下角的“删除”。 表1 MySQL作业参数 参数名称 描述 示例 Link 已创建的MySQL连接。 mysqllink Tasks Max 允许Connector创建的最大Task的数量,数据库类型的Connector只允许配置为1。 1 Mode
作业来快速应对需求,大大减少Flink作业开发工作量。 Flink WebUI功能仅支持MRS 3.1.0及之后版本。 Flink WebUI特点 Flink WebUI主要有以下特点: 企业级可视化运维:运维管理界面化、作业监控、作业开发Flink SQL标准化等。 快速建立集
WebUI界面 使用代理用户提交Spark作业 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强 Spark SQL企业级能力增强 Spark Streaming企业级能力增强 Spark Core性能调优 Spark
Spark SQL企业级能力增强 配置矢量化读取ORC数据 配置过滤掉分区表中路径不存在的分区 配置Drop Partition命令支持批量删除 配置Hive表分区动态覆盖 配置Spark SQL开启Adaptive Execution特性 配置Spark SQL语法支持关联子查询不带聚合函数
Spark用户权限管理 Spark客户端使用实践 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强 Spark SQL企业级能力增强 Spark Streaming企业级能力增强 Spark Core性能调优 Spark
MRS集群版本如何进行升级? MRS普通版本集群 MRS普通版本集群无法实现低版本到高版本的平滑升级。如需体验新版本集群相关能力,建议重新创建一个新版本的集群,然后将老版本集群的数据迁移到新的集群。 MRS LTS版本集群 MRS LTS版本集群支持版本升级能力,可从历史版本升级
Spark SQL企业级能力增强 配置矢量化读取ORC数据 配置过滤掉分区表中路径不存在的分区 配置Hive表分区动态覆盖 配置Spark SQL开启Adaptive Execution特性 配置SparkSQL的分块个数 父主题: 使用Spark2x(MRS 3.x及之后版本)