检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Producer API使用样例 Kafka Old Consumer API使用样例 Kafka Producer API使用样例 Kafka Consumer API使用样例 Kafka 多线程Producer API使用样例 Kafka 多线程Consumer API 使用样例 Kafka
什么是Clustering 即数据布局,该服务可重新组织数据以提高查询性能,也不会影响摄取速度。 Clustering架构 Hudi通过其写入客户端API提供了不同的操作,如insert/upsert/bulk_insert来将数据写入Hudi表。为了能够在文件大小和入湖速度之间进行权衡,Hudi提供了一个hoodie
使用Yarn Yarn用户权限管理 使用Yarn客户端提交任务 配置Container日志聚合功能 启用Yarn CGroups功能限制Container CPU使用率 配置TimelineServer支持HA Yarn企业级能力增强 Yarn性能调优 Yarn运维管理 Yarn常见问题
使用Spark/Spark2x Spark使用说明 Spark用户权限管理 Spark客户端使用实践 访问Spark WebUI界面 使用代理用户提交Spark作业 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强
使用Hive Hive用户权限管理 Hive客户端使用实践 快速使用Hive进行数据分析 Hive数据存储及加密配置 Hive on HBase 配置Hive读取关系型数据库数据 Hive企业级能力增强 Hive性能调优 Hive运维管理 Hive常见SQL语法说明 Hive常见问题
编包并运行程序 在IntelliJ IDEA中,打开Maven工具窗口。 在IDEA主页面,选择“View->Tool Windows-> > Maven”打开“Maven”工具窗口。 图1 打开Maven工具窗口 若项目未通过maven导入,需要执行以下步骤: 右键选择单击
Web页面访问类 如何修改开源组件Web页面会话超时时间? MRS租户管理中的动态资源计划页面无法刷新怎么办? Kafka Topic监控页签在Manager页面不显示如何处理? 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错或部分页面不可用如何处理?
使用Mapreduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优
keytab文件 存放用户信息的密钥文件。在安全模式下,应用程序采用此密钥文件进行API方式认证。 Client 客户端直接面向用户,可通过Java API、Shell API、 REST API或者Web UI访问Oozie服务端。 父主题: Oozie开发指南(安全模式)
数据,在跨机房、机架的场景中,会大大降低数据传输量,减轻网络带宽压力。社区开放了ReplicaSelector接口来支持此特性,MRS Kafka中默认提供两种实现此接口的方式。 RackAwareReplicaSelector:优先从相同机架的副本进行消费(机架内就近消费特性)。
通过JDBC访问Spark SQL样例程序(Java) 功能简介 使用自定义客户端的JDBC接口提交数据分析任务,并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句,注意其中不能包含“;”。示例: ArrayList<String> sqlList = new ArrayList<String>();
通过JDBC访问Spark SQL样例程序(Java) 功能简介 使用自定义客户端的JDBC接口提交数据分析任务,并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句,注意其中不能包含“;”。示例: ArrayList<String> sqlList = new ArrayList<String>();
Hive常见问题 如何删除所有HiveServer中的永久函数 为什么已备份的Hive表无法执行drop操作 如何在Hive自定义函数中操作本地文件 如何强制停止Hive执行的MapReduce任务 Hive不支持复杂类型字段名称中包含哪些特殊字符 如何对Hive表大小数据进行监控
和持续探索式查询分析,辅助商业决策,具有非常好的查询体验。 ClickHouse开发接口简介 ClickHouse由C++语言开发,定位为DBMS,支持HTTP和Native TCP两种网络接口协议,支持JDBC、ODBC等多种驱动方式,推荐使用社区版本的clickhouse-jdbc来进行应用程序开发。
使用Hudi Hudi表概述 使用Spark Shell创建Hudi表 使用Hudi-Cli.sh操作Hudi表 Hudi写操作 Hudi读操作 数据管理维护 Hudi常见配置参数 Hudi性能调优 Hudi常见问题
CarbonData故障处理 当在Filter中使用Big Double类型数值时,过滤结果与Hive不一致 executor内存不足导致查询性能下降 父主题: 使用CarbonData(MRS 3.x及之后版本)
使用ClickHouse ClickHouse概述 ClickHouse用户权限管理 ClickHouse客户端使用实践 ClickHouse数据导入 ClickHouse企业级能力增强 ClickHouse性能调优 ClickHouse运维管理 ClickHouse常用SQL语法
使用Flink Flink作业引擎概述 Flink用户权限管理 Flink客户端使用实践 创建FlinkServer作业前准备 创建FlinkServer作业 管理FlinkServer作业 Flink企业级能力增强 Flink运维管理 Flink性能调优 Flink客户端常见命令说明
使用Hive Hive用户权限管理 Hive客户端使用实践 快速使用Hive进行数据分析 Hive数据存储及加密配置 Hive on HBase 配置Hive读取关系型数据库 配置Hive读取Hudi表 Hive企业级能力增强 Hive性能调优 Hive运维管理 Hive常见SQL语法说明
Doris企业级能力增强 配置Doris高可用功能 配置Doris支持多源数据 配置Doris多租户 Doris冷热分离 Doris慢查询语句监控 父主题: 使用Doris