检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何查看哪个ZooKeeper实例是Leader 问题 如何查看ZooKeeper实例的角色是Leader还是Follower? 回答 登录集群Manager管理界面,选择“集群 > 服务 > ZooKeeper > 实例”。 单击相应的quorumpeer实例名称,进入对应实例的详情页面。 查看该实例的“服务器状态”。
况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数,优先级最高。 testRDD.groupByKey(24) 在代码中配置“spark.default.parallelism”设置并行度,优先级次之。 val conf = new SparkConf() conf
准备本地应用开发环境 准备工程 Oozie提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。 导入并配置Oozie样例工程 准备安全认证 如果您使用的是安全集群,需要进行安全认证。 配置Oozie应用安全认证 根据场景开发工程 提供了Java语言的样例工程。 开发Oozie应用 编译并运行程序
附录 修改集群服务配置参数 访问集群Manager 使用MRS客户端
Hive on HBase 配置跨集群互信下Hive on HBase 删除Hive on HBase表中的单行记录 父主题: 使用Hive
使用Tez 访问Tez WebUI查看任务执行结果 Tez常用配置参数 Tez日志介绍 Tez常见问题
hadoop.io.compress.GzipCodec 如需要全局设置,即对所有表都进行压缩,可以在Manager页面对Hive的服务配置参数进行如下全局配置: hive.exec.compress.output设置为true mapreduce.output.fileoutputformat
ClickHouse企业级能力增强 通过ELB访问ClickHouse ClickHouse开启mysql_port配置 父主题: 使用ClickHouse
HBase数据操作 创建HBase索引进行数据查询 配置HBase数据压缩格式和编码 父主题: 使用HBase
使用Alluxio 配置底层存储系统 通过数据应用访问Alluxio Alluxio常用操作
Doris冷热分离 Doris冷热分离介绍 配置Doris冷热分离 父主题: Doris企业级能力增强
Flume企业级能力增强 使用Flume客户端加密工具 配置Flume对接安全模式Kafka 父主题: 使用Flume
详细信息请参考如何在CarbonData中配置非安全内存? 该内存被数据查询和加载共享。所以如果加载和查询需要同时进行,建议将“carbon.unsafe.working.memory.in.mb”和“spark.yarn.executor.memoryOverhead”的值配置为2048 MB以上。
TBLPROPERTIES('SORT_COLUMNS'='column1') 在执行该命令后,新的导入会使用新的SORT_COLUMNS配置值。 用户可以根据查询的情况来调整SORT_COLUMNS,但是不会直接影响旧的数据。所以对历史的segments的查询性能不会受到影响,
详细信息请参考如何在CarbonData中配置非安全内存? 该内存被数据查询和加载共享。所以如果加载和查询需要同时进行,建议将“carbon.unsafe.working.memory.in.mb”和“spark.yarn.executor.memoryOverhead”的值配置为2048 MB以上。
否,执行6。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Presto > 配置”,选择“全部配置”, 选择“Worker4 > JVM”,将“JAVA_OPTS”参数中“Xmx”的值根据实际情况进行调大,并单击“保存”。 返回“概览”页面,单击“更多
否,执行6。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Presto > 配置”,选择“全部配置”, 选择“Worker3 > JVM”,将“JAVA_OPTS”参数中“Xmx”的值根据实际情况进行调大,并单击“保存”。 返回“概览”页面,单击“更多
准备Flink应用开发环境 准备本地应用开发环境 导入并配置Flink样例工程 父主题: Flink开发指南(普通模式)
况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数,优先级最高。 testRDD.groupByKey(24) 在代码中配置“spark.default.parallelism”设置并行度,优先级次之。 val conf = new SparkConf() conf
方案1:新建一张ttl时间为最新需要修改时间TTL属性的表,表结构相同但名不同的表,把原表的数据导入到新表,交换表名字; 方案2:配置加上延迟物化参数,修改表TTL为最新时间,具体步骤如下: 1)在SQL级配置参数并修改TTL:alter table default.test_auto modify ttl EventDate