检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备本地应用开发环境 准备工程 Oozie提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。 导入并配置Oozie样例工程 准备安全认证 如果您使用的是安全集群,需要进行安全认证。 配置Oozie应用安全认证 根据场景开发工程 提供了Java语言的样例工程。 开发Oozie应用 编译并运行程序
附录 修改集群服务配置参数 访问集群Manager 使用MRS客户端
Flink运维管理 Flink常用配置参数 Flink对接应用运维管理(AOM) Flink日志介绍 父主题: 使用Flink
properties").getPath(); // 包含配置信息的文件 String file = "file://" + hiveClientProperties; // 运行时,把配置信息放到HDFS上 config.set("tmpfiles"
ClickHouse企业级能力增强 通过ELB访问ClickHouse ClickHouse开启mysql_port配置 父主题: 使用ClickHouse
HBase数据操作 创建HBase索引进行数据查询 配置HBase数据压缩格式和编码 父主题: 使用HBase
Hive运维管理 Hive常用常用配置参数 Hive日志介绍 父主题: 使用Hive
hadoop.io.compress.GzipCodec 如需要全局设置,即对所有表都进行压缩,可以在Manager页面对Hive的服务配置参数进行如下全局配置: hive.exec.compress.output设置为true mapreduce.output.fileoutputformat
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
Flume企业级能力增强 使用Flume客户端加密工具 配置Flume对接安全模式Kafka 父主题: 使用Flume
准备Flink应用开发环境 准备本地应用开发环境 导入并配置Flink样例工程 父主题: Flink开发指南(普通模式)
Doris冷热分离 Doris冷热分离介绍 配置Doris冷热分离 父主题: Doris企业级能力增强
详细信息请参考如何在CarbonData中配置非安全内存? 该内存被数据查询和加载共享。所以如果加载和查询需要同时进行,建议将“carbon.unsafe.working.memory.in.mb”和“spark.yarn.executor.memoryOverhead”的值配置为2048 MB以上。
memory”参数值未设置或设置过小(小于“dfs.blocksize”参数值)时(对应参数值可登录Manager,选择“集群 > 服务 > HDFS > 配置 > 全部配置”搜索该参数获取),则会写入客户端所在的DataNode节点的DISK磁盘,其余副本会写入其他节点的DISK磁盘。 父主题: HDFS常见问题
TBLPROPERTIES('SORT_COLUMNS'='column1') 在执行该命令后,新的导入会使用新的SORT_COLUMNS配置值。 用户可以根据查询的情况来调整SORT_COLUMNS,但是不会直接影响旧的数据。所以对历史的segments的查询性能不会受到影响,
详细信息请参考如何在CarbonData中配置非安全内存? 该内存被数据查询和加载共享。所以如果加载和查询需要同时进行,建议将“carbon.unsafe.working.memory.in.mb”和“spark.yarn.executor.memoryOverhead”的值配置为2048 MB以上。
memory”参数值未设置或设置过小(小于“dfs.blocksize”参数值)时(对应参数值可登录Manager,选择“集群 > 服务 > HDFS > 配置 > 全部配置”搜索该参数获取),则会写入客户端所在的DataNode节点的DISK磁盘,其余副本会写入其他节点的DISK磁盘。 父主题: HDFS常见问题
HBase集群容灾高可用 配置HBase主备集群容灾 HBase容灾集群主备倒换 HBase容灾集群业务切换指导 父主题: HBase运维管理
准备Impala应用开发环境 准备Impala开发和运行环境 导入并配置Impala样例工程 父主题: Impala开发指南(普通模式)
HBase集群容灾高可用 配置HBase主备集群容灾 HBase容灾集群主备倒换 HBase容灾集群业务切换指导 父主题: HBase运维管理