检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
int compaction.async.enabled 否 true 是否开启在线压缩 compaction.schedule.enabled 否 true 是否阶段性生成压缩plan,即使关闭在线压缩的情况下也建议开启 compaction.tasks 否 10 压缩Hudi表task并行度
Kafka服务 sasl-ssl.port 21009 21009 Broker提供SASL安全认证和SSL通信的端口,提供安全认证及通信加密服务 Loader常用端口 表中涉及端口的协议类型均为:TCP。 配置参数 默认端口 端口说明 LOADER_HTTPS_PORT 21351
控制应用程序。此外,MRS集群管理员可指定队列管理员和集群系统管理员。 动态更新配置文件。MRS集群管理员可根据需要动态修改配置参数以实现在线集群管理。 Capacity Scheduler中每个队列可以限制资源使用量。队列间的资源分配以使用量作为排列依据,使得容量小的队列有竞争
HTTPS服务访问,执行3;若使用HTTP服务访问,执行4。 与HTTP服务访问相比,以HTTPS方式访问HDFS时,由于使用了SSL安全加密,需要确保Curl命令所支持的SSL协议在集群中已添加支持。若不支持,可对应修改集群中SSL协议。例如,若Curl仅支持TLSv1协议,修改方法如下:
HTTPS服务访问,执行3;若使用HTTP服务访问,执行4。 与HTTP服务访问相比,以HTTPS方式访问HDFS时,由于使用了SSL安全加密,需要确保Curl命令所支持的SSL协议在集群中已添加支持。若不支持,可对应修改集群中SSL协议。例如,若Curl仅支持TLSv1协议,修改方法如下:
执行3;若使用HTTP服务访问(仅安全集群支持),执行4。 与HTTP服务访问相比,以HTTPS方式访问HDFS时,由于使用了SSL安全加密,需要确保Curl命令所支持的SSL协议在集群中已添加支持。若不支持,可对应修改集群中SSL协议。例如,若Curl仅支持TLSv1协议,修改方法如下。
gs_ctl-current.log gaussdb控制日志 gs_guc-current.log gaussdb操作日志 encrypt.log omm加密日志 omm_agent_ctl.log OMA控制日志 oma_monitor.log OMA监控日志 install_oma.log OMA安装日志
connection.ack.wait.timeout 连接时应答的超时时间(单位:秒)。为了避免由于GC带来的长时间等待,可以设置更大的值。 60 加密 Spark支持Akka和HTTP(广播和文件服务器)协议的SSL,但WebUI和块转移服务仍不支持SSL。 SSL必须在每个节点上配置,
connection.ack.wait.timeout 连接时应答的超时时间(单位:秒)。为了避免由于GC带来的长时间等待,可以设置更大的值。 60 加密 Spark支持Akka和HTTP(广播和文件服务器)协议的SSL,但WebUI和块转移服务仍不支持SSL。 SSL必须在每个节点上配置,
<'$特殊字符,且不可为空或全空格。 文件可存储于HDFS或者OBS中,不同的文件系统对应的路径存在差异。 OBS:以“s3a://”开头。不支持KMS加密的文件或程序。 HDFS:以“/”开头。 Spark Script需要以“.sql”结尾,MapReduce和Spark Jar需要以“.
<'$特殊字符,且不可为空或全空格。 文件可存储于HDFS或者OBS中,不同的文件系统对应的路径存在差异。 OBS:以“obs://”开头。不支持KMS加密的文件或程序。 HDFS:以“/”开头。 Spark Script需要以“.sql”结尾,MapReduce和Spark Jar需要以“.
息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。 Kafka基本原理