检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当SQL逻辑中不包含Shuffle操作时，设置此配置项，不会有明显的性能提升。 配置描述 要启动小文件优化，在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 描述 默认值 spark.sql.files.maxPartitionBytes 在读取文件时，将单个分区打包的最大字节数。
cookie认证。 Flink集群中，各部件支持SSL加密传输；集群内部各部件之间，如Flink client和JobManager、JobManager和TaskManager、TaskManager和TaskManager之间支持SSL加密传输。 详情可参考配置Flink认证和加密。
cookie认证。 Flink集群中，各部件支持SSL加密传输；集群内部各部件之间，如Flink client和JobManager、JobManager和TaskManager、TaskManager和TaskManager之间支持SSL加密传输。 ACL控制 在HA模式下，支持ACL控制。
如果配置了SSL，则必须配置ssl.truststore.location和ssl.truststore.password，前者表示truststore的位置，后者表示truststore密码。 否 说明： 该参数未配置时为非安全Kafka。 如果需要配置SSL，truststore
为纯文本（ldap://）协议指定“no”（不推荐）。 为LDAP over SSL/TLS (ldaps://)协议指定“yes”（建议为默认值）。 tls_minimum_protocol_version：SSL/TLS的最小协议版本。 接受的值是： 'ssl2'、'ssl3'、'tls1.0'、'tls1.1'、'tls1
l.port”参数的值获取。 SSL：支持无认证的SSL加密访问，默认端口号为9093，可通过查看参数“ssl.port”的值获取。 SASL_SSL：支持Kerberos认证的SSL加密访问，默认为端口号为21009，可查看参数“sasl-ssl.port”的值获取。 SASL_PLAINTEXT
SASL_SSL SSL SASL_SSL Username 在实例创建期间启用“SASL_SSL”时指定的用户名。 说明： 仅加密协议为“SASL_PLAINTEXT”和“SASL_SSL”支持该参数。 test Password 在实例创建期间启用“SASL_SSL”时指定的密码。
将互信场景下的同名用户其中一个集群的配置文件放入“../src/main/resources/hadoopDomain”目录下，将另一集群的配置文件放入“../src/main/resources/hadoop1Domain”目录下。 其中，配置文件为准备运行环境配置文件获取的“core-site
器）协议的SSL，但WebUI和块转移服务仍不支持SSL。 SSL必须在每个节点上配置，并使用特殊协议为通信涉及到的每个组件进行配置。 表24 参数说明 参数 描述 默认值 spark.ssl.enabled 是否在所有被支持协议上开启SSL连接。 与spark.ssl.xxx类
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 证书文件已经失效，对应模块功能受限，无法正常使用。 可能原因 系统未导入证书（CA证书、HA根证书、HA用户证书、Gaussdb根证书或者Gaussdb用户证书等）、导入证书失败、证书文件失效。 处理步骤 查看告警原因。 打开FusionInsight
解压目录中“src”目录下的样例工程文件夹“kafka-examples”。 获取配置文件。 若需要在本地Windows调测Kafka样例代码，将准备连接Kafka集群配置文件时获取的所有配置文件放置在样例工程的“kafka-examples\src\main\resources”目录下。
操作。过程为： 加载HDFS服务配置文件，并进行kerberos安全认证。 认证通过后，实例化Filesystem。 此处kerberos安全认证需要使用到的keytab文件，请提前准备。 配置文件介绍 登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到“hdfs-e
解压目录中“src”目录下的样例工程文件夹“kafka-examples”。 获取配置文件。 若需要在本地Windows调测Kafka样例代码，将准备连接Kafka集群配置文件时获取的所有配置文件放置在样例工程的“kafka-examples\src\main\resources”目录下。
的操作等。访问HBase REST服务同样需要进行Kerberos认证。 前提条件 已获取样例工程运行所需的配置文件及认证文件，详细操作请参见准备连接HBase集群配置文件。 配置安全登录 该场景下不需要进行初始化配置，仅需要用于Kerberos安全认证的keytab文件和krb5
确保本地环境的时间与MRS集群的时间差要小于5分钟，若无法确定，请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。 已准备开发环境及MRS集群相关配置文件，详情请参考准备连接Kafka集群配置文件。 操作步骤 获取样例工程文件夹。 参考获取MRS应用开
MRS集群元数据概述 MRS的数据连接用于管理集群中组件使用的外部源连接，如Hive的元数据可以通过数据连接关联使用外部的关系型数据库。 本地元数据：元数据存储于集群内自带的本地GaussDB中，当集群删除时元数据同时被删除，如需保存元数据，需提前前往数据库手动保存元数据。 外置
数值，降低客户端应用的失败率，保证应用的正常运行。 配置描述 在客户端的“mapred-site.xml”配置文件中调整如下参数。 “mapred-site.xml”配置文件在客户端安装路径的conf目录下，例如“/opt/client/Yarn/config”。 表1 参数说明
在集群外节点运行PrestoJDBCExample缺少证书 问题 presto-examples-1.0-SNAPSHOT-jar-with-dependencies.jar在集群内节点运行时正常，但在集群外节点运行PrestoJDBCExample连接开启Kerberos认证的集群缺少证书，报错如下: java
获取参数“sasl.port”的值，默认为21007 SSL 支持无认证的SSL加密访问 获取参数“ssl.port”的值，默认为9093 SASL_SSL 支持Kerberos认证的SSL加密访问 获取参数“sasl-ssl.port”的值，默认为21009 Topic的ACL设置
HDFS读文件失败报错“No common protection layer” 问题背景与现象 shell客户端或者其他客户端操作HDFS失败，报“No common protection layer between client and server”。 在集群外的机器，执行任意hadoop命令，如hadoop
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
