检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行Kafka Topic设置ACL操作失败，提示“NoAuthException” 问题背景与现象 在使用Kafka客户端命令设置Topic ACL权限时，发现Topic无法被设置。 kafka-acls.sh --authorizer-properties zookeeper
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：
域和互信”，查看“本端域”参数值获取。 zookeeper.sasl.client：如果MRS集群是安全模式，该值设置为“true”，否则设置为“false”，设置为“false”的情况下，“zookeeper.sasl.clientconfig”和“zookeeper.server.principal”参数不生效。
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：
protocol使用SASL_PLAINTEXT。 如果Kafka所在集群的域名发生了更改，需要对${Flume客户端安装目录}/conf/flume-env.sh文件中的-Dkerberos.domain.name项的值做修改，具体请根据实际域名进行配置。 上传所配置的properties.prop
protocol使用SASL_PLAINTEXT。 如果Kafka所在集群的域名发生了更改，需要对${Flume客户端安装目录}/conf/flume-env.sh文件中的-Dkerberos.domain.name项的值做修改，具体请根据实际域名进行配置。 上传所配置的properties.prop
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：
服务配置参数。 表3 参数说明 配置参数 说明 默认值 yarn.log-aggregation-enable 设置是否将container日志收集到HDFS中。 设置为true，表示日志会被收集到HDFS目录中。默认目录为“{yarn.nodemanager.remote-ap
security.credentials.hbase.enabled”设置为“false”即可。 当应用涉及HBase时，将“spark.yarn.security.credentials.hbase.enabled”设置为“true”，且需要在Driver端配置“jaas.conf”文件，配置如下：
如何避免对历史数据进行minor compaction？ 问题 如何避免对历史数据进行minor compaction？ 回答 如果要先加载历史数据，后加载增量数据，则以下步骤可避免对历史数据进行minor compaction： 加载所有历史数据。 将major compact
zookeeper/hadoop.<系统域名> ZooKeeper服务端principal。请联系管理员获取对应账号。 基本安全认证： Spark Core和Spark SQL程序不需要访问HBase或ZooKeeper，所以使用基本的安全认证代码即可。请在程序中添加如下代码，并根据实际情况设置安全认证相关参数：
zookeeper/hadoop.<系统域名> ZooKeeper服务端principal。请联系管理员获取对应账号。 基本安全认证： Spark Core和Spark SQL程序不需要访问HBase或ZooKeeper，所以使用基本的安全认证代码即可。请在程序中添加如下代码，并根据实际情况设置安全认证相关参数：
如何解决Kafka topic无法删除的问题 问题 删除Kafka topic后发现未成功删除，如何正常删除？ 回答 可能原因一：配置项“delete.topic.enable”未配置为“true”，只有配置为“true”才能执行真正删除。 可能原因二：“auto.create.topics
如何解决Kafka Topic无法删除的问题 问题 删除Kafka Topic后发现未成功删除，如何正常删除？ 回答 可能原因一：配置项“delete.topic.enable”未配置为“true”，只有配置为“true”才能执行真正删除。 可能原因二：“auto.create.topics
登录客户端时可以通过-maxRPC参数，控制执行结果一次性打印多少行，默认值是1000；如果将-maxRPC参数值设置为小于等于0，则会一次性打印所有结果，通常用于重定向SQL执行结果。 登录客户端时，可选-disableISO8601参数，用于控制查询结果的时间列展示格式。不指定
如何查看MRS集群配置信息？ 集群创建完成后在MRS控制台单击集群名称进入集群基本信息页面，可以查看到集群的基本配置信息，包括集群的名称、ID、付费类型、工作地域、创建时间、Hadoop组件版本及节点的实例规格、容量。其中，节点的实例规格和容量决定了该集群对数据的分析处理能力。节
新建集群Kudu服务异常如何处理？ 查看Kudu服务异常日志 登录MRS管理控制台。 单击集群名称进入集群详情页面。 选择“组件管理 > Kudu > 实例”，找到异常实例所属的IP。 如果集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击
security.credentials.hbase.enabled”设置为“false”即可。 当应用涉及HBase时，将“spark.yarn.security.credentials.hbase.enabled”设置为“true”，且需要在Driver端配置“jaas.conf”文件，配置如下：
Hadoop压力测试工具如何获取？ 问： Hadoop压力测试工具如何获取？ 答： Hadoop压力测试工具社区获取地址：https://github.com/Intel-bigdata/HiBench。 父主题： 性能优化类
如何查看各组件配置文件路径？ 常用组件配置文件路径如下所示： 组件 配置文件目录 ClickHouse 客户端安装路径/ClickHouse/clickhouse/config Flink 客户端安装路径/Flink/flink/conf Flume Flume客户端安装目录/f
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
