检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果IP是IPV6地址，需转化，例如：192:168:0:0:0:0:158:2 > 192:168::158:2 sslUsed false 是否启用ssl加密，普通模式集群建议配置为“false”。 loadBalancerHttpPort 21425 LoadBalance的HTTP
如果IP是IPV6地址，需转化，例如：192:168:0:0:0:0:158:2 > 192:168::158:2 sslUsed false 是否启用ssl加密，安全模式集群建议配置为“true”。 loadBalancerHttpPort 21425 LoadBalance的HTTP端
升级Master节点规格 MRS大数据集群采用Manager实现集群的管理，而管理集群的相关服务，如HDFS存储系统的NameNode，Yarn资源管理的ResourceManager，以及MRS的Manager管理服务都部署在集群的Master节点上。 随着新业务的上线，集群规
ALM-50215 FE Thrift各个方法接收的RPC请求中最长的耗时超过阈值 告警解释 系统每30秒周期性检查FE Thrift各个方法接收的RPC请求中最长的耗时，当检查到该值超出阈值（默认值为5000ms）时产生该告警。 当FE Thrift各个方法接收的RPC请求中最长的耗时低于阈值时，告警清除。
Kudu应用开发简介 Kudu简介 Kudu是专为Apache Hadoop平台开发的列式存储管理器，具有Hadoop生态系统应用程序的共同技术特性：在通用的商用硬件上运行，可水平扩展，提供高可用性。 Kudu的设计具有以下优点： 能够快速处理OLAP工作负载。 支持与MapRe
endpoint-name.access_key_id OBS ak，获取方法请参考如何获取访问密钥AK/SK s3.endpoint-name.secret_access_key OBS sk，获取方法请参考如何获取访问密钥AK/SK 对于OBS直接分享出来的URL，一般是带HTTPS的
JDBCExample-*.jar:hetu-jdbc-*.jar com.huawei.hetu.JDBCExampleZk 如果对接的集群开启了ZooKeeper的SSL认证，需要添加JVM参数：-Dzookeeper.clientCnxnSocket=org.apache.zookeeper
────┴────┘ Upsert支持事务 与其他SQL语法类型一样，upsert语法也支持显式和隐式事务，使用事务前需要进行相应的事务功能开启配置。 注意事项 MergeTree和ReplicatedMergeTree建表要指定primary key或order by字段作为去重
如果卸载补丁前关闭了弹性伸缩，请卸载完成后重新打开。 登录华为云MRS管理控制台，在“现有集群”列表中选择对应集群，单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。 父主题： 回滚补丁
cd /opt/hadoopclient 执行以下命令，配置环境变量。 source bigdata_env 启用Kerberos认证的集群，执行以下命令认证用户身份。未启用Kerberos认证的集群无需执行。 kinit Storm用户 执行以下命令，提交Storm拓扑： storm
查看解决方法。 如果客户端不是最新，请重新下载安装客户端。 若使用ping命令查看IP不通，需要协调网络管理相关人员协助排查网络。 若集群开启高可用，尝试将Yarn参数“yarn.client.failover-sleep-base-ms”调小。 父主题： 使用Spark
如果卸载补丁前关闭了弹性伸缩，请卸载完成后重新打开。 登录华为云MRS管理控制台，在“现有集群”列表中选择对应集群，单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。 父主题： 回滚补丁
不必要的通道恢复操作。 本章节适用于MRS 3.x及后续版本。 配置步骤 MRS引入配置参数“dfs.pipeline.ecn”。当该配置启用时，DataNode会在写入通道超出负荷时从其中发出信号。客户端可以基于该阻塞信号进行退避，从而防止系统超出负荷。引入该配置参数的目的是为
存到Kafka的Topic列表（test1）。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Spooldir Source+Memory
不必要的通道恢复操作。 本章节适用于MRS 3.x及后续版本。 配置步骤 MRS引入配置参数“dfs.pipeline.ecn”。当该配置启用时，DataNode会在写入通道超出负荷时从其中发出信号。客户端可以基于该阻塞信号进行退避，从而防止系统超出负荷。引入该配置参数的目的是为
与之相连的avro source监测的端口。 21154 ssl 是否启用SSL认证（基于安全要求，建议启用此功能）。 只有“Avro”类型的Source才有此配置项。 true表示启用 false表示不启用 false 单击“导出”，将配置文件“properties.properties”保存到本地。
encoding”区域，选中“Other”，并设置参数值为“UTF-8”，单击“Apply”后，单击“OK”，如图1所示。 图1 设置Eclipse的编码格式 修改样例（未开启Kerberos认证集群可跳过此步骤）。 在4获取新建开发用户的krb5.conf和user.keytab文件后，修改ExampleMain
配置并导入样例工程 Kafka提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。 导入并配置Kafka样例工程 配置安全认证 如果您使用的是开启了Kerberos认证的MRS集群，需要进行安全认证。 配置Kafka应用安全认证 根据业务场景开发程序 提供了Producer和Cons
调测Kafka SpringBoot样例程序 开启Kafka Plain认证。 登录FusionInsight Manager页面，选择“集群 > 服务 > Kafka > 配置 > 全部配置”，搜索参数“sasl.enabled.mechanisms”，将参数值改为“GSSAPI
ameNode存在大量线程处于WAITING，且长期不释放。 结合以上问题分析如下：NameNode存在内置机制，根据WARN日志信息自动开启DEBUG日志，在环境中由于选择副本失败，导致一直启动Debug日志，不停地修改log4j，修改组件的log4j后进程会自动加载该配置文件
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
