检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
客户端只能通过取消或恢复通道进行规避,这会导致写入失败及不必要的通道恢复操作。 本章节适用于MRS 3.x及后续版本。 配置步骤 MRS引入配置参数“dfs.pipeline.ecn”。当该配置启用时,DataNode会在写入通道超出负荷时从其中发出信号。
Kerberos认证协议,主要包含三个角色: Client:客户端 Server:客户端需要请求的服务端 KDC(Key Distribution Center): 密钥分发中心,包括AS和TGS两部分。
通过专线访问Manager页面方式出现503报错 问题现象 通过专线方式访问Manager界面,出现503报错:当前无法使用此页面”。 原因分析 随着任务量的增大或者任务并发较高,有可能会导致Executor内存不足,进而导致访问Manager异常。 处理步骤 通过root用户登录
MRS集群是否支持对接外部KDC? 问: MRS集群是否支持对接外部KDC? 答: MRS服务只支持使用自带的内部KDC。 父主题: 周边生态对接类
通道。
配置Kafka数据传输加密 默认情况下,组件间的通道是不加密的。用户可以配置如下参数,设置安全通道为加密的。 参数修改入口:在FusionInsight Manager系统中,选择“集群 > 服务 > Kafka > 配置”,展开“全部配置”页签,在搜索框中输入相关参数名称。
解锁MRS集群LDAP管理账户 管理员在LDAP用户和管理账户被锁定时,需要在管理节点解锁集群LDAP用户“cn=pg_search_dn,ou=Users,dc=hadoop,dc=com”以及LDAP管理账户“cn=krbkdc,ou=Users,dc=hadoop,dc=com
修改MRS集群LDAP管理账户密码 建议管理员定期修改集群LDAP管理账户“cn=krbkdc,ou=Users,dc=hadoop,dc=com”和“cn=krbadmin,ou=Users,dc=hadoop,dc=com”的密码,以提升系统运维安全性。
MRS 3.1.0版本用户名称: LDAP管理员用户:cn=root,dc=hadoop,dc=com LDAP用户:cn=pg_search_dn,ou=Users,dc=hadoop,dc=com MRS 2.x及之前版本用户名称: LDAP管理员用户:rootdn:cn=root
= "" serviceIdClusterScalingReq:= "" request.Body = &model.ClusterScalingReq{ Parameters: parametersbody, PlanId: &planIdClusterScalingReq
sftp-connector连接器相关作业运行失败 问题 使用sftp-connector连接器相关作业运行失败,出现如下类似报错:“获取Sftp通道失败。xxx (原因是: failed to send channel request)”。
KafkaWordCount样例为Spark开源社区提供的。
KafkaWordCount样例为Spark开源社区提供的。
KafkaWordCount样例为Spark开源社区提供的。
KafkaWordCount样例为Spark开源社区提供的。
KafkaWordCount样例为Spark开源社区提供的。
使用广播变量 操作场景 Broadcast(广播)可以把数据集合分发到每一个节点上,Spark任务在执行过程中要使用这个数据集合时,就会在本地查找Broadcast过来的数据集合。
配置Spark Core广播变量 操作场景 Broadcast(广播)可以把数据集合分发到每一个节点上,Spark任务在执行过程中要使用这个数据集合时,就会在本地查找Broadcast过来的数据集合。
快速使用Hadoop 本章节提供从零开始使用Hadoop提交wordcount作业的操作指导,wordcount是最经典的Hadoop作业,它用来统计海量文本的单词数量。 操作步骤 准备wordcount程序。
配置Spark Core广播变量 操作场景 Broadcast(广播)可以把数据集合分发到每一个节点上,Spark任务在执行过程中要使用这个数据集合时,就会在本地查找Broadcast过来的数据集合。