检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在使用Spark作为一个常驻的服务时候,动态资源调度将大大的提高资源的利用率。例如JDBCServer服务,大多数时间该进程并不接受JDBC请求,因此将这段空闲时间的资源释放出来,将极大的节约集群的资源。
在使用Spark作为一个常驻的服务时候,动态资源调度将大大的提高资源的利用率。例如JDBCServer服务,大多数时间该进程并不接受JDBC请求,因此将这段空闲时间的资源释放出来,将极大的节约集群的资源。
在HDFS“实例”界面,勾选所有NameNode、DataNode实例,选择“更多 > 滚动重启实例”,验证密码并确认操作影响后单击“确定”,等待滚动重启完成生效。 父主题: HDFS企业级能力增强
server.port:访问SpringBoot服务端的端口,默认值为“8080”,支持自定义修改。 server.address: SpringBoot服务端启动时绑定的IP地址,默认值为“0.0.0.0”,需要修改为SpringBoot服务部署节点的IP地址。
Controller Controller是Manager的控制中心,负责汇聚来自集群中所有节点的信息,统一向MRS集群管理员展示,以及负责接收来自MRS集群管理员的操作指令,并且依据操作指令所影响的范围,向集群的所有相关节点同步信息。
父主题: MRS集群服务对接OBS示例
前提条件 集群已安装HetuEngine、Hive服务及其所依赖的服务(DBService、KrbServer、Zookeeper、HDFS、Yarn、MapReduce)且运行正常。
(INPUT_TOPIC_NAME); // 聚合 key-value 键值对的计算结果 final KTable<String, Long> counts = source // 处理接收的记录,根据正则表达式REGEX_STRING
如果当前还有消息未处理,需要做连接关闭异常的处理,此时,如果scala内部的线程池已经关闭,就会打印RejectEdExecutionException的异常栈,如果scala内部的线程池尚未关闭就不会打印该异常栈。
boolean 否 不选中 验证输入字段 是否检验输入字段与值的类型匹配情况,值为“NO”,不检查;值为“YES”,检查。若不匹配则跳过该行。 enum 是 YES 输入字段 配置输入字段的相关信息: 位置:源文件每行被列分隔符分隔后,目标字段对应的位置,从1开始编号。
原因 IE 11浏览器的某些版本在接收到HTTP 307响应时,会将POST请求转化为GET请求,从而使得POST数据无法下发到服务端。 解决建议 使用Google Chrome浏览器。 父主题: Loader常见问题
原因 IE 11浏览器的某些版本在接收到HTTP 307响应时,会将POST请求转化为GET请求,从而使得POST数据无法下发到服务端。 解决建议 使用Google Chrome浏览器。 父主题: Loader常见问题
保存配置并重启受影响的服务或者实例。 父主题: 使用Hive
集群中原有的用户验证不受影响。 可能原因 LdapServer服务所在节点故障。 LdapServer进程故障。 处理步骤 检查LdapServer服务的两个SlapdServer实例所在节点是否故障。 登录MRS集群详情页面,选择“组件管理”。
消息还没有反馈,channel又达到了过期时间,该channel就被终止了,AM端感知到channel被终止后认为driver失联,然后整个应用停止。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 证书文件已经失效,对应模块功能受限,无法正常使用。
MRS 3.x版本:选择“集群 > 服务”。 MRS 2.x及之前版本:单击“服务管理”。 单击指定的服务名称,选择“更多 > 同步配置”。 根据集群版本进行相关操作。 MRS 2.x及之前版本:进行身份验证,并勾选“重启配置过期的服务或实例。”
使用CDM服务迁移HBase数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云HBase集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。
Producer 将消息发往Kafka topic中的角色称为Producer。 Consumer 从Kafka topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 父主题: Kafka应用开发概述
ssc.checkpoint("checkpoint") // 组装Kafka的主题列表 val topicsSet = topics.split(",").toSet // 通过brokers和topics直接创建kafka stream // 1.接收