检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该方式是YARN内部的认证方式,不需要用户配置。 - 当前一个Flink集群只支持一个用户,一个用户可以创建多个Flink集群。 加密传输 Flink整个系统存在三种加密传输方式: 使用Yarn内部的加密传输方式:Flink yarn client与Yarn Resource Manager、Yarn Resource
| | 2 | | 3 | +----------+ 将导出的jar包上传至集群客户端所在的Linux节点指定路径,例如“/opt/hive_demo”。 为方便后续操作,将样例程序目录、客户端组件目录等配置为公共变量。 退出Beeline命令行,执行以下命令:
Agent的sink名称。 对系统的影响 产生告警的Flume Client无法与Flume Server端进行通信,Flume Client端的数据无法传输到Flume Server端。 可能原因 Flume Client端与Flume Server端网络故障。 Flume Client端进程故障。
示: 回答 造成该现象的原因是NodeManager重启。使用ExternalShuffle的时候,Spark将借用NodeManager传输Shuffle数据,因此NodeManager的内存将成为瓶颈。 在当前版本的FusionInsight中,NodeManager的默认内
身份认证与访问控制 身份认证 MRS支持安全协议Kerberos,使用LDAP作为账户管理系统,并通过Kerberos服务对账户信息进行安全认证。 Kerberos安全认证原理和认证机制具体介绍请参见安全认证原理和认证机制。 访问控制 MRS提供两种访问控制权限模型:基于角色的权
HBase组件提供一个稳定可靠,性能优异、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。 快速购买MRS集群 进入购买MRS集群页面。
StarRocks既支持从各类实时和离线的数据源高效导入数据,也支持直接分析数据湖上各种格式的数据。 StarRocks兼容MySQL协议,可使用MySQL客户端和常用BI工具对接进行数据分析,同时StarRocks具备水平扩展、高可用、高可靠、易运维等特性,广泛应用于实时数仓、OLAP报表、数据湖分析等场景。
安全模式(开启Kerberos认证)查看参数“https_port”的值即为ClickHouseServer实例节点端口。 普通模式(关闭Kerberos认证)查看参数“http_port”的值即为ClickHouseServer实例节点端口。 ck_user:创建的ClickHouse用户,需要绑定一个具有Cl
HBase集群使用Hadoop和HBase组件提供一个稳定可靠,性能优异、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。 Hadoop、HBase、ZooKeeper、Ranger
Yarn常用配置参数 队列资源分配 Yarn服务提供队列给用户使用,用户分配对应的系统资源给各队列使用。完成配置后,您可以单击“刷新队列”按钮或者重启Yarn服务使配置生效。 参数入口: MRS 3.x之前的版本集群执行以下操作: 用户在MRS控制台上,选择“租户管理 > 资源分布策略”。
Doris集群高可用方案概述 支持MySQL协议的客户端通过FE与Doris集群建立连接,为了防止单点故障通常需要部署多个FE节点,并在多个FE上部署负载均衡来实现Doris的高可用。 根据不同业务的使用场景,可以选择如下的方式配置Doris高可用功能: 业务侧代码实现 SDK ELB负载均衡
访问Spark2x JobHistory中某个应用的原生页面时页面显示错误 问题 提交一个Spark应用,包含单个Job百万个task。应用结束后,在JobHistory中访问该应用的原生页面,浏览器会等待较长时间才跳转到应用原生页面,如果10分钟内无法跳转,则页面会显示Proxy
【Spark WebUI】访问JobHistory中某个应用的原生页面时页面显示错误 用户问题 提交一个Spark应用,包含单个Job百万个Task。应用结束后,在JobHistory中访问该应用的WebUI页面,浏览器会等待较长时间才跳转到应用WebUI页面,若10分钟内无法跳转,则页面会显示Proxy
访问Spark2x JobHistory中某个应用的原生页面时页面显示错误 问题 提交一个Spark应用,包含单个Job 百万个task。应用结束后,在JobHistory中访问该应用的原生页面,浏览器会等待较长时间才跳转到应用原生页面,若10分钟内无法跳转,则页面会显示Proxy
ALM-12006 节点故障 告警解释 Controller按30秒周期检测NodeAgent心跳。当Controller未接收到某一个NodeAgent的心跳,则尝试重启该NodeAgent进程,如果连续三次重启失败,产生该告警。 当Controller可以正常接收时,告警恢复。
可能原因 HDFS DataNode实例磁盘IO速率低、HDFS DataNode自身处理能力到达瓶颈。 HDFS各DataNode实例之间网络传输速率低。 处理步骤 检查是否DataNode实例磁盘IO速率低。 登录FusionInsight Manager界面,选择“运维 > 告警
查看设置的spoolDir监控目录,是否所有的文件均已传输完毕。 是,处理完毕。 否,执行5。 spoolDir的监控目录为用户自定义配置文件properties.properties中.spoolDir的参数值。若监控目录文件已传输完毕,则该监控目录下的所有文件以.COMPLETED后缀结尾。
配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于3000。 20 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考算子帮助及表2。 表2 算子输入、输出参数设置 输入类型 输出类型 HBase输入 文件输出
配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于3000。 20 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表2。 表2 算子输入、输出参数设置 输入类型 输出类型 HBase输入
getClassLoader().getResource("conf").getPath() + File.separator; //In Linux environment //String userdir = System.getProperty("user.dir") +