检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置HDFS应用安全认证 场景说明 访问安全集群环境中的服务,需要先通过Kerberos安全认证。所以HDFS应用程序中需要写入安全认证代码,确保HDFS程序能够正常运行。 安全认证有两种方式: 命令行认证: 提交HDFS应用程序运行前,在HDFS客户端执行如下命令进行认证。 kinit
ples”目录下的“jdbc.properties”文件,根据实际环境信息修改相关参数。 #配置JDBC服务端IP地址 JDBC_SERVER_NAME= #配置JDBC服务端端口 JDBC_PORT_NUM= #配置JDBC登录用户名 JDBC_USER_NAME= #配置JDBC登录用户密码
在Flink的客户端或者服务端安装路径的lib目录下获取。 kafka-clients-*.jar 由Kafka组件发布提供,可在Kafka组件客户端或者服务端安装路径下的lib目录下获取。 flink-connector-kafka_2.11*.jar 在Flink客户端或者服务端安装路径的opt目录下获取。
cipher.list”配置项的值,否则以HTTPS访问不了Yarn。单击“保存”,在“保存配置”中单击“确定”,保存完成后选择“更多>重启服务”重启该服务。 MapReduce的配置项hadoop.ssl.enabled.protocols和ssl.server.exclude.cipher
警恢复。 告警属性 告警ID 告警级别 可自动清除 24001 一般 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 产生告警的Flume Agent实例无
ples”目录下的“jdbc.properties”文件,根据实际环境信息修改相关参数。 #配置JDBC服务端IP地址 JDBC_SERVER_NAME= #配置JDBC服务端端口 JDBC_PORT_NUM= #配置JDBC登录用户名 JDBC_USER_NAME= #配置JDBC登录用户密码
conf文件中的对应配置访问FusionInsight ZooKeeper; [2] zookeeper.server.principal:指定ZooKeeper服务端使用principal; [3] zookeeper.sasl.client:如果MRS集群是安全模式,该值设置为“true”,否则设置
zk.quorum:为访问ZooKeeper quorumpeer的地址,请修改为集群部署有FusionInsight ZooKeeper服务的IP地址。 访问开源 ZooKeeper 使用“testConnectApacheZk”连接开源ZooKeeper的代码,只需要将以下代码中的“xxx
没有需要额外导入的jar包。 MapReduce访问多组件样例程序 导入样例工程之后,如果需要使用访问多组件样例程序,请确保集群已安装Hive、HBase服务。 不使用访问多组件样例程序时,如果不影响统计样例程序的正常编译,可忽略多组件样例程序相关报错信息,否则请在导入样例工程后将多组件样例程序类文件删除。
系统每30秒周期性检测ZooKeeper服务连接数状态,当检测到ZooKeeper实例连接数超出阈值(最大连接数的百分之八十)时产生该告警。 连接数小于阈值时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 13001 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName
警恢复。 告警属性 告警ID 告警级别 可自动清除 12046 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 NetworkCardName 产生告警的网口名。 Trigger
警清除。 告警属性 告警ID 告警级别 可自动清除 14011 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 如果将DataNode数据目录挂载在根
相关业务结束,需要终止大数据集群等。 用户想要及时得知这些操作是否执行成功,以及当集群出现大数据服务不可用,或节点故障时,用户希望不用频繁登录集群查看,就可以及时地收到告警通知。MRS联合消息通知服务(SMN),可以将以上信息主动地通知到用户的手机及邮箱,让维护更加省心省力。 客户价值
Flink HA方案介绍 Flink HA方案介绍 每个Flink集群只有单个JobManager,存在单点失败的情况。Flink有Yarn、Standalone和Local三种模式,其中Yarn和Standalone是集群模式,Local是指单机模式。但Flink对于Yarn模
Doris基本原理 Doris简介 Doris是一个基于MPP架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。基于此,Apache Doris能够较好的满
zk.quorum:为访问ZooKeeper quorumpeer的地址,请修改为集群部署有FusionInsight ZooKeeper服务的IP地址。 访问开源 ZooKeeper 使用“testConnectApacheZk”连接开源ZooKeeper的代码,只需要将以下代码中的“xxx
避免客户端由于无限等待服务端的返回而挂起。使用方式如下: 在执行“DriverManager.getConnection”方法获取JDBC连接前,添加“DriverManager.setLoginTimeout(n)”方法来设置超时时长,其中n表示等待服务返回的超时时长,单位为秒
在Linux环境中调测Doris应用 操作场景 在程序代码完成开发后,您可以上传Jar包至Linux环境中运行应用。 前提条件 Linux环境已安装JDK,版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在
没有需要额外导入的jar包 MapReduce访问多组件样例程序 导入样例工程之后,如果需要使用访问多组件样例程序,请确保集群已安装Hive、HBase服务。 不使用访问多组件样例程序时,如果不影响统计样例程序的正常编译,可忽略多组件样例程序相关报错信息,否则请在导入样例工程后将多组件样例程序类文件删除。
令例如: bin/yarn-session.sh -n 3 -jm 1024 -tm 1024 在Flink任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例,否则可能会导致任务失败,并可能导致应用部分临时数据无法清空。 运行DataStream样例程序(Scala和Java语言)。