检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
过多的session连接意味着过多的查询和MR任务跑在HBase上,这会导致HBase性能下降以至于导致HBase拒绝服务。通过配置参数来限制客户端连接到HBase服务器端的session数目,来实现HBase过载保护。 HBase开源增强特性:容灾增强 主备集群之间的容灾能力可以增强HBase数据的高可用
HRegionServer以Ephemeral node的方式注册到ZooKeeper中。其中ZooKeeper存储HBase的如下信息:HBase元数据、HMaster地址。 HMaster通过ZooKeeper随时感知各个HRegionServer的健康状况,以便进行控制管理。 HBase也可以部署多个HMaster,类似HDFS
装路径如:/opt/client。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 构建Jar包。 在IntelliJ IDEA中,在生成Jar包之前配置工程的Artifacts信息。
client-write-packet-size 客户端写包的大小。当HDFS Client往DataNode写数据时,将数据生成一个包。然后将这个包在网络上传出。此参数指定传输数据包的大小,可以通过各Job来指定。单位:字节。 在万兆网部署下,可适当增大该参数值,来提升传输的吞吐量。 262144
包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 准备连接IoTDB集群配置文件 准备工程 IoTDB提供了不同场景下的多种样例程序,用户可获取样例工程并导入本地开发环境中进行程序学习。
接MRS集群,配置文件通常包括集群组件信息文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 准备连接HBase集群配置文件 配置并导入样例工程 HBase提供了不同场景下的多种样例程序,用户可获
apred-site.xml)设置如下参数。 表1 参数描述 参数 描述 默认值 mapreduce.shuffle.address 指定地址来运行shuffle服务,格式是IP:PORT,参数的默认值为空。当参数值为空时,将绑定localhost,默认端口为13562。 说明:
e服务需要手动修改配置。 登录Master节点。 执行hostname -i获取本机IP。 执行如下命令获取“HUE_FLOAT_IP”的地址: grep "HUE_FLOAT_IP" ${BIGDATA_HOME}/MRS_Current/1_*/etc*/ENV_VARS, 其中MRS以实际文件名为准。
dc=com --ldap_passwords_in_clear_ok LDPA 密码是否以明文发送 如果设置为true,将允许LDAP密码在网络上明文发送 【取值范围】 true或false 说明: 当“--enable_ldap_auth”设置为“true”时,认证时默认没有开启Ldap
单击“导入数据”,正确配置HDFS和OBS路径。 配置OBS或者HDFS路径时,单击“浏览”并选择文件目录,然后单击“确定”。 图2 导入数据 OBS路径地址说明: 必须以“obs://”开头。 不支持导入KMS加密的文件或程序。 不支持导入空的文件夹。 目录和文件名称可以包含中文、字母、数字、中划线和下划线,但不能包含;|&>
dc=com --ldap_passwords_in_clear_ok LDPA 密码是否以明文发送 如果设置为true,将允许LDAP密码在网络上明文发送 【取值范围】 true或false 说明: 当“--enable_ldap_auth”设置为“true”时,认证时默认没有开启Ldap
且需要获取一些别的配置信息,然后再进行URL拼接。 处理步骤 请参考官方MRS 1.9样例工程中hive-examples的认证连接,样例地址请参考开发指南。 建议与总结 在官方MRS 1.9的样例基础进行代码开发。 父主题: 使用Hive
为:“/srv/BigData/data2”,则执行以下命令: mount /dev/vdb2 /srv/BigData/data2 弹性云服务器重启后,挂载会失效。您可以修改“/etc/fstab”文件,将新建磁盘分区设置为开机自动挂载,具体请参见设置开机自动挂载磁盘分区。 参
导入jdbc-example样例工程之后,运行时需修改以下参数: 将代码中HOST = "xxx"的“xxx”修改为Doris的Master FE节点IP地址,Master FE节点可通过在Manager界面,选择“集群 > 服务 > Doris”,查看“Leader所在的主机”获取。 将代码中PORT
L文件的路径,需要满足以下要求。 待执行SQL脚本文件地址,可直接手动输入地址路径,也可单击“HDFS”或者“OBS”选择文件。 最多为1023字符,不能包含;|&>,<'$特殊字符,且不可为空或全空格。 OBS程序路径地址以“obs://”开头,例如“obs://wordcount/program/XXX
e, krbhost=None) 需按照实际环境修改以下参数: hiveserverIp:替换为实际需要连接的HiveServer节点IP地址,可登录FusionInsight Manager,选择“集群 > 服务 > Hive > 实例”查看。 hiveserverPort:需
执行以下命令配置互信: ssh-copy-id -i ~/.ssh/id_rsa.pub 运行SSH任务的用户@运行SSH任务的节点的IP地址 执行该命令后需要输入运行SSH任务的用户的密码。 Shell所在节点(外部节点)的账户需要有权限执行Shell脚本并对于所有Shell脚本里涉及到的所有目录文件有足够权限。
修改WordCountTopology.java类,使用remoteSubmit方式提交应用程序。并替换用户keytab文件名称,用户principal名称,和Jar文件地址。 使用remoteSubmit方式提交应用程序 public static void main(String[] args)
varchar(48) 查询任务的ID。 time datetime 查询开始时间。 client_ip varchar(200) 客户端的IP地址和端口号。 user varchar(64) 执行查询语句的用户名。 catalog varchar(128) 查询所属的Catalog名称。
实例”,将运行状态为“正在恢复”的Broker实例停止并记录实例所在节点的管理IP地址以及对应的“broker.id”,该值可通过单击角色名称,在“实例配置”页面中选择“全部配置”,搜索“broker.id”参数获取。 以root用户登录记录的管理IP地址,并执行df -lh命令,查看磁盘占用率为100%的挂