检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager IP x.x.x.x MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。 此处选择新创建的包含Hive组件的MRS集群。
sqoop-shell是一个开源的shell工具,其所有功能都是通过执行脚本“sqoop2-shell”来实现的。
可在NameNode所在节点的“${BIGDATA_HOME}/FusionInsight_HD_*/1_*_NameNode/etc”目录下的“hdfs-site.xml”中查找该配置项的值。xx为“dfs.ha.namenodes.hacluster”参数的值。
在大多数实际情况下,会需要查询列值为XXX的数据。HBase提供了Filter功能来查询具有特定列值的数据:所有数据按RowKey的顺序进行扫描,然后将数据与特定的列值进行匹配,直到找到所需的数据。过滤器功能会scan一些不必要的数据以获取所需的数据。
主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 必须在主备集群的所有节点的hosts文件中,配置主备集群所有机器的机器名与业务IP地址的对应关系。
在使用Spark作为一个常驻的服务时候,动态资源调度将大大的提高资源的利用率。例如JDBCServer服务,大多数时间该进程并不接受JDBC请求,因此将这段空闲时间的资源释放出来,将极大的节约集群的资源。
在使用Spark作为一个常驻的服务时候,动态资源调度将大大的提高资源的利用率。例如JDBCServer服务,大多数时间该进程并不接受JDBC请求,因此将这段空闲时间的资源释放出来,将极大的节约集群的资源。
在IntelliJ IDEA的菜单栏依次选择“Run > Edit Configurations”,在弹出的会话框中设置运行用户。 -DHADOOP_USER_NAME=test 图1 参数配置 用户可向管理员咨询运行用户。
慢盘隔离特性约束: 隔离慢盘之前无法判断集群节点是否存在客户私有化数据,因此不要在节点数据盘存放个人私有化数据,避免慢盘隔离时对业务造成影响; 自动触发慢盘隔离动作后,对于原来写两副本数据存在单副本运行的场景,存在一定风险,请知;同时华为侧运维人员会尽快对慢盘进行替换; 慢盘自动隔离能力支持单节点同时出现多个慢盘
该端口用于: HDFS客户端与Namenode间的通信。 Datanode与NameNode之间的连接。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。
设置为OBS桶的路径或虚拟机本地的路径。 OBS桶的路径:直接手动输入脚本路径。例如输入MRS提供的公共样例脚本路径。
暂不绑定 指标共享 用于采集大数据组件的监控指标,当用户使用集群过程中出现问题时,供华为云支持人员定位问题。 关闭 系统盘加密 是否对MRS集群节点所挂载的系统盘中的数据进行加密,默认关闭。
编包并运行Spark应用 操作场景 在程序代码完成开发后,您可以将打包好的jar包上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。
当前支持主机规格的配型由CPU+内存+Disk共同决定。实例规格详细说明请参见MRS所使用的弹性云服务器规格和MRS所使用的裸金属服务器规格。 该参数建议从MRS控制台的集群创建页面获取对应区域对应版本所支持的规格。
设置为OBS桶的路径或虚拟机本地的路径。 OBS桶的路径:直接手动输入脚本路径。例如输入MRS提供的公共样例脚本路径。