检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移过程中,需要访问DataNode读取具体文件数据。 ZooKeeper clientPort 2181 ZooKeeper客户端连接ZooKeeper服务器。 Kerberos kdc_ports 21732 Kerberos服务认证,非Kerberos集群不涉及。 Hive hive.metastore
Hadoop在安全认证的时候,需要获取客户端所在主机的域名(Default Realm,从环境变量USERDNSDOMAIN中获取)。如果该主机没有域名,则运行样例程序会有如下报错: 此时需要用户设置系统的环境变量USERDNSDOMAIN以规避该问题,具体如下: 单击“计算机”右键,选择“属性”,然后选择“高级系统设置
在弹性云服务管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见“弹性云服务器 > 快速入门 > 购买并登录Windows弹性云服务器” 使用本机访问MR
添加待移入的Partition行到文件末尾(行结构为“Topic名称 Partition标识 Offset”,直接复制5中保存的行数据即可)。 移动数据,将待移动的Partition文件夹移动到目的目录下,移动完成后执行chown omm:wheel -R Partition目录命令修改Partition目录属组。 登录FusionInsight
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后,客户端长时间无响应。 回答 对于上述出现的问题,ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息,对于一个已经提交到YARN上的MapR
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后,客户端长时间无响应。 回答 对于上述出现的问题,ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息,对于一个已经提交到YARN上的MapR
应用户访问公网的IP地址为可信范围。 在MRS管理控制台,在“现有集群” 列表,单击指定的集群名称,进入集群信息页面。 单击弹性公网IP后边的“添加安全组规则”,如图3所示。 图3 集群详情 进入“添加安全组规则”页面,添加需要开放权限用户访问公网的IP地址段并勾选“我确认这里设
的副本数。本特性可以手工设置HDFS目录的存储策略,或者根据HDSF文件最近访问时间和最近修改时间,自动调整文件存储策略、修改文件副本数、移动文件所在目录、自动删除文件,以便充分利用存储的性能和容量。 MR引擎。用户执行Hive SQL可以选择使用MR引擎执行。 可靠性增强。Hu
操作场景 loader-tool工具支持通过作业模板或参数选项的方式,对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例,通过引用作业模板的方式,介绍loader-tool工具的使用方法。 前提条件 已安装并配置Loader客户
Driver gaussdb200:com.huawei.gauss200.jdbc.Driver JDBC连接字符串 表示数据库的访问地址,可以是IP地址或者域名。 输入数据库连接字符串(以下以IP为10.10.10.10,样例数据库为“test”为例): oracle:jdbc:oracle:thin:@10
执行以下命令添加新的公钥信息: cat id_rsa.pub_bak >> authorized_keys 执行以下命令移动临时公钥文件到其他目录,例如,移动到“/tmp”目录。 mv -f id_rsa.pub_bak /tmp 复制主管理节点的“authorized_keys”文件到集群内其他节点:
配置HDFS文件回收站机制 配置场景 在HDFS中,如果删除HDFS的文件,删除的文件将被移动到回收站(trash)中,不会被立即清除,以便在误操作的情况下恢复被删除的数据。被删除的文件在超过老化时间后将变为老化文件,会基于系统机制清除或用户手动清除。 您可以设置文件保留在回收站
配置HDFS文件回收站机制 配置场景 在HDFS中,如果删除HDFS的文件,删除的文件将被移动到回收站(trash)中,不会被立即清除,以便在误操作的情况下恢复被删除的数据。被删除的文件在超过老化时间后将变为老化文件,会基于系统机制清除或用户手动清除。 您可以设置文件保留在回收站
active namenode地址,例如:10.10.10.233:25000。 “source_ip:source_port ”为源集群的HDFS active namenode地址,例如:10.10.10.223:25000。 两个IP地址和端口都需要根据自身的集群实际情况修改。
Hadoop在安全认证的时候,需要获取客户端所在主机的域名(Default Realm,从环境变量USERDNSDOMAIN中获取)。如果该主机没有域名,则运行样例程序会有如下报错: 此时需要用户设置系统的环境变量USERDNSDOMAIN以规避该问题,具体如下: 单击“计算机”右键,选择“属性”,然后选择“高级系统设置
上已存在的标签。 MRS标签更新会同步到集群中的云服务器(ECS)或云硬盘(EVS)标签上,但是在ECS或EVS控制台上修改MRS集群的标签不会同步到集群上,为了使所有ECS/ECS标签与MRS标签保持一致,不建议在云服务器(ECS)或云硬盘(EVS)控制台上修改MRS集群标签。
active namenode地址,例如:10.10.10.233:25000。 “source_ip:source_port ”为源集群的HDFS active namenode地址,例如:10.10.10.223:25000。 两个IP地址和端口都需要根据自身的集群实际情况修改。
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后,客户端提示如下信息后长时间无响应。 16/03/03 16:44:56 INFO hdfs.DFSClient: Created HDFS_DELEGATION_TOKEN token
ZooKeeper通过访问控制列表(ACL)来对znode进行访问控制。ZooKeeper客户端为znode指定ACL,ZooKeeper服务器根据ACL列表判定某个请求znode的客户端是否有对应操作的权限。ACL设置涉及如下四个方面。 查看ZooKeeper中znode的ACL。
新安装的集群HBase启动失败 问题背景 新安装的集群HBase启动失败,查看RegionServer日志报如下错误: 2018-02-24 16:53:03,863 | ERROR | regionserver/host3/187.6.71.69:21302 | Master passed