检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
oader服务的“机机”用户keytab文件目录,需包含绝对路径。 zookeeper.quorum 配置连接ZooKeeper节点的IP地址和端口,参数值格式为“IP1:port,IP2:port,IP3:port”,以此类推。默认端口号为“2181”。 sqoop.server
oader服务的“机机”用户keytab文件目录,需包含绝对路径。 zookeeper.quorum 配置连接ZooKeeper节点的IP地址和端口,参数值格式为“IP1:port,IP2:port,IP3:port”,以此类推。默认端口号为“2181”。 sqoop.server
Group”、“Select User”列选择已创建好的需要授予权限的Role、用户组或用户,单击“Add Conditions”,添加策略适用的IP地址范围,单击“Add Permissions”,添加对应权限。 Read:读权限 Write:写权限 Execute:执行权限 Select/Deselect
节点故障”告警产生。 是,执行3。 否,执行4。 按“ALM-12006 节点故障”提供的步骤处理该告警。 以root用户登录该告警的主机地址,用户密码为安装前用户自定义,请咨询系统管理员。查看告警角色所在安装目录用户、用户组、权限等是否正常。正常用户和用户组的权限为“omm:ficommon
大数据组件都有自己的WebUI页面管理自身系统,但是由于网络隔离的原因,用户并不能很简便地访问到该页面。 例如访问HDFS的WebUI页面,传统的操作方法是需要用户创建ECS,使用ECS远程登录组件的UI,这使得组件的页面UI访问很是繁琐,对于很多初次接触大数据的用户很不友好。 MRS提供了基于弹性公网IP来便捷访问
allow-access-address: xx.xx.xxx.xxx,xx.xx.xxx.xxx,xx.xx.xxx.xxx 说明: 集群外节点业务IP为安装客户端所在的弹性云服务器的IP。集群内节点业务IP获取方式如下: 登录MapReduce服务管理控制台,选择“现有集群”,选中当前的集群并单击集群名,进入集群
Manager界面,选择“运维 > 告警 > 告警”。 在告警列表中单击该告警,从完整的告警信息中“定位信息”处获得“主机名”。 以omm用户通过15获取的IP地址登录故障RegionServer节点。 执行ping命令,查看故障RegionServer节点和备集群RegionServer所在主机的网络连接是否正常。
在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“告警ID”为“19007”的告警,查看“定位信息”中的角色名并确定实例的IP地址。 告警上报的角色是HMaster,执行2。 告警上报的角色是RegionServer,执行3。 在FusionInsight Manager首页,选择“集群
Topic中的消息,向kafka中写入数据。 sh kafka-console-producer.sh --broker-list Kafka角色实例所在节点的IP地址:Kafka端口号 --topic主题名称 --producer.config 客户端目录/Kafka/kafka/config/producer
S;principal=hive/hadoop.<系统域名>@<系统域名>" 10.39.151.74为HiveServer所在节点的IP地址。 21066为HiveServer端口。HiveServer端口默认范围为21066~21070,用户需根据实际配置端口进行修改。 hi
'obs://OBS并行文件系统名称/user/hive/warehouse/数据库名/表名' 如果表已有业务数据,需要同步迁移原数据文件至修改后的Location地址。 父主题: MRS集群服务对接OBS示例
修改并行度。 调用rebalance操作,使数据分区均匀。 缓冲区超时设置 由于task在执行过程中存在数据通过网络进行交换,数据在不同服务器之间传递的缓冲区超时时间可以通过setBufferTimeout进行设置。 当设置“setBufferTimeout(-1)”,会等待缓冲
表的数据。 目录是HDFS存储资源分配的基本单位。HDFS支持传统的层次型文件组织结构。用户或者应用程序可以创建目录,在目录中创建、删除、移动或重命名文件。租户通过指定HDFS文件系统的目录来获取存储资源。 存储资源调度机制如下: 系统支持将HDFS目录存储到指定标签的节点上,或
图1 选择Remote 选择对应要调试的源码模块路径,并配置远端调试参数Host和Port,如图2所示。 其中Host为Spark运行机器IP地址,Port为调试的端口号(确保该端口在运行机器上没被占用)。 图2 配置参数 当改变Port端口号时,For JDK1.4.x对应的调试命
set hoodie.write.lock.zookeeper.url=<zookeeper_url>; --设置使用ZooKeeper地址。 set hoodie.write.lock.zookeeper.port=<zookeeper_port>; --设置使用ZooKeeper端口。
FusionInsight_Cluster_1_Services_ClientConfig scp HDFS/config/* root@客户端节点IP地址:/opt/client/conf 表2 配置文件 文件名称 作用 core-site.xml 配置HDFS详细参数。 hdfs-site
Yarn常用配置参数 队列资源分配 Yarn服务提供队列给用户使用,用户分配对应的系统资源给各队列使用。完成配置后,您可以单击“刷新队列”按钮或者重启Yarn服务使配置生效。 参数入口: MRS 3.x之前的版本集群执行以下操作: 用户在MRS控制台上,选择“租户管理 > 资源分布策略”。
FusionInsight_Cluster_1_Services_ClientConfig scp Storm/config/* root@客户端节点IP地址:/opt/client/conf 主要配置文件说明如表3所示。 表3 配置文件 文件名称 作用 storm.yaml 配置Storm集群信息。
FusionInsight_Cluster_1_Services_ClientConfig scp Yarn/config/* root@客户端节点IP地址:/opt/client/conf 检查客户端节点网络连接。 在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/
FusionInsight_Cluster_1_Services_ClientConfig scp HDFS/config/* root@客户端节点IP地址:/opt/Bigdata/client/conf 表2 配置文件 文件名称 作用 core-site.xml 配置HDFS详细参数。 hdfs-site