检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
机的网络连接是否正常。(依赖组件包括ZooKeeper、DBService、HDFS、Mapreduce和Yarn等,获取依赖组件所在主机的IP地址的方式和获取Sqoop实例的IP地址的方式相同。) 是,执行7。 否,执行6.g。 联系网络管理员恢复网络。 在告警列表中,查看“ALM-23001
以omm用户通过21获取的IP地址登录主LoaderServer所在的主机。 执行ping命令,查看主LoaderServer所在主机和依赖组件所在主机的网络连接是否正常。(依赖组件包括ZooKeeper、DBService、HDFS、Mapreduce和Yarn等,获取依赖组件所在主
TABLE_NAME VALUES(XXX); 关键字 参数 描述 TABLE_NAME 所关联的OpenTSDB表名。 SRC_TABLE 获取数据的表名,普通表即可。 注意事项 插入的数据不能为null;插入的数据相同,会覆盖原数据;插入的数据只有value值不同,也会覆盖原数据。
务。 已在集群中创建HetuEngine管理员“人机”用户,如hetu_user,可参考创建HetuEngine权限角色。启用Ranger鉴权的集群需根据业务需求为该hetu_user添加Ranger权限,可参考添加HetuEngine的Ranger访问权限策略。 已创建计算实例
在MRS集群详情页面,单击“告警管理”,在告警列表中单击此告警。 在“告警详情”区域,查看“告警原因”,可知产生该告警的原因。 通过“定位信息”的“HostName”,获取告警产生的DataNode节点的主机名。 删除DataNode数据目录中与磁盘规划不符的目录。 单击“组件管理 > HDFS > 实例”,
shuffle操作时,shuffle数据的分块数。 200 spark.shuffle.sasl.timeout shuffle操作时SASL认证的超时时间。单位:秒。 120s spark.shuffle.io.connectionTimeout shuffle操作时连接远程节点的超时时间。单位:秒。
shuffle操作时,shuffle数据的分块数。 200 spark.shuffle.sasl.timeout shuffle操作时SASL认证的超时时间。单位:秒。 120s spark.shuffle.io.connectionTimeout shuffle操作时连接远程节点的超时时间。单位:秒。
在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,在告警列表中单击此告警。 通过“定位信息”的“主机名”,获取告警产生的DataNode节点的主机名。 删除DataNode数据目录中与磁盘规划不符的目录。 选择“集群 > 待操作集群的名称 > 服务
执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,具体请参见准备开发用户创建对应用户。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit MRS集群用户 例如,kinit zookeeperuser。
客户端安装目录/IoTDB/iotdb/conf 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建IoTDB表的权限,可参考IoTDB用户权限管理。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit MRS集群用户 例如: kinit iotdbuser
采用SSH方式登录。 如果需要使用SSH方式登录集群节点,需要在集群的安全组规则中手动添加入方向规则:其中源地址为“客户端IPv4地址/32(或者客户端IPv6地址/128)”,端口为22,具体请参见添加安全组规则。 登录弹性云服务器(VNC方式) 登录MapReduce服务管理控制台。
弹性云服务器由多个租户共享物理资源,而裸金属服务器的资源归用户独享。对于关键类应用或性能要求较高的业务(如大数据集群、企业中间件系统),并且要求安全可靠的运行环境,使用裸金属服务器更合适。 当使用BMS类型的规格时,不支持升级Master节点规格。 仅当集群的“计费模式”为“包年/包月”时,MRS支持使用BMS类型的规格。
apache.hadoop.yarn.server.nodemanager.EnhancedLinuxContainerExecutor”时有效。 非安全模式下,当“yarn.nodemanager.linux-container-executor.user”设置为omm时,也需设置“yarn
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 单副本的数据在节点故障时容易丢失,单副本的文件过多会对HDFS文件系统的安全性造成影响。 可能原因 DataNode节点故障。 磁盘故障。 单副本写入文件。 处理步骤 在FusionInsight Manager首页,选择“运维
在弹性云服务器管理控制台,单击“开机”,将已更换磁盘的节点开机。 执行fdisk -l命令,查看新增磁盘。 使用cat /etc/fstab获取盘符。 图2 获取盘符 使用对应的盘符对新磁盘进行格式化。 例如:mkfs.ext4 /dev/sdh 执行如下命令挂载新磁盘。 mount 新磁盘
地日志。详情请参见配置Container日志聚合功能。 然而,开启container日志聚合功能之后,其日志聚合至HDFS目录中,只能通过获取HDFS文件来查看日志。开源Spark和Yarn服务不支持通过WebUI查看聚合后的日志。 因此,Spark在此基础上进行了功能增强。如图
60; 等待30秒后,执行如下命令统计正在执行的sql任务: select count(*) from system.processes; 确认获取值小于60。 若并发数仍然大于60,登录Manager页面,选择“集群 > 服务 > ClickHouse > 实例”,勾选报错的Clic
配置用户在具有读和执行权限的目录中创建外表 操作场景 此功能在MRS 3.x之前版本适用于Hive,Spark。在MRS3.x及后续版本适用于Hive,Spark2x。 开启此功能后,允许有目录读权限和执行权限的用户和用户组创建外部表,而不必检查用户是否为该目录的属主,并且禁止外
开发、运行、调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。 申请弹性IP,绑定新申请的ECS的IP,并配置安全组出入规则。 下载客户端程序,请参考下载MRS客户端。
导入并配置Kafka样例工程 操作步骤 参考获取MRS应用开发样例工程,下载样例工程到本地。 解压样例工程并找到kafka-examples目录。 导入样例工程到Eclipse开发环境。 打开Eclipse,选择“File > Import”。显示“Import”窗口,选择Existing