检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
客户端运行环境已安装1.7或1.8版本的JDK 3. 获取客户端安装包MRS_Services_Client.tar 操作场景 在Linux上安装客户端。 操作步骤 客户端机器的时间与Hadoop集群的时间要保持一致(手动修改客户端机器或者集群的时间),时间差小于5分钟。 MRS集群的时间可通过登录主
anager主备倒换的原因。 告警属性 告警ID 告警级别 是否可自动清除 12091 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 触发Manager主备倒换。
mapreduce.app-submission.cross-platform 支持在Windows上提交到Linux上运行MR任务的配置项。当该参数的值设为“true”时,表示支持。当该参数的值设为“false”时,表示不支持。 true 父主题: 使用MapReduce
------------------- 同时在HDFS上生成目录“/user/developuser/examples/output-data/map-reduce”,包括如下两个文件: _SUCCESS part-00000 可以通过Hue的文件浏览器或者通过HDFS如下命令行查看: hdfs
mapreduce.app-submission.cross-platform 支持在Windows上提交到Linux上运行MR任务的配置项。当该参数的值设为“true”时,表示支持。当该参数的值设为“false”时,表示不支持。 true 父主题: 使用Mapreduce
选择“实例 > 添加实例”,选择一个节点添加TimelineServer实例,选择“下一步 > 下一步 > 提交”,添加实例成功。 进入FusionInsight Manager主页,单击集群的名称后的,选择“重启配置过期的实例”,等待重启实例成功。 查看重启后的各实例状态,例如
10.6补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
shuffle Service是长期存在于NodeManager进程中的一个辅助服务。通过该服务来抓取shuffle数据,减少了Executor的压力,在Executor GC的时候也不会影响其他Executor的任务运行。 操作步骤 在NodeManager中启动External
Kakfa消费者读取单条记录过长问题 问题背景与现象 和“Kafka生产者写入单条记录过长问题”相对应的,在写入数据后,用户开发一个应用,以消费者调用新接口(org.apache.kafka.clients.consumer.*)到Kafka上读取数据,但读取失败,报异常大致如下: .......... 1687
参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 用户无法执行新的Storm任务。 可能原因 集群中Supervisor处于异常状态。
压目录下的“hosts”文件中所列出的集群各主机在网络上互通。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的“/etc/hosts”文件中设置主机名和IP地址(业务平面)映射。主机名和IP地址请保持一一对应。 配置HBase上层应用所在主机的时间与备集群的时间保持一致,时间差要小于5分钟。
告警”,选中“告警ID”为“19009”的告警,查看“定位信息”中的角色名以及确认主机名所在的IP地址。 告警上报的角色是HMaster,执行2。 告警上报的角色是RegionServer,执行3。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > HBase
Manager中各集群上报的告警信息,包括告警名称、ID、级别、产生时间等信息,默认每页显示最近的十条告警。 单击指定告警名称左侧的,展开完整告警信息参数,各项说明如表2所示。 表2 告警参数 告警参数 说明 告警ID 告警信息的ID。 告警名称 告警信息的名称。 告警级别 包含紧急、重要、次要、提示四项级别。
EL Hue的访问日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_AUDITSLOG_LEVEL Hue的审计日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_ERRORLOG_LEVEL Hue的错误日志级别。
有状态的。具体哪个算子是有状态的,哪个算子是无状态的,不是十分明显。如果用户十分确定某个算子是无状态的,该算子可以不调用uid()方法分配ID。 如果用户在升级作业时新添加一个有状态的算子有什么影响? 当用户在作业中新添加一个有状态的算子时,由于该算子是新添加的,无保存的旧状态,因此无状态恢复,从0开始运行。
步骤1:源集群和目标集群网络打通 打通源集群和目标集群的网络。保证两个集群ClickHouse实例节点网络可以互通。 在目标集群的所有节点配置中添加源集群的hosts信息,同时在源集群的所有节点配置中添加目标集群的hosts信息。 登录源ClickHouse集群的FusionInsight Manager,选择“集群
端集群节点的host添加到客户端节点的/etc/hosts文件中。 访问Hive MetaStore:使用cluster2中的Spark2x客户端下“conf”目录下的hive-site.xml文件,替换到cluster1中的Spark2x客户端下“conf”目录下的hive-site
Kerberos服务在收到ST请求后,校验其中的TGT合法后,生成对应的应用服务的ST,再使用应用服务密钥将响应消息进行加密处理。 应用客户端收到ST响应消息后,将ST打包到发给应用服务的消息里面传输给对应的应用服务端(Application Server)。 应用服务端收到请求后,使用本端应用服务对应的密钥解析其
配置HDFS细粒度锁 操作场景 历史版本的HDFS使用了全局锁,读-写互斥,写-写互斥,即全局一把锁。但是实际上并非所有的读-写,写-写操作都会产生资源竞争。因此在该版本汇总引入了细粒度锁特性(FGL)。FGL对全局锁按照目录以及操作类型进行拆分,只有会产生资源竞争的操作才会使用同一个锁。因此极大地提升了写性能。
Manager主备倒换的原因。 告警属性 告警ID 告警级别 是否自动清除 12073 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 告警长期存在时,