检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从Kafka中获取数据的组标识,此参数不能为空。 flume kafka.bootstrap.servers Kafka的bootstrap地址端口列表,默认值为Kafka集群中所有的Kafka列表。如果集群安装有Kafka并且配置已经同步,可以不配置此项。 192.168.101
HBase JVM参数优化说明 操作场景 当集群数据量达到一定规模后,JVM的默认配置将无法满足集群的业务需求,轻则集群变慢,重则集群服务不可用。所以需要根据实际的业务情况进行合理的JVM参数配置,提高集群性能。 操作步骤 参数入口: HBase角色相关的JVM参数需要配置在安装
修改hostname后导致WebHCat启动失败 问题背景与现象 用户修改hostname导致WebHCat启动失败。 查看对应节点WebHCat启动日志( /var/log/Bigdata/hive/webhcat/hive.log),发现报如下错误: 原因分析 MRS Web
主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装客户端时: Linux环境已安装JDK,版本号需要和IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在Linux环境所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
I性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。 * <topic>为Kafka中订阅的主题。 */ public class JavaDstreamKafkaWriter {
I性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。 * <topic>为Kafka中订阅的主题。 */ public class JavaDstreamKafkaWriter {
时间单位都是秒。 // <topics>为Kafka中订阅的主题,多以逗号分隔。 // <brokers>为获取元数据的kafka地址。 public class FemaleInfoCollectionPrint { public static void main(String[]
I性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。 * <topic>为Kafka中订阅的主题。 */ public class JavaDstreamKafkaWriter {
I性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。 * <topic>为Kafka中订阅的主题。 */ public class JavaDstreamKafkaWriter {
初始化HDFS 功能简介 在使用HDFS提供的API之前,需要先进行HDFS初始化操作。过程为: 加载HDFS服务配置文件,并进行kerberos安全认证。 认证通过后,实例化Filesystem。 此处kerberos安全认证需要使用到的keytab文件,请提前准备。 代码样例
MRS集群是否支持切换操作系统? 问: MRS集群是否支持切换操作系统? 答: MRS集群内节点操作系统为ECS初始镜像,不支持切换操作系统。 父主题: 节点管理类
修改并行度。 调用rebalance操作,使数据分区均匀。 缓冲区超时设置 由于task在执行过程中存在数据通过网络进行交换,数据在不同服务器之间传递的缓冲区超时时间可以通过setBufferTimeout进行设置。 当设置“setBufferTimeout(-1)”,会等待缓冲
在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“告警ID”为“19008”的告警,查看“定位信息”中的角色名并确定实例的IP地址。 告警上报的角色是HMaster,执行2。 告警上报的角色是RegionServer,执行3。 在FusionInsight Manager首页,选择“集群
取样例工程。 根据集群版本选择对应的分支,下载并获取MRS相关样例工程。 例如本章节场景对应示例为“hbase-example”样例,获取地址:https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-3.1.
初始化HDFS 功能简介 在使用HDFS提供的API之前,需要先进行HDFS初始化操作。过程为: 加载HDFS服务配置文件。 实例化Filesystem。 代码样例 如下是代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
从Kafka中获取数据的组标识,此参数不能为空。 flume kafka.bootstrap.servers Kafka的bootstrap地址端口列表,默认值为Kafka集群中所有的Kafka列表。如果集群安装有Kafka并且配置已经同步,可以不配置此项。 192.168.101
配置Kafka用户Token认证信息 操作场景 使用Token认证机制时对Token的操作。 本章节内容适用于MRS 3.x及后续版本的启用Kerberos认证的集群。 前提条件 MRS集群管理员已明确业务需求,并准备一个系统用户。 已开启Token认证机制,详细操作请参考Kafka服务端配置。
MRS集群是否支持重装系统? 问: MRS集群是否支持重装系统? 答: MRS集群内节点操作系统为ECS初始镜像,不支持重装操作系统。 父主题: 节点管理类
http.server.session.timeout.secs Spark:修改配置spark.session.maxAge的值 Hive:添加自定义配置项http.server.session.timeout.secs 保存配置项时可选择不重启受影响的服务或实例,等待业务不繁忙时再重启服务或实例。
图1 选择Remote 选择对应要调试的源码模块路径,并配置远端调试参数Host和Port,如图2所示。 其中Host为Spark运行机器IP地址,Port为调试的端口号(确保该端口在运行机器上没被占用)。 图2 配置参数 当改变Port端口号时,For JDK1.4.x对应的调试命