检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper > 实例 > quorumpeer”。单击图表区域右上角的下拉菜单，选择“定制 > GC”，勾选“ZooKeeper垃圾回收（GC）时间”，单击“确定”，查看ZooKeeper每分钟的垃圾回收时间统计情况。
在FusionInsight Manager页面中，选择“集群 > 服务 > HDFS > 配置”，选择“全部配置”，并在搜索框中输入参数名称。 表1 配置参数 参数 描述 默认值 dfs.client.failover.proxy.provider.[nameservice ID] 用
--host 上报告警的ClickHouseServer实例IP --user 用户名 --password --port 执行以下语句，查询系统表判断是否有业务频繁写入，若有相关业务，等待业务执行完成，查看告警是否清除。 SELECT query_id, user, FQDN(), elapsed
选择“集群 > 待操作集群的名称 > 服务 > IoTDB > 实例”，单击告警上报的IoTDBServer，进入实例“概览”页面。单击图表区域右上角的下拉菜单，选择“定制 > GC”，勾选“IoTDBServer垃圾回收（GC）总时间”，单击“确定”，查看IoTDBServer进程的GC时间是否大于12秒。
print("------------------read_write_kafka----------------") read_write_kafka() 表1 使用Python提交普通作业参数说明 参数 说明 示例 bootstrap.servers Kafka的Broker实例业务IP和端口。
//增加Kerberos认证所需的plugin到列表中，安全模式必选 setSecurityConf(conf,AuthenticationType.KEYTAB); Config conf = new Config(); //将客户端配置的plugin列表写入config指定项中，安全模式必配
证。可通过设置Kafka服务配置“ssl.mode.enable”为“true”，来启动SSL和SASL_SSL两种协议类型的安全认证。下表是四种协议类型的简单说明： 协议类型 说明 默认端口 PLAINTEXT 支持无认证的明文访问 获取参数“port”的值，默认为9092 SASL_PLAINTEXT
子，避免出现groupByKey().map(x=>(x._1,x._2.size))这类实现方式。 广播map代替数组 当每条记录需要查表，如果是Driver端用广播方式传递的数据，数据结构优先采用set/map而不是Iterator，因为Set/Map的查询速率接近O(1)，而Iterator是O(n)。
子，避免出现groupByKey().map(x=>(x._1,x._2.size))这类实现方式。 广播map代替数组 当每条记录需要查表，如果是Driver端用广播方式传递的数据，数据结构优先采用set/map而不是Iterator，因为Set/Map的查询速率接近O(1)，而Iterator是O(n)。
final KTable<String, Long> counts = source // 处理接收的记录，根据正则表达式REGEX_STRING进行分割 .flatMapValues(value -> Arrays.asList(value
在客户端安装节点下创建文件目录：“/home/data”。将上述文件上传到此“/home/data”目录下。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper
properties Broker实例IP地址：登录FusionInsight Manager，选择“集群 > 服务 > Kafka > 实例”，在实例列表页面中查看并记录任意一个Broker实例业务IP地址。 Kafka连接端口：集群已启用Kerberos认证（安全模式）时Broker端口为“sasl
properties Broker实例IP地址：登录FusionInsight Manager，选择“集群 > 服务 > Kafka > 实例”，在实例列表页面中查看并记录任意一个Broker实例业务IP地址。 Kafka连接端口：集群已启用Kerberos认证（安全模式）时Broker端口为“sasl
properties Broker实例IP地址：登录FusionInsight Manager，选择“集群 > 服务 > Kafka > 实例”，在实例列表页面中查看并记录任意一个Broker实例业务IP地址。 Kafka连接端口：集群已启用Kerberos认证（安全模式）时Broker端口为“sasl
可能原因 临时端口不满足当前业务需求。 系统环境异常。 处理步骤 扩大临时端口范围。 登录MRS集群详情页面，选择“告警管理”。 在实时告警列表中，单击此告警。在“告警详情”区域，获取告警所在主机IP地址。 使用PuTTY工具，以omm用户登录告警所在主机。 执行cat /proc/
= ConnectionFactory.createConnection(hbaseConfig); // 获取HBase表 Table table = conn.getTable(TableName.valueOf(tableName));
= ConnectionFactory.createConnection(hbaseConfig); // 获取HBase表 Table table = conn.getTable(TableName.valueOf(tableName));
个数分组，每个分组会单独创建一个文件记录日志，从而避免应用长期运行时形成单个过大日志造成JobHistory无法读取的问题，设置为“0”时表示不分组。 大部分Spark Streaming任务属于小型job，而且产生速度较快，会导致频繁的分组，产生大量日志小文件消耗磁盘I/O。建
待操作集群的名称 > 服务 > Yarn > 配置”，单击“全部配置”，单击“NodeManager > 系统”，在“GC_OPTS”参数中修改配置。 表1 参数说明 参数 描述 默认值 GC_OPTS Yarn NodeManager的GC参数。 128M 父主题： Spark Core
properties Broker实例IP地址：登录FusionInsight Manager，选择“集群 > 服务 > Kafka > 实例”，在实例列表页面中查看并记录任意一个Broker实例业务IP地址。 Kafka连接端口：集群已启用Kerberos认证（安全模式）时Broker端口为“sasl
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
