检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
扩容集群 功能介绍 对MRS集群进行扩容。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/expand 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释:
java样例运行获取元数据失败如何处理 解决步骤 检查工程conf目录下“client.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确。 如果IP与Kafka集群部署的业务IP不一致,那么需要修改为当前集群正确的IP地址。 如果配置中的端口为210
name hadoop.系统域名.com 10.96.101.32:21007:kafka服务器的IP和端口。 系统域名:用户可登录FusionInsight Manager,单击“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 SSL加密配置 服务端配置。
页面,查看或配置参数。 协议类型 说明 默认端口 PLAINTEXT 支持无认证的明文访问。 获取参数“port”的值,默认为9092。 SASL_PLAINTEXT 支持Kerberos认证的明文访问。 获取参数“sasl.port”的值,默认为21007。 SSL 支持无认证的SSL加密访问。
说明 示例 server.url Loader服务的浮动IP地址和端口。端口默认为21351。 为了兼容性,此处支持配置多个IP地址和端口,并以“,”进行分隔。其中第一个必须是Loader服务的浮动IP地址和端口,其余的可根据业务需求配置。 10.96.26.111:21351,127
principal=spark2x/hadoop.<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;" 其中“<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>
ALM-23005 Loader非堆内存使用率超过阈值 告警解释 系统每30秒周期性检测Loader服务非堆内存使用状态,当连续5次检测到Loader实例非堆内存使用率超出阈值(最大内存的80%)时产生该告警。非堆内存使用率小于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除
16:35:27,099 | INFO | Socket Reader #1 for port 8032 | Auth successful for mapred/hadoop.<系统域名>@<系统域名> (auth:KERBEROS) | Server.java:1388 2016-07-21
缩容集群 功能介绍 对MRS集群进行缩容。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/shrink 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释:
16:35:27,099 | INFO | Socket Reader #1 for port 8032 | Auth successful for mapred/hadoop.<系统域名>@<系统域名> (auth:KERBEROS) | Server.java:1388 2016-07-21
16:35:27,099 | INFO | Socket Reader #1 for port xxx | Auth successful for mapred/hadoop.<系统域名>@<系统域名> (auth:KERBEROS) | Server.java:1388 2021-07-21
在Windows通过已配置的Broker节点EIP地址和端口连接到Kafka集群并调试代码。 运行样例代码前,修改样例代码中Kafka的连接串为hostname1:9092, hostname2:9092, hostname3:9092;修改代码中的域名。 用户可登录FusionInsight Manager,选择“系统
在Windows通过已配置的Broker节点EIP地址和端口连接到Kafka集群并调试代码。 运行样例代码前,修改样例代码中Kafka的连接串为hostname1:9092, hostname2:9092, hostname3:9092;修改代码中的域名。 用户可登录FusionInsight Manager,选择“系统
使用sqoop-shell工具导入数据到HDFS 操作场景 本文将以从SFTP服务器导入数据到HDFS的作业为例,介绍如何分别在交互模式和批量模式下使用sqoop-shell工具进行创建和启动Loader作业。 前提条件 已安装并配置Loader客户端,具体操作请参见使用客户端运行Loader作业。
'test_sink', 'properties.bootstrap.servers' = 'Kafka的Broker实例业务IP:Kafka端口号', 'scan.startup.mode' = 'latest-offset', 'value.format' = 'csv'
配置MRS集群监控指标数据转储 监控指标数据转储介绍 监控数据上报功能可以将系统中采集到的监控数据写入到文本文件,并以FTP或SFTP的形式上传到指定的服务器中。用户可以在Manager界面上配置监控指标数据对接参数,使集群内各监控指标数据保存到指定的FTP服务器,与第三方系统进行对接。
性能更优。 deserializer.maxLineLength 2048 按行解析最大长度。0到 2,147,483,647。 deserializer.maxBatchLine 1 按行解析最多行数,如果行数设置为多行,“maxLineLength”也应该设置为相应的倍数。
“doris/hadoop.${系统域名转换为小写}@${系统域名}”,系统域名可登录Manager页面,选择“系统 > 权限 > 域和互信”,查看“本端域”参数获取。Hive与Doris非同集群部署时要使用Hive用户@Hive集群的系统域名,如hive/hadoop.hadoop
性能更优。 deserializer.maxLineLength 2048 按行解析最大长度。0到 2,147,483,647。 deserializer.maxBatchLine 1 按行解析最多行数,如果行数设置为多行,“maxLineLength”也应该设置为相应的倍数。
'密码' --port ClickHouse的端口号 --multiline 安全模式: clickhouse client --host ClickHouse的实例IP --user 登录名 --password '密码'--port ClickHouse的端口号 --secure