检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
splitRatio”的错误。 这个问题的原因是“distcp.dynamic.max.chunks.tolerable”的值（默认值为20000）小于“distcp.dynamic.split.ratio”的值（默认为2）乘以Map数。即一般出现在Map数超过10000的情况。可以通过-m参数降低Map数小于10000：
大部分Spark Streaming任务属于小型job，而且产生速度较快，会导致频繁的分组，产生大量日志小文件消耗磁盘I/O。建议增大此值，例如改为“1000”或更大值。 父主题： 使用Spark/Spark2x
如果业务需要保证高可用和高性能。 在服务端配置如表1中参数，参数配置入口请参考修改集群服务配置参数。 表1 服务端高可用性和高性能参数说明 参数 默认值 说明 unclean.leader.election.enable true 是否允许不在ISR中的副本被选举为Leader，若设置为true，可能会造成数据丢失。
pool中可用资源的属性，该属性的值以数字表示。 total_resource object 该resource pool所有资源。 vcores, memory, .. int 可消耗数值型资源属性，当前resource pool中总资源的属性，该属性的值以数字表示。 configuration
pool中可用资源的属性，该属性的值以数字表示。 total_resource object 该resource pool所有资源。 vcores, memory, .. int 可消耗数值型资源属性，当前resource pool中总资源的属性，该属性的值以数字表示。 configuration
Superior调度器支持队列层级，在同集群集成开源调度器的特性，并基于可配置策略进一步共享资源。针对实例，MRS集群管理员可通过Superior调度器为队列同时配置绝对值或百分比的资源策略计划。Superior调度器的资源共享策略将YARN的标签调度增强为资源池特性，YARN集群中的节点可根据容量或业务类型不同，进行分组以使队列更有效地利用资源。
如果业务需要保证高可用和高性能。 参考修改集群服务配置参数进入Kafka服务全部配置页面，在服务端配置如表1中参数。 表1 服务端高可用性和高性能参数说明 参数 默认值 说明 unclean.leader.election.enable true 是否允许不在ISR中的副本被选举为Leader，如果设置为true，可能会造成数据丢失。
Kafka连接端口：集群已启用Kerberos认证（安全模式）时Broker端口为“sasl.port”参数的值。集群未启用Kerberos认证（普通模式）时Broker端口为“port”的值。 重新打开一个客户端连接窗口，执行以下命令，使用“kafka-console-consumer.s
Kafka连接端口：集群已启用Kerberos认证（安全模式）时Broker端口为“sasl.port”参数的值。集群未启用Kerberos认证（普通模式）时Broker端口为“port”的值。 重新打开一个客户端连接窗口，执行以下命令，使用“kafka-console-consumer.s
登录Manager页面选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”，修改参数“SSL_NONESSL_BOTH_ENABLE”值为“true”。 参考ClickHouse客户端使用实践使用客户端登录ClickHouse服务实例节点。注意：客户端命令clickhouse
="true">。 其默认值为“true”，表示其中的规则和行为操作是幂等的，可以继续检查下一个规则。如果值为“false”，则将在当前规则处停止评估。 hours_allowed属性：配置是否根据系统时间执行策略评估。 hours_allowed的值是以逗号分隔的数字，范围从0到23，表示系统时间。
联系MRS集群管理员，增大系统文件句柄数。 执行cat /proc/sys/fs/file-nr查看已使用句柄数和最大句柄数。第一个值为已使用句柄数，第三个值为最大句柄数，计算使用率是否超过设定阈值。 # cat /proc/sys/fs/file-nr 12704 0 640000 是，执行9。
MRS集群节点类型包括Master节点、Core节点和Task节点。 Master节点：集群中的管理节点。分布式系统的Master进程和Manager以及数据库均部署在该节点；该类型节点不可扩容。该类型节点的处理能力决定了整个集群的管理上限，MRS服务支持将Master节点规格提高，以支持更大集群的管理。
adoop/etc/hadoop/”）配置如下参数。 表1 参数描述 参数 描述 默认值 io.compression.codecs 为了使LZC压缩格式生效，在现有的压缩格式列表中增加如下值： “com.huawei.hadoop.datasight.io.compress.lzc
adoop/etc/hadoop/”）配置如下参数。 表1 参数描述 参数 描述 默认值 io.compression.codecs 为了使LZC压缩格式生效，在现有的压缩格式列表中增加如下值： “com.huawei.hadoop.datasight.io.compress.lzc
编译并调测Flink应用 操作场景 在程序代码完成开发后，建议您上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是一样的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行，只支持在Linux环境下运行。
查看Kafka Topic信息 操作场景 用户可以在Manager或KafkaUI上查看Kafka已创建的主题信息。 在Manager查看Kafka Topic信息 进入Kafka服务页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Kafka”。
如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “服务器共享路径”：填写用户
splitRatio”的错误。 这个问题的原因是“distcp.dynamic.max.chunks.tolerable”的值（默认值为20000）小于“distcp.dynamic.split.ratio”的值（默认为2）乘以Map数。即一般出现在Map数超过10000的情况。可以通过-m参数降低Map数小于10000：
大部分Spark Streaming任务属于小型job，而且产生速度较快，会导致频繁的分组，产生大量日志小文件消耗磁盘I/O。建议增大此值，例如改为“1000”或更大值。 父主题： 使用Spark2x（MRS 3.x及之后版本）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
