检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
modify.acls.groups”、“spark.ui.view.acls”和“spark.ui.view.acls.groups”参数修改后需要重新下载客户端。 父主题： Spark用户权限管理
anager.java:314) ... 12 more 原因分析 业务量大导致连接HiveServer单个节点最大连接数超过了200，需要调大连接HiveServer实例的最大连接数。 解决办法 进入Hive服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理
tasks”或者“Job > Reduce tasks”，查看每个Map或者每个Reduce任务的执行时间是否相差很大，如果相差很大，说明任务数据发生了倾斜，需要对任务数据进行均衡。 按照如上原因进行处理后，重新执行任务，观察本告警是否还出现。 是，执行10。 否，处理完毕。 收集故障信息 在FusionInsight
WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别，请执行如下操作： 登录FusionInsight Manager系统。 选择“集群 > 服务 > JobGateway > 配置”。
JOIN时小表为右表。 Flink作业大小表Join去重 在双流关联的业务模型中，关联算子接收到其中一个流发送的大量重复数据，则会导致下游算子需要处理大量重复数据，影响作业性能。 如A表字段（P1，A1，A2）使用如下方式关联B表字段（P1，B1，B2，B3）生成C的场景中，B表信息
复。这里主要介绍Yarn模式下的HA方案。 Flink支持HA模式和Job的异常恢复。这两项功能高度依赖ZooKeeper，在使用之前用户需要在“flink-conf.yaml”配置文件中配置ZooKeeper，配置ZooKeeper的参数如下： high-availability:
文件输出：将已生成的字段通过分隔符连接并输出到文件。 HBase输出：将已生成的字段输出到HBase表。 字段简介 作业配置中的字段是Loader按业务需要定义的与用户数据对应的一种数据项，它拥有具体类型，必须与用户实际数据类型保持一致。 父主题： 算子帮助
reduceByKey(_+_).collect() spark-submit 用于提交Spark应用到MRS集群中运行，并返回运行结果。需要指定class、master、jar包以及入参。 示例：执行jar包中的GroupByTest例子，入参为4个，指定集群运行模式是yarn-client。
java”文件中的“CONCURRENCY_THREAD_NUM”参数值调整消费者线程数量。 如果要使用多线程消费Kafka集群数据的话，请确保消费的主题分区数大于1。 需要将Kafka客户端配置文件“client.properties”和“log4j.properties”文件放置在程序运行的配置文件目录下。
--zookeeper 192.168.234.231:2181 解决办法 保证Kafka服务处于正常状态。 创建命令中ZooKeeper地址信息需要添加/kafka。 [root@10-10-144-2 client]# kafka-topics.sh --create --replication-factor
WebUI的“Summary”区域，查看“DataNodes usages”中“Max”的值是否比“Median”的值大10%。 是，执行8。 否，执行11。 数据倾斜，需要均衡集群中的数据。以root用户登录MRS客户端，用户密码为安装前用户自定义，请咨询系统管理员。如果集群为普通模式，执行su - omm切
文件输出：将已生成的字段通过分隔符连接并输出到文件。 HBase输出：将已生成的字段输出到HBase表。 字段简介 作业配置中的字段是Loader按业务需要定义的与用户数据对应的一种数据项，它拥有具体类型，必须与用户实际数据类型保持一致。 父主题： Loader算子帮助
WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别，请执行如下操作： 参考修改集群服务配置参数进入Hue服务“全部配置”页面。 在左侧导航栏选择需修改的角色所对应的“日志”菜单。
次命令。 在SQL前加explain (analyze,verbose,timing,costs,buffers)分析执行计划，发现执行时需要全表扫描。 查看索引，发现不满足最左匹配原则。 处理步骤 重建索引。 su - omm gsql -p 20051 -U omm -W password
Broker上分区分布不均衡示例 是，执行13。 否，执行11。 单击最右侧分区不均衡的条柱，查看是否包含5中获取的当前告警上报的节点，如果包含则需要执行数据均衡。 等待5分钟，查看告警是否自动清除。 是，操作结束。 否，执行13。 收集故障信息。 在FusionInsight Manager界面，选择“运维
t_range |cut -f 2命令，获得结束端口值，相减得到临时端口总数，若临时端口总数小于28232，说明操作系统随机端口范围太小，需要联系操作系统管理员扩大端口范围。 执行命令ss -ant 2>/dev/null | grep -v LISTEN | awk 'NR >
规则匹配表达式首尾的空格，不会参与匹配计算。 partition_spec 一个可选参数，使用键值对来指定分区列表，键值对之间通过逗号分隔。需要注意，指定分区时，表名不支持模糊匹配。 示例 -- 演示数据准备 create schema show_schema; use show_schema;
information information表示记录系统及各事件正常运行状态信息。 debug debug表示记录系统及系统的调试信息。 如果您需要修改日志级别，请执行如下操作： 登录FusionInsight Manager系统。 选择“集群 > 服务 > ClickHouse > 配置”。
UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏，SparkSQL的UDF功能只允许具备admin权限的用户注册，由admin用户保证自定义的函数的安全性。 父主题： Spark应用开发常见问题
UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏，SparkSQL的UDF功能只允许具备admin权限的用户注册，由admin用户保证自定义的函数的安全性。 父主题： Spark应用开发常见问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
