检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
或“-222-333”也能查询到。 按用户查询 对应执行慢SQL的ClickHouse用户。 支持按照用户名的部分值进行模糊查询。 按客户端IP查询 对应慢查询SQL语句的客户端IP。 支持按照客户端IP的部分值进行模糊查询，例如，客户端IP为“192.168.0.1”，则输入“192
加载CarbonData表数据 操作场景 CarbonData table创建成功后，可使用LOAD DATA命令在表中加载数据，并可供查询。 触发数据加载后，数据以CarbonData格式进行编码，并将多维列式存储格式文件压缩后复制到存储CarbonData文件的HDFS路径下供快速分析查询使用。
当监控目录下的条目数超过系统阈值的90%触发该告警，但不影响对该目录继续增加条目。一旦超过系统最大阈值，继续增加条目会失败。 可能原因 监控目录的条目数超过系统阈值的90%。 处理步骤 检查系统中是否有不需要的文件。 以root用户登录HDFS客户端，用户密码为安装前用户自定义，请咨询系统管理员
------------------------------------------- 回答 该应用程序中使用了DStream中的print算子来显示结果，该算子会调用RDD中的take算子来实现底层的计算。 Take算子会以Partition为单位多次触发计算。 在该问题中，由于Shuffle操作，导致take算子
00）时，新的任务将无法添加，将会影响用户的大数据任务提交。 在JobServer任务队列中的任务数达到队列最大值之前，JobServer队列中任务的提交速度将会恶化，如：用户已添加任务提交到Yarn组件的时间会变长，可能达到小时级别；用户新添加任务提交到Yarn组件的时间变长，可能达到小时级别。
------------------------------------------- 解答 该应用程序中使用了DStream中的print算子来显示结果，该算子会调用RDD中的take算子来实现底层的计算。 Take算子会以Partition为单位多次触发计算。 在该问题中，由于Shuffle操作，导致take算子
Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 导致某个场景下任务持续执行失败。 可能原因 可能存在某个BE的异常点导致任务触发场景下失败任务增长。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。 登录FusionInsight Manager，选择“运维 >
对于HDD盘，满足以下任意条件时触发告警： 系统每3秒执行一次iostat命令，在30秒内连续10周期svctm值超过1000ms。 系统每3秒执行一次iostat命令，在300秒内有超过60%的IO超过150ms。 对于SSD盘，满足以下任意条件时触发告警： 系统每3秒执行一次io
手动立即执行TTL 命令功能 TTL会根据ttl_configuration命令的配置周期去执行，如果想TTL立即生效，可以手动触发TTL。 命令格式 call ttl_policy_run(table => "[table]", path => "[path]", dryRun
业务数据量突然变化，集群触发弹性伸缩。 相关业务结束，需要终止大数据集群等。 用户想要及时得知这些操作是否执行成功，以及当集群出现大数据服务不可用，或节点故障时，用户希望不用频繁登录集群查看，就可以及时地收到告警通知。MRS联合消息通知服务(SMN)，可以将以上信息主动地通知到用户的手机及邮箱，让维护更加省心省力。
相邻2条数据的时间间隔，超过该时间间隔，OVER注册超期触发器，单位毫秒。 -1：不开启该功能。 0：每条数据都会注册超期触发器，但会加大对作业的压力，根据作业的具体情况可以适当调大over.window.interval间隔。 正数：相邻2条数据的时间间隔，超过该时间间隔，OVER注册超期触发器。 over.window
source bigdata_env 执行以下命令，进行用户认证（普通模式跳过此步骤）。 kinit 组件业务用户 执行以下命令，切换到Kafka客户端安装目录。 cd Kafka/kafka 使用“kafka-balancer.sh”进行用户集群均衡，常用命令如下： 使用--run命令执行集群均衡：
题。 运维授权：MRS服务提供运维授权功能，用户在使用MRS集群过程中，发生问题可以在MRS页面发起运维授权，由运维人员帮助用户快速定位问题，用户可以随时收回该授权。 健康检查 MRS为用户提供界面化的系统运行环境自动检查服务，帮助用户实现一键式系统运行健康度巡检和审计，保障系统
服务的可靠性，一旦发生leader切换，可能会导致丢数据。 50% broker上用户连接数使用率 38011 Broker上用户连接数使用率超过设定阈值 当同一个用户连接数太多时，产生告警的用户将无法与Broker建立新的连接。 80% Broker磁盘使用率 38001 Kafka磁盘容量不足
资源计划触发扩容或缩容后，存在10分钟的冷却时间，冷却时间内不会再次触发弹性伸缩。 当启用资源计划时，在除配置资源计划配置时间段的其他时间内，集群Task节点数量会被限定在用户配置的默认节点数量范围内。 自动化脚本： 用户可以设置自定义脚本，当弹性伸缩触发时，在集群节点上自动运行。 用户最多可以为一个集群设置10个自动化脚本。
keep.distinct.expandThreshold 由cube等引起的数据膨胀多少倍时，触发该优化。需要配置一个大于0的数值来启用。例如1024，代表数据膨胀1024倍及以上时，触发该优化。 -1 spark.sql.distinct.aggregator.enabled 是
告警”，选中“ID”为“43029”的告警，查看“定位信息”中的角色名以及确认主机名所在的IP地址，查看“附加信息”确认请求的用户名及队列名称。 重新执行受影响的JDBCServer作业 通过“附加信息”中的用户名和队列名称，选择“集群 > 服务 > Yarn > ResourceManag
行，但一直无法成功运行。 图1 Active Jobs 继续查看已经完成的Job，发现也只有两个，说明Spark Streaming都没有触发数据计算的任务（Spark Streaming默认有两个尝试运行的Job，就是图中两个） 图2 Completed Jobs 回答 经过定
Flink Kafka样例程序（Scala） 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 下面列出producer和consumer主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink
Flink Kafka样例程序（Scala） 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 下面列出producer和consumer主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
