检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
//识别为更新操作可以得到正确结果。 对于如何识别是更新数据有三种方式： 通过状态后端解决 通过状态后端存储所有原始数据，新来的数据根据状态来判断是否是更新操作，进而通过Flink聚合回撤机制实现聚合结果数据的更新。 优点：可以解决聚合准确性问题，而且对用户友好，对数据没有要求。 缺点：大数据量情况下状态后端存储的数据比较多。
sftp-connector连接器相关作业运行失败 问题 使用sftp-connector连接器相关作业运行失败，出现如下类似报错：“获取Sftp通道失败。xxx (原因是: failed to send channel request)”。 SFTP服务出现如下报错：“subsystem
查看进程是否处于D、Z、T状态 登录FusionInsight Manager页面，选择“运维 > 告警 > 告警”，等待约10分钟后，在告警列表中查看该告警是否自动清除。 是，处理完毕。 否，查看该告警详细信息，记录上报告警的主机IP地址。执行2。 以root用户登录产生告警的主机，执行su
在本地Windows中调测HDFS程序 （可选）在开发环境中（例如IntelliJ IDEA中），运行此样例代码需要设置运行用户，设置运行用户有两种方式，添加环境变量HADOOP_USER_NAME或者修改代码。设置环境变量方法具体如下： 选中需要运行的样例程序HdfsExample.java或者ColocationExample
数据比对关联的数据同步任务中的数据库用户需要对当前Schema具有create function权限。 操作步骤 使用已创建的用户或admin用户（未开启Kerberos认证的集群）登录CDLService WebUI界面，请参考登录CDLService WebUI界面。 选择“作业管理
修改副本节点AZ 以客户端安装用户，登录安装客户端的节点。执行以下命令，切换到客户端安装目录。 cd {客户端安装路径} 执行以下命令配置环境变量。 source bigdata_env 执行以下命令进行用户认证（普通模式跳过此步骤）。 kinit 组件业务用户 执行以下命令登录客户端工具。 zkCli
/opt/client 配置环境变量。 source bigdata_env 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 执行以下命令访问Hindex。 hbase org.apache.hadoop.hbase.hindex.mapreduce
ient”。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下，“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。（普通模式不涉及） 如需在集群间拷贝数据，拷贝数据的集群双方都需要启用集群间拷贝数据功能。 操作步骤 登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。
在“Scala SDK files”页面选择scala sdk目录，单击“OK”。 图21 Scala SDK files 设置成功，单击“OK”保存设置。 图22 设置成功 设置IDEA的文本文件编码格式，解决乱码显示问题。 在IDEA首页，选择“File > Settings...”。 图23
Manager首页，选择“运维 > 告警 > 阈值设置 > Spark2x > 内存 > JobHistory2x直接内存使用率统计 (JobHistory2x)”，可查看“阈值”。 重启所有的JobHistory2x实例。 重启实例期间实例不可用，当前实例节点的任务会执行失败。 等待10分钟，观察界面告警是否清除。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 DataNode进程的垃圾回收时间过长，可能影响该DataNode进程正常提供服务，用户无法读写文件。 可能原因 该节点DataNode实例堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。
本章节适用于MRS 3.3.0及之后的版本。 作业健康状态说明 当集群运行大量Flink作业时，为方便用户对每个作业进行健康状态评估，FlinkServer WebUI提供Flink作业健康度管理功能，用户可直接在页面查看当前作业的健康情况，并可一键导出所有作业的健康度信息。作业状态分如下情况：
deserializer.maxBatchLine 1 按行解析最多行数，如果行数设置为多行，“maxLineLength”也应该设置为相应的倍数。例如maxBatchLine设置为2，“maxLineLength”相应的设置为2048*2为4096。 selector.type replicating
Manager首页，选择“运维 > 告警 > 阈值设置 > Spark2x > 内存 > JDBCServer2x非堆内存使用率统计（JDBCServer2x）”，可查看“阈值”。 重启所有的JDBCServer2x实例。 重启实例期间实例不可用，当前实例节点的任务会执行失败。 等待10分钟，观察界面告警是否清除。
FangBo 数据规划 Spark Streaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户）。 确保集群安装完成，包括HDFS、Yarn、Spark和Kafka。 本地新建文件“input_data1.txt”，将“log1.t
超过阈值 > 定位信息”。查看告警上报的实例的IP地址。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > MapReduce > 实例 > JobHistoryServer（对应上报告警实例IP地址）”，单击图表区域右上角的下拉菜单，选择“定制
Manager首页，选择“运维 > 告警 > 阈值设置 > Spark2x > 内存 > IndexServer2x堆内存使用率统计 (IndexServer2x)”，可查看“阈值”。 重启所有的IndexServer2x实例。 重启实例期间实例不可用，当前实例节点的任务会执行失败。 等待10分钟，观察界面告警是否清除。
Manager首页，选择“运维 > 告警 > 阈值设置 > Spark2x > 内存 > IndexServer2x直接内存使用率统计 (IndexServer2x)”，可查看“阈值”。 重启所有的IndexServer2x实例。 重启实例期间实例不可用，当前实例节点的任务会执行失败。 等待10分钟，观察界面告警是否清除。
产生告警的Flume Agent实例无法提供正常功能，定义在该实例下的数据传输任务暂时中断，对于实时数据传输，会丢失实时数据。 可能原因 JAVA_HOME目录不存在或JAVA权限异常。 Flume Agent目录权限异常。 处理步骤 检查Flume Agent配置文件。 登录故障节点IP所在主机，执行以下命令切换root用户。
deserializer.maxBatchLine 1 按行解析最多行数，如果行数设置为多行，“maxLineLength”也应该设置为相应的倍数。例如maxBatchLine设置为2，“maxLineLength”相应的设置为2048*2为4096。 selector.type replicating
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
