检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0/flume/bin/flume-manage.sh: Permission denied 解决办法 与运行正常的Flume节点进行文件和文件夹权限对比，更改错误文件或文件夹权限。 父主题： 使用Flume
文件系统，文件系统的写入吞吐率和用于数据复制的网络带宽，可能就是潜在的瓶颈了。在此情况下，需要创建更多的Recevier增加数据接收的并行度，或使用更好的硬件以增加容错文件系统的吞吐率。 恢复流程 当一个失败的Driver重启时，按如下流程启动： 图6 计算恢复流程 恢复计算（橙色箭头）
列单击“运行”，即可开始HBase数据迁移。 迁移完成后，可以在目的端集群和源端集群的HBase Shell命令行中，通过同样的查询语句，对比查询结果进行验证。 例如： 在目的端集群和源端集群上通过查询BTable表的记录数来确认数据条数是否一致，可添加“--endtime”参数
UndeclaredThrowableException); (state=,code=0) 原因分析 查看MetaStore日志。 查看HDFS日志。 权限对比（test001为异常用户创建表，test002为正常用户创建表）。 drop表时报类似下面的错。 dataplan_modela_csbch2;
息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。 Kafka结构
体对接指导请参见MRS服务如何对接云日志服务。 同时FusionInsight Manager支持在线检索并显示组件的日志内容，用于问题定位等其他日志查看场景，详细操作指导请参见在线检索日志。FusionInsight Manager支持批量导出各个服务角色所有实例生成的日志，无
查看MRS作业详情和日志 用户通过管理控制台可在线查看当前MRS集群内所有作业的状态详情，以及作业的详细配置信息和运行日志信息。 由于Spark SQL和Distcp作业在后台无日志，因此运行中的Spark SQL和Distcp作业不能在线查看运行日志信息。 查看作业状态 登录MRS管理控制台。
根据实际填写 write.precombine.field 必填 数据合并字段。 根据实际填写 write.tasks 选填 写Hudi表task并行度，默认值为4。 4 index.bootstrap.enabled 选填 Flink采用的是内存索引，需要将数据的主键缓存到内存中，保证目标
少或不变。 是，手动清除告警，操作结束。 否，执行7。 查看当前用户实时的连接个数和使用率对比历史数据是否有明显的异常增长，已经达到设定的最大连接数。 是，执行8。 否，执行9。 如果对比历史数据发现该用户的连接有明显的增加，甚至达到了设定的最大连接数，那么该用户的连接可能存在异常，需要和业务方进行确认。
可使用）登录Manager管理集群。也可以在开启Kerberos认证的集群中，通过界面方式提交作业。 IAM用户权限策略及同步MRS后权限对比请参考表1，Manager对应默认权限说明请参考MRS集群默认权限信息说明。 表1 IAM权限策略与MRS权限同步映射 策略类别 IAM策略
HetuEngine支持配置IoTDB数据源。 Hudi 升级到0.11.0版本。 IoTDB 新增组件，一体化收集、存储、管理与分析物联网时序数据的服务。 集群管理 支持补丁在线推送及更新。 组件版本信息 表1 MRS组件版本信息 组件 版本 CarbonData 2.2.0 ClickHouse 22.3.2.2
SDK概述 本文介绍了MRS服务提供的SDK语言版本，列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能，降低您使用SDK的难度，推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码，如图1所示。
操作场景 数据比对即是对源端数据库中的数据和目标端Hive中的数据作数据一致性校验，如果数据不一致，CDL可以尝试修复不一致的数据。 当前数据对比任务支持手动全量任务比对。数据比对任务采用On Yarn的运行形态，比对结果会上传到HDFS目录。 数据比对目前仅支持基本数据类型比对，
SQL语句和SQL脚本文件查询和分析数据，包括SQL语句和Script脚本两种形式，如果SQL语句中涉及敏感信息，也可使用脚本文件方式提交。 用户可以在MRS管理控制台在线创建一个作业并提交运行，也可以通过MRS集群客户端来以命令行形式提交作业。 前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。
SparkSql作业用于查询和分析数据，包括SQL语句和Script脚本两种形式，如果SQL语句涉及敏感信息，也可使用脚本文件方式提交。 用户可以在MRS管理控制台在线创建一个作业并提交运行，也可以通过MRS集群客户端来以命令行形式提交作业。 操作视频 本视频以在MRS集群的管理控制台上提交并查看SparkSql作业为例进行说明。
作业。 MapReduce作业用于提交Hadoop jar程序快速并行处理大量数据，是一种分布式数据处理模式。 用户可以在MRS管理控制台在线创建一个作业并提交运行，也可以通过MRS集群客户端来以命令行形式提交作业。 前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。
MRS的Manager界面提供集群级别的监控能力，帮助用户监控集群中大数据组件和节点的健康状态，同时提供告警通知能力，用户可以实时掌握MRS集群的各项指标、健康度。 MRS支持将集群中所有部署角色的节点，按管理节点、控制节点和数据节点进行分类，分别计算关键主机监控指标在每类节点上的变化趋势，并在报表中
xml”中配置的文件、目录以及目录下的文件和子目录也会被监控，文件要求omm用户具有可读写权限，目录要求omm用户具有可读和可执行权限。 对比当前主机上该文件的真实权限和5中获取到的文件应有权限，对该文件进行正确的权限和用户，用户组信息的修改。 等待一个小时，进入下一次检查，查看告警是否恢复。
HetuEngine数据类型隐式转换 开启HetuEngine数据类型隐式转换 关闭HetuEngine数据类型隐式转换 HetuEngine隐式转换对照表 父主题： HetuEngine常见SQL语法说明
每个磁盘分区的使用情况。 实例列表区 实例列表区显示了该主机所有安装的角色实例，并显示每个角色实例的状态，单击角色实例名称后的日志文件，可在线查看该实例对应日志文件内容。 告警和事件的历史记录 告警和事件的历史记录区显示了当前主机上报的关键告警与事件记录，系统最多可显示20条历史记录。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
