检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
所有涉及{MRS补丁版本号}目录名称的操作，均以实际安装的补丁号为准。 例如： cd /opt/Bigdata/patches/MRS_3.3.0-LTS.1.1/client/ 安全集群需要认证对HDFS有权限的用户，普通集群无需执行： kinit {用户} 执行以下命令升级HDFS上的zip包： sh
告警级别 可自动清除 27004 致命 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Local DBService HA Name 本地DBService HA名称。 Peer
t模式的拦截逻辑是在SQL编译阶段完成的，该模式优点是拦截效率高，缺点是查询和写入分区所对应的表相同，分区不同时也会被拦截。 strict模式是按照分区进行拦截的，即对提交的SQL任务判断是否存在查询的分区和写入的分区相同，如果存在就进行拦截，否则不拦截。strict模式的拦截逻
如果集群开启了Kerberos认证，操作的用户还需要具备对应的操作权限。即创建表时需要具备对应的namespace或更高级别的创建（C）或者管理（A）权限，修改表时需要具备已创建的表或者更高级别的创建（C）或者管理（A）权限。具体的授权操作请参考创建HBase权限角色章节。 配置HBase数据压缩格式和编码
如果集群开启了Kerberos认证，操作的用户还需要具备对应的操作权限。即创建表时需要具备对应的namespace或更高级别的创建（C）或者管理（A）权限，修改表时需要具备已创建的表或者更高级别的创建（C）或者管理（A）权限。具体的授权操作请参考创建HBase权限角色章节。 配置HBase数据压缩格式和编码
上述打包命令中的{maven_setting_path}为本地Maven的settings.xml文件路径。 打包成功之后，在工程根目录的“target”子目录下获取打好的jar包，例如“MRTest-XXX.jar”，jar包名称以实际打包结果为准。 上传生成的应用包“MRTest-XXX
t”。 客户端机器的时间与集群的时间要保持一致，时间差小于5分钟。 确保Flink客户端的“flink-conf.yaml”配置文件中的认证相关配置项已经配置正确，请参考准备Flink安全认证。 安全模式下需要将客户端安装节点的业务IP地址以及Manager的浮动IP地址追加到“flink-conf
GuoYijun,male,5 Map阶段 获取输入数据的一行并提取姓名信息。 查询HBase一条数据。 查询Hive一条数据。 将HBase查询结果与Hive查询结果进行拼接作为Map输出。 Reduce阶段 获取Map输出中的最后一条数据。 将数据输出到HBase。 将数据保存到HDFS。
sh查看当前消费情况。 查看Offset保存在Kafka上的Consumer Group列表： ./kafka-consumer-groups.sh --list --bootstrap-server <Broker的任意一个节点的业务IP:Kafka集群IP端口号> --command-config
默认配置为true，表示只向其中的一个副本写入数据（副本间通过复制表来完成同步，能保证数据的一致性）。 如果配置为false（不建议配置），表示向该分片的所有副本中写入相同的数据（副本间数据一致性不强，无法保证完全同步）。 macros标签 当前实例节点所在的分片和副本编号，可以用于区别不同的副本。 例
Doris审计日志表功能支持将FE的审计日志定期通过Stream Load导入到指定的Doris表中，方便用户直接通过执行SQL语句对审计日志进行查看和分析，无需再通过查看FE的审计日志文件去统计并分析业务量、业务类型等。Doris审计日志表功能默认是关闭的，可通过参数“enable_
folder_path 原始CSV数据文件夹或者文件的路径。 db_name Database名称。若未指定，则使用当前database。 table_name 所提供的database中的表的名称。 注意事项 以下是可以在加载数据时使用的配置选项： DELIMITER：可以在加载命令中提供分隔符和引号字符。默认值为
properties中的group.id与命令中--group的参数均配置为待查询的group。 Kafka集群IP端口号安全模式下是21007，普通模式下是9092。 使用KafkaUI查看当前消费情况 进入KafkaUI界面。 使用具有KafkaUI页面访问权限的用户登录FusionInsight
围的上限。 约束与限制 在大数据应用，尤其是实时分析处理数据的场景中，常常需要根据数据量的变化动态调整集群节点数量以增减资源。MRS的弹性伸缩规则功能支持根据集群负载对集群进行弹性伸缩。 弹性伸缩规则：根据集群实时负载对Task节点数量进行调整，数据量变化后触发扩缩容，有一定的延后性。
检查集群是否有非标修改组件配置的操作 询问客户是否有做过相关操作。 查看该客户档案，是否有记录相关非标操作。 是，需要详细评估补丁跟非标配置的兼容性。 否，检查结束。 检查集群是否有安装紧急补丁 登录客户集群的主备节点，进入“/home/omm”目录。 查看是否存在紧急补丁的目录，例如MRSxxx或者xxxpatch。
写时复制表也简称cow表，使用parquet文件存储数据，内部的更新操作需要通过重写原始parquet文件完成。 优点：读取时，只读取对应分区的一个数据文件即可，较为高效。 缺点：数据写入的时候，需要复制一个先前的副本再在其基础上生成新的数据文件，这个过程比较耗时。且由于耗时，读请求读取到的数据相对就会滞后。 Merge
'/tmp/export';命令导入表会将导出的表导入到指定的表中，需注意以下两点： 如果目标集群上不存在与指定的表名相同的表，在导入表的过程中会创建该表。 如果目标集群上已存在与指定的表名相同的表，该表对应的HDFS目录下必须为空，否则导入失败。 “haclusterX”为新增的自定义参数“dfs.namenode
数据源所在集群与HetuEngine集群节点网络互通。 在HetuEngine所在集群的所有节点的“/etc/hosts”文件中，添加待对接数据源所在集群的主机名称和对应的IP映射，及其“/etc/hosts”文件中的“10.10.10.10 hadoop.系统域名”（如“10.10.10.10
当前路径下不存在“huawei”目录。 执行图1中的命令创建以“huawei”为名的目录。其中，用1中查找到的主机名或IP和端口分别替代命令中的<HOST>和<PORT>，在<PATH>中输入想要创建的目录“huawei”。 用主机名或IP代替<HOST>都是可以的，要注意HTTP和HTTPS的端口不同。 执行下列命令访问HTTP：
成集群的扩缩容，避免出现增加或减少资源的延后。 弹性伸缩规则与资源计划均可触发弹性伸缩，两者既可同时配置也可单独配置。资源计划与基于负载的弹性伸缩规则叠加使用可以使得集群节点的弹性更好，足以应对偶尔超出预期的数据峰值出现。 当某些业务场景要求在集群扩缩容之后，根据节点数量的变化对
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
