检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive在执行join操作，数据量小时会生成MapJoin，执行MapJoin时会生成localtask任务，localtask启动的jvm内存继承了父进程的内存。 当有多个join执行的时候，启动多个localtask，如果机器内存不够，就会导致启动localtask失败。 解决办法 进入Hive服务配置页面：
MetaStore和cluster2的Hive MetaStore。 不同集群的用户系统没有同步，因此访问跨集群组件时，用户的权限管理由对端集群的用户配置决定。比如cluster1的userA没有访问本集群HBase meta表权限，但是cluster2的userA有访问该集群HBase me
检查备集群HDFS是否有充足的空间，备份文件保存的目录建议使用用户自定义的目录。 备份IoTDB业务数据 在FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。 单击“创建”。 在“任务名称”填写备份任务的名称。 在“备份对象”选择待操作的集群。 在“备份类型”选择备份任务的运行类型。
已创建好集群，并准备pem格式的密钥文件或创建集群时的密码。 用户本地环境可以访问互联网。 登录MRS管理控制台，选择“现有集群”。 单击指定名称的MRS集群。 记录集群的“安全组” 。 为集群Master节点的安全组添加一条需要访问MRS集群的IP地址的入规则，允许指定来源的数据访问端口“22”。
长时间运行的集群会因为曾经删除过大量的文件，或者集群中的节点做磁盘扩容等操作导致节点上出现磁盘间数据不均衡的现象。磁盘间数据不均衡会引起HDFS整体并发读写性能的下降或者因为不恰当的HDFS写策略导致业务故障。此时需要平衡节点磁盘间的数据密度，防止异构的小磁盘成为该节点的性能瓶颈。 本章节适用于MRS 3
ter等环境参数信息中查询到的cluster集群标识符。 default本地表所在的数据库名称。 test为本地表名称。 （可选的）分片键（sharding key） 该键与config.xml中配置的分片权重（weight）一同决定写入分布式表时的路由，即数据最终落到哪个物理表
长时间运行的集群会因为曾经删除过大量的文件，或者集群中的节点做磁盘扩容等操作导致节点上出现磁盘间数据不均衡的现象。磁盘间数据不均衡会引起HDFS整体并发读写性能的下降或者因为不恰当的HDFS写策略导致业务故障。此时需要平衡节点磁盘间的数据密度，防止异构的小磁盘成为该节点的性能瓶颈。 本章节适用于MRS 3
针对“<badlines>”标签中的算符和对应的参数类型如表2所示。 表2 算符和对应的参数类型 算符类型 参数类型 && 对应的参数类型应为布尔型。 & 对应的参数类型应为整数。 | 对应的参数类型应为整数。 ^ 对应的参数类型应为整数。 / 对应的参数类型应为数字。 == 对应的参数类型应为字符串。
针对“<badlines>”标签中的算符和对应的参数类型如表2所示。 表2 算符和对应的参数类型 算符类型 参数类型 && 对应的参数类型应为布尔型。 & 对应的参数类型应为整数。 | 对应的参数类型应为整数。 ^ 对应的参数类型应为整数。 / 对应的参数类型应为数字。 == 对应的参数类型应为字符串。
crt”是“flume_sChat.jks”证书的导出文件，“-f”配置项是证书和证书库的密码； “flume_cChat.jks”是Flume角色客户端的证书库，“flume_cChat.crt”是“flume_cChat.jks”证书的导出文件，“-g”配置项是证书和证书库的密码； “flume_sChatt
其拖到右侧的操作界面中并将其连接。 例如采用Kafka Source、File Channel和HDFS Sink，如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink，根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties
创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取关系型数据库使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。
创建或获取该任务中创建Loader作业的业务用户和密码。 ClickHouse表已创建，确保用户已授权访问作业执行时操作该表的权限。 获取MySQL数据库使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。
GuoYijun,male,5 Map阶段 获取输入数据的一行并提取姓名信息。 查询HBase一条数据。 查询Hive一条数据。 将HBase查询结果与Hive查询结果进行拼接作为Map输出。 Reduce阶段 获取Map输出中的最后一条数据。 将数据输出到HBase。 将数据保存到HDFS。
其拖到右侧的操作界面中并将其连接。 例如采用Kafka Source、File Channel和HDFS Sink，如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink，根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties
是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 该节点的时间与集群其他节点的时间不同步，可能会导致该节点上的某些FusionInsight应用无法正常运行。如
定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 Threshold 产生告警的阈值。 对系统的影响 RegionServer RPC读队列数超过阈值，请求队列堆积会导致读取请求的响应时间增加，对于时
创建或获取该任务中创建Loader作业的业务用户和密码。 ClickHouse表已创建，确保用户已授权访问作业执行时操作该表的权限。 获取MySQL数据库使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。
创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取关系型数据库使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。
Flume配置工具示例 双击对应的source、channel以及sink，根据实际环境并参考表1设置对应的配置参数。 如果对应的Flume角色之前已经配置过服务端参数，为保证与之前的配置保持一致，在FusionInsight Manager界面选择“集群 > 待操作集群的名称 > 服务 > Flume
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
