检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
输出字段名:配置输出字段名。 小写/大写:指定进行大写转换或小写转换。 map 是 无 数据处理规则 对字符串值做大小写转换。 传入数据为NULL值,不做转换处理。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下: abcd,product FusionInsight
配置分割后字段列数,大于原始数据实际可分割出来的字段列数,当前行成为脏数据。 样例 通过“CSV文件输入”算子,生成一个字段A。 源文件如下: 配置“分隔转换”算子,“分隔符”为空格,生成三个字段B、C和D: 转换后,依次输出A、B、C和D,结果如下: 父主题: Loader转换类算子
ntainer启动/停止等各种请求。 Container Container是YARN中的资源抽象,它封装了某个节点上的多维度资源,如内存、CPU、磁盘、网络等,当AM向RM申请资源时,RM为AM返回的资源便是用Container表示的。 父主题: YARN开发指南(安全模式)
ntainer启动/停止等各种请求。 Container Container是YARN中的资源抽象,它封装了某个节点上的多维度资源,如内存、CPU、磁盘、网络等,当AM向RM申请资源时,RM为AM返回的资源便是用Container表示的。 父主题: YARN开发指南(普通模式)
ntainer启动/停止等各种请求。 Container Container是YARN中的资源抽象,它封装了某个节点上的多维度资源,如内存、CPU、磁盘、网络等,当AM向RM申请资源时,RM为AM返回的资源便是用Container表示的。 父主题: YARN开发指南(普通模式)
磁盘空间所占比率和阈值(默认为90%)相比较。当检测到总副本预留磁盘空间所占比率连续多次(平滑次数)高于阈值时,产生该告警。 如果平滑次数为1,总副本预留磁盘空间所占比率小于或等于阈值时,告警恢复;如果平滑次数大于1,总副本预留磁盘空间所占比率小于或等于阈值的90%时,告警恢复。
执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行的用户所属的用户组必须为supergroup组,且执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 增大客户端
执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行的用户所属的用户组必须为supergroup组,且执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 增大客户端
rbonData Table,用于加载数据和执行查询操作。 加载数据到CarbonData表 用户从HDFS中的CSV文件加载数据到所创建的表中。 在CarbonData中查询数据 在CarbonData表加载数据之后,用户可以执行所需的查询操作,例如groupby或者where等。
EulerOS 2.8 CentOS CentOS-7.6版本(CentOS 7.6) 同时为弹性云服务分配足够的磁盘空间,例如“40GB”。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器操作
若未同步,可在集群Manager页面观察到存在未启动角色。 处理扩容后状态异常的Core节点 场景一:添加节点任务在安装组件前失败 如果MRS集群为按需购买集群: 登录MRS服务控制台。 选择“现有集群” ,单击集群名称进入集群详情页面。 单击页面上面的按钮,在“任务名”列,单击Core节点扩容任务。
处理步骤 检查GC时间。 在FusionInsight Manager首页,单击“运维 > 告警 > 告警”,选中“告警ID”为“45335”的告警,查看“定位信息”中的实例的IP地址及角色名。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务
处理步骤 检查GC时间。 在FusionInsight Manager首页,单击“运维 > 告警 > 告警”,选中“告警ID”为“45336”的告警,查看“定位信息”中的实例的IP地址及角色名。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务
处理步骤 检查GC时间。 在FusionInsight Manager首页,单击“运维 > 告警 > 告警”,选中“告警ID”为“45327”的告警,查看“定位信息”中的实例的IP地址及角色名。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务
处理步骤 检查GC时间。 在FusionInsight Manager首页,单击“运维 > 告警 > 告警”,选中“告警ID”为“45328”的告警,查看“定位信息”中的实例的IP地址及角色名。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务
ntainer启动/停止等各种请求。 Container Container是YARN中的资源抽象,它封装了某个节点上的多维度资源,如内存、CPU、磁盘、网络等,当AM向RM申请资源时,RM为AM返回的资源便是用Container表示的。 父主题: YARN开发指南(安全模式)
细操作请参考使用KafkaUI查看消费信息(MRS 3.1.2及之后版本)。 前提条件 使用Kafka客户端时:已安装客户端,例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 使用KafkaUI时:已创建具有KafkaUI页面访问权
志将无法找回,影响分析排查组件的业务行为。 可能原因 服务审计日志过大。 OMS备份路径存储空间不足。 服务所在某一个主机的存储空间不足。 处理步骤 检查是否服务审计日志过大。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机地址,附加信息内容。
丢失的HDFS块数量超过阈值的处理方法处理,然后等待下个检测周期,检查告警是否清除。 是,结束。 否,执行3。 排查业务中是否写入过的单副本的文件。 是,执行4。 否,执行7。 以root用户登录HDFS客户端,用户密码为安装前用户自定义,请咨询MRS集群管理员。执行如下命令: 安全模式: cd 客户端安装目录
处理步骤 检查GC时间。 在FusionInsight Manager首页,单击“运维 > 告警 > 告警”,选中“告警ID”为“45337”的告警,查看“定位信息”中的实例的IP地址及角色名。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务