检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取运行中Spark应用的Container日志 运行中Spark应用的Container日志分散在多个节点中,本章节用于说明如何快速获取Container日志。 场景说明 可以通过yarn logs命令获取运行在Yarn上的应用的日志,针对不同的场景,可以使用以下命令获取需要的日志:
扩容集群 功能介绍 对MRS集群进行扩容。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/expand 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释:
转义字符以反斜线"\"开头,后跟一个或几个字符。如果输入记录包含类似\t,\b,\n,\r,\f,\',\",\\的转义字符,Java将把转义符'\'和它后面的字符一起处理得到转义后的值。 例如:如果CSV数据类似“2010\\10,test”,将这两列插入“String,int”类型时,因为“test”无法
通过典型场景,用户可以快速学习和掌握Storm拓扑的构造和Spout/Bolt开发过程。 场景说明 一个动态单词统计系统,数据源为持续生产随机文本的逻辑单元,业务处理流程如下: 数据源持续不断地发送随机文本给文本拆分逻辑,如“apple orange apple”。 单词拆分逻辑将数据源发送的每条文本按
转义字符以反斜线"\"开头,后跟一个或几个字符。如果输入记录包含类似\t,\b,\n,\r,\f,\',\",\\的转义字符,Java将把转义符'\'和它后面的字符一起处理得到转义后的值。 例如:如果CSV数据类似“2010\\10,test”,将这两列插入“String,int”类型时,因为“test”无法
broker scanner exceed limit:xxx 原因分析 BE处理的单个导入任务的最大数据量为3GB,超过该值的待导入文件需要通过调整Broker Load的导入参数来实现大文件的导入。 处理步骤 根据当前BE实例的个数和待导入文件的大小修改单个BE的任务的最大扫描量和最大并发数。操作如下:
表。 Flink写ClickHouse不支持删除操作 由于不支持删除操作,Flink无法对ClickHouse的数据进行回撤。在Flink处理更新数据的时候产生的回撤流就无法在ClickHouse中执行,导致数据结果不对。 同时通过Flink CDC对接上游数据库写ClickHo
为特定的集群添加一个tag。 一个集群上最多有20个标签,此接口为幂等接口。添加标签时,如果创建的标签已经存在(key相同),则覆盖。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters/{cluster_id}/tags 表1 路径参数
查询指定集群的标签 功能介绍 查询指定集群的标签信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/tags 表1 路径参数 参数 是否必选 参数类型 描述 cluster_id
指定用户、用户组取消同步 功能介绍 指定用户、用户组取消同步 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/clusters/{cluster_id}/iam-sync-user 表1 路径参数 参数 是否必选 参数类型 描述 project_id
查看HBase慢请求和超大请求信息 操作场景 该章节主要介绍如何在HBase Shell命令行查询慢请求或超大请求信息。慢请求是指通过hbase shell命令查询服务端时,RPC请求响应时长超过阈值(即HBase服务端配置参数“hbase.ipc.warn.response.t
replica.fetch.max.bytes进行检索,发现replica.fetch.max.bytes小于message.max.bytes。 解决办法 登录Manager界面,进入Kafka配置页面。 MRS 3.x之前的版本:登录MRS Manager,选择“服务管理 > Kafka
KafkaManager介绍 KafkaManager是Apache Kafka的管理工具,提供Kafka集群界面化的Metric监控和集群管理。 通过KafkaManager可以: 支持管理多个Kafka集群 支持界面检查集群状态(主题,消费者,偏移量,分区,副本,节点) 支持界面执行副本的leader选举
前提条件 如果需要从远端HDFS恢复数据,需要准备备集群,且已完成数据备份,详细操作请参见备份DBService元数据。如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置MRS集群间互信。如果主集群部署为普通模式,则不需要配置互信。
速随机查找和有效访问有序记录的基础。 协处理器 HBase提供的在RegionServer执行的计算逻辑的接口。协处理器分两种类型,系统协处理器可以全局导入RegionServer上的所有数据表,表协处理器即是用户可以指定一张表使用协处理器。 Block Pool Block P
足用户对集群计算能力随时增减的需求。 用户场景 当集群数据量变化不大而集群业务处理能力需求变化比较大,临时需要增大业务量时,可选择添加Task节点。 临时业务量增大,如年底报表处理。 需要在短时间内处理大量的任务,如一些紧急分析任务。 父主题: 集群管理
MRS集群Task节点弹性伸缩概述 在大数据应用,尤其是实时分析处理数据的场景中,常常需要根据数据量的变化动态调整集群节点数量以增减资源。MRS的弹性伸缩规则功能支持根据集群负载对集群的Task节点进行弹性伸缩。如果数据量是按照周期进行有规律的变化,用户可以按照固定时间段来自动调
e-site.xml配置文件,此配置文件上设置“hadoop.security.authentication”为“kerberos”。 解决办法 属于用户使用不当。对于本业务应用来说,若要解决此问题,可以参考如下几种办法: 方法1: 直接参考Hive组件的“jdbc-examples”样例工程,将core-site
排查当前是否发生过或仍存在Hue服务相关告警。 处理步骤 登录FusionInsight Manager检查是否存在网络故障、时钟跳变或Hue服务相关的告警,若存在问题则联系管理员进行处理,重试打开Hue页面确认是否正常。 是,处理结束。 否,执行2。 获取当前工作的Httpd服
在Data Studio左侧的“对象浏览器”中,右键要导出的表,选择“导出表数据”。在导出界面选择具体的导出路径,格式选择CSV、分隔符选择逗号,在安全免责声明下选择“我同意”,单击“确定”完成数据导出。例如,本文导出表warehouse_t1数据文件为“warehouse_t1.csv”。