检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MRS租户队列 用户可以根据业务需求,在MRS修改指定租户的队列配置,对队列进行扩容或缩容。Yarn任务队列和资源池关联,可实现资源的分配和调度。 前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
Keeper服务端的session(0x164cb2b3e4b36ae4)不一致的问题,导致NameNode备节点的watcher没有感知到自己已经成功建立临时节点,依然认为自己还是备。 而NameNode主节点启动后,发现/hadoop-ha/hacluster目录下已经有ac
Keeper服务端的session(0x164cb2b3e4b36ae4)不一致的问题,导致NameNode备节点的watcher没有感知到自己已经成功建立临时节点,依然认为自己还是备。 而NameNode主节点启动后,发现/hadoop-ha/hacluster目录下已经有ac
表引擎选择建议 自助报表分析、行为数据分析,在不涉及重复数据聚合的情况下,建议使用ReplicatedMergeTree表引擎。 涉及到物化视图等聚合函数的场景,建议使用ReplicatedAggregatingMergeTree表引擎。 经常有数据去重或有update修改数
客户端Producer侧采用非安全访问,服务端配置禁止访问。 客户端Producer侧采用非安全访问,Kafka Topic设置ACL。 原因分析 Producer发送数据到Kafka失败,可能原因客户端Producer侧问题或者Kafka侧问题。 查看Kafka服务状态: MRS Manager界面操作:登录MRS
单击待操作的RSGroup名称,跳转到修改RSGroup页面。 勾选欲分配的RegionServer实例,单击“下一步”。 一次分配操作仅允许勾选来自同一RSGroup的一个到多个RegionServer实例,且default组中的RegionServer的运行状态不为良好时不允许被勾选分配。若想要分配来自不同RS
单击待操作的RSGroup名称,跳转到修改RSGroup页面。 勾选欲分配的RegionServer实例,单击“下一步”。 一次分配操作仅允许勾选来自同一RSGroup的一个到多个RegionServer实例,且default组中的RegionServer的运行状态不为良好时不允许被勾选分配。如果想要分配来自不同R
登录FusionInsight Manager页面,选择“集群 > 服务 > Yarn”,在“概览”页面单击ResourceManager WebUI后的链接,进入到Yarn的WebUI界面。 在“All Applications”页面单击ID名称,进入应用详情页面。 单击应用的“Logs”,进入“Log
查看HetuEngine实例监控页面 在HetuEngine的WebUI界面,可以查看指定业务的详细信息,包括每个SQL的执行情况。 查看HetuEngine实例监控步骤 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager,选择“集群
HBase的读取数据是以block块为单位的,所以越大的block块,对于随机读的情况,性能可能会比较差。 如果要提升写入的性能,一般扩大到128KB或者256KB,可以提升写数据的效率,也不会影响太大的随机读性能。单位:字节。 65536 DATA_BLOCK_ENCODING
HBase的读取数据是以block块为单位的,所以越大的block块,对于随机读的情况,性能可能会比较差。 如果要提升写入的性能,一般扩大到128KB或者256KB,可以提升写数据的效率,也不会影响太大的随机读性能。单位:字节。 65536 DATA_BLOCK_ENCODING
CDL作业数据DDL变更说明 DDL变更操作包括创建数据库/表、变更表字段类型、变更表字段名称、表列增/删等数据表结构变化操作。当前CDL仅支持从PgSQL同步数据到Hudi的DDL变更,所有DDL变更操作顺序为: 停止CDL任务。 Hudi侧执行DDL变更。 源端库进行DDL变更。 本章节适用于MRS 3
创建FlinkServer作业写入数据至Kafka消息队列 本章节适用于MRS 3.1.2及之后的版本。 操作场景 本章节介绍Kafka作为source表或者sink表的DDL定义,以及创建表时使用的WITH参数和代码示例,并指导如何在FlinkServer作业管理页面操作。 本示例以安全模式Kafka为例。
写入ClickHouse时会过滤Flink计算过程中产生的DELETE消息。 攒批写参数:Flink会将数据先放入内存,到达触发条件时再flush到数据库表中。相关配置如下。 sink.buffer-flush.max-rows:攒批写ClickHouse的行数,默认100。 sink.buffer-flush
特定时间段(例如凌晨3点)进行批量分析,可能仅需要消耗2小时。 MRS提供的弹性伸缩能力,可以帮助用户在进行批量分析操作时,将分析节点扩容到指定规模,而计算完毕后,则自动释放计算节点,尽可能的降低使用成本。 平衡突发查询 大数据集群上,由于有大量的数据,企业会经常面临临时的分析任
reverse(array[1,2,3,4,5]); --[5, 4, 3, 2, 1] sequence(start, stop) 描述:输出一个从start开始,到stop结束的数组。start不大于stop时,每次递增1,否则,每次递减1。 start和stop的数据类型还可以是date或者timstamp类型,按1天递增或递减。
Hive读写权限”,勾选所需指定的数据库的“建表”,单击“确定”保存。 在Manager角色界面创建一个角色,例如“hive_hbase_submit”,并授予提交任务到Yarn的队列的权限。 在“配置资源权限”的表格中选择“待操作集群的名称 > Yarn > 调度队列 > root”,勾选队列“default”的“提交”,单击“确定”保存。
ARRAY_ELEM 通过下标访问数组。 ARRAY_ELEM(ARRAY[1,2,3], 1) ARRAY_PREPEND 指定位置插入数据到数组。 ARRAY_APPEND(ARRAY[1,2,3], 4) ARRAY_CAT 连接数组。 ARRAY_CAT(ARRAY[1,2]
Hive读写权限”,勾选所需指定的数据库的“建表”,单击“确定”保存。 在Manager角色界面创建一个角色,例如“hive_hbase_submit”,并授予提交任务到Yarn的队列的权限。 在“配置资源权限”的表格中选择“待操作集群的名称 > Yarn > 调度队列 > root”,勾选队列“default”的“提交”,单击“确定”保存。
ARRAY_ELEM 通过下标访问数组。 ARRAY_ELEM(ARRAY[1,2,3], 1) ARRAY_PREPEND 指定位置插入数据到数组。 ARRAY_APPEND(ARRAY[1,2,3], 4) ARRAY_CAT 连接数组。 ARRAY_CAT(ARRAY[1,2]