检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
repair命令进行操作。 对冻结后的分区进行rename时,需要先解冻数据,否则会提示分区不存在。 删除存在冻结数据的表时,被冻结的数据会同步删除。 删除存在冻结数据的分区时,被冻结的分区信息不会被删除,HDFS业务数据也不会被删除。 select查询数据时,会自动添加排查冷分区
行commit rollback、savepoint rollback能回退数据,但不能回退Hive元数据,只能删除Hive表然后手动进行同步刷新。 commit rollback只能回退当前最新的一个commit,savepoint rollback只能回退到最新的一个save
send(ProducerRecord<K,V> record) 不带回调函数的发送接口,通常使用Future的get()函数阻塞发送,实现同步发送。 java.util.concurrent.Future<RecordMetadata> send(ProducerRecord<K
行commit rollback、savepoint rollback能回退数据,但不能回退Hive元数据,只能删除Hive表然后手动进行同步刷新。 commit rollback只能回退当前最新的一个commit,savepoint rollback只能回退到最新的一个save
登录集群主节点并执行以下命令: cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下: scp patch.tar.gz {客户端机器IP}:/opt/ 例如: scp patch.tar.gz 127
名_数据源_任务创建时间/数据源_任务执行时间.tar.gz”。 OBS 表示从OBS中恢复数据,仅MRS 3.3.0-LTS及之后版本支持。 选择此参数值,还需要配置以下参数: “源端路径”:填写备份文件在OBS中保存的完整路径。例如:“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间
nodemanager.log-dirs”。适用于以下场景: 更改NodeManager角色的存储目录,所有NodeManager实例的存储目录将同步修改。 更改NodeManager单个实例的存储目录,只对单个实例生效,其他节点NodeManager实例存储目录不变。 对系统的影响 更
TransformerExample // 指定如何处理数据源拉取来的数据,可根据自身业务需求做定制 --enable-hive-sync // 开启hive同步,同步hudi表到hive --continuous // 指定流处理模式为连续模式 HoodieMultiTableDeltaStreamer流式写入
/opt/client/ 回退手动的操作 不涉及。 补丁卸载完成后重新打开弹性伸缩 如果卸载补丁前关闭了弹性伸缩,请卸载完成后重新打开。 登录华为云MRS管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。 父主题: 回滚补丁
全部配置”,进入IoTDB配置界面搜索并修改参数。 配置方法如表1所示。 表1 IoTDB性能调优参数说明 参数名称 描述 默认值 调优建议 SSL_ENABLE 客户端到服务端通道SSL加密。 true “true”表示开启SSL加密,“false”表示关闭SSL加密。数据传输加解密对性能影响较大,经过测试发
安全集群需配置跨集群互信和启用集群间拷贝功能,普通集群仅需启用集群间拷贝功能。详情请参见配置跨集群互信。 操作步骤 把旧集群中的用户数据迁移至新集群中。迁移数据需单表手动同步新旧集群的数据,通过Export、distcp、Import来完成。 例如,当前旧集群有用户表(t1,索引名为idx_t1)及其对应的索引
password="xxxxxx"; [7] }; [4] Client_new:zoo.cfg中指定的读取配置,当该名称修改时,需要同步修改zoo.cfg中对应配置。 [5] keyTab :指明工程使用的“user.keytab”在运行样例的主机上的保存路径,使用绝对路径
受到影响,例如会导致Yarn任务无法正常执行或者执行超时失败。 数据处理异常:如果网络互通异常,数据处理会受到影响,例如会导致HDFS数据同步失败或者结果不准确。 系统性能下降:大数据集群之间的网络互通异常会导致系统性能下降,影响整个数据处理的效率和质量。 可能原因 节点宕机。 网络故障。
对系统的影响 SlapdServer实例连接数过高,可能导致SlapdServer响应缓慢或不可用,引起Kerberos认证超时或操作系统用户缓存同步异常,进而导致组件业务故障。 可能原因 SlapdServer连接数过多。 告警阈值配置或者平滑次数配置不合理。 处理步骤 检查SlapdServer进程连接数是否过多。
节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。 否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭 登录华为云管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关
直接子租户的资源百分比之和不能超过100%。 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。
function语句重新创建所有自定义函数。 回退手动的操作 不涉及。 补丁卸载完成后重新打开弹性伸缩 如果卸载补丁前关闭了弹性伸缩,请卸载完成后重新打开。 登录华为云MRS管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。 父主题: 回滚补丁
ase集群,将目的端HBase集群的HBase关键配置项配置到源端Hive集群的HiveServer中。 前提条件 两个开启Kerberos认证的安全集群已完成跨集群互信配置。 跨集群配置Hive on HBase 下载HBase配置文件到本地,并解压。 登录目的端HBase集群的FusionInsight
[root @bdpsit3ap03 ~]# MRS集群中的用户管理由LDAP服务管理提供,又依赖于操作系统的sssd或nscd服务,用户的建立到同步到sssd服务需要一定时间,如果此时用户没有生效,或者sssd版本存在bug的情况下,某些情况下在ZooKeeper节点会出现用户无效的情况,导致创建Topic异常。
GROUP BY device, day ORDER BY device, day; 创建物化视图counter_daily_mv,数据存储到表counter_daily_agg中,数据源来自counter。 聚合表在明细表名后加上_{type}_agg后缀;物化视图添加 _{type}_mv后缀。