检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
备份Flink元数据 操作场景 为了确保Flink集群中的元数据安全,或者系统管理员需要对Flink进行重大操作(如升级或迁移等)时,需要对Flink集群的元数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight
配置HDFS客户端元数据缓存提高读取性能 操作场景 通过使用客户端缓存元数据块的位置来提高HDFS读取性能。 此功能仅用于读取不经常修改的文件。因为在服务器端由某些其他客户端完成的数据修改,对于高速缓存的客户端将是不可见的,这可能导致从缓存中拿到的元数据是过期的。 本章节适用于MRS
恢复IoTDB业务数据 操作场景 在用户意外修改、删除或需要找回数据时,系统管理员对IoTDB进行重大操作(如升级、重大数据调整等)后,系统数据出现异常或未达到预期结果,模块全部故障无法使用,或者迁移数据到新集群的场景中,需要对IoTDB进行恢复数据操作。 系统管理员可以通过FusionInsight
配置Hadoop数据传输加密 设置安全通道加密 默认情况下,组件间的通道是不加密的。您可以配置如下参数,设置安全通道是加密的。 参数修改入口:在FusionInsight Manager系统中,选择“集群 > 服务 > 服务名 > 配置”,展开“全部配置”页签。在搜索框中输入参数名称
创建FlinkServer作业写入数据至Hudi表 本章节适用于MRS 3.1.2及之后的版本。 操作场景 本指南通过使用FlinkServer写FlinkSQL对接Hudi。FlinkSQL读写Hudi时,不支持定义TINYINT、SMALLINT和TIME类型。 Flink对Hudi
备份Doris业务数据 操作场景 为了确保Doris日常用户的业务数据安全,或者集群用户需要对Doris进行重大操作(如升级或迁移等)时,需要对Doris数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 集群用户可以通过FusionInsight
备份ClickHouse业务数据 操作场景 为了确保ClickHouse日常用户的业务数据安全,或者集群用户需要对ClickHouse进行重大操作(如升级或迁移等),需要对ClickHouse数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低
使用Alluixo Alluixo在HA模式下出现Does not contain a valid host:port authority报错
配置HDFS客户端元数据缓存提高读取性能 操作场景 通过使用客户端缓存元数据块的位置来提高HDFS读取性能。 此功能仅用于读取不经常修改的文件。因为在服务器端由某些其他客户端完成的数据修改,对于高速缓存的客户端将是不可见的,这可能导致从缓存中拿到的元数据是过期的。 本章节适用于MRS
配置ClickHouse SQL防御规则 配置ClickHouse SQL防御操作场景 用户可以在Manager界面配置ClickHouse的SQL防御规则,根据业务调整对应SQL防御规则的参数。 配置ClickHouse SQL防御前提条件 已安装包含ClickHouse服务的集群客户端
DataFrame dataFrame = sqlContext.sql("select name, account from person"); // 遍历hive表中的每一个partition, 然后更新到hbase表 // 如果数据条数较少,也可以使用foreach()方法
自行搭建的客户端全量安装方法,请参见安装客户端(2.x及之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。 父主题: MRS集群补丁说明
使用ClickHouse客户端 ClickHouse是面向联机分析处理的列式数据库,支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。 前提条件 已安装客户端,例如安装目录为“/opt/client”。以下操作的客户端目录只是举例
<系统域名>作为执行物化视图自动刷新的用户, 当创建物化视图语句查询外部Hive数据源,且该数据源已开启数据源鉴权时,需修改执行自动刷新的用户,修改方法如下: 对端集群是否已安装HetuEngine服务。 是:执行3。 否:执行2。 准备系统用于自动刷新的用户。
使用方法 修改CompiledPlan中对应算子的“table.exec.resource.default-parallelism”值,即可修改算子的并行度。 示例 开发FlinkServer SQL作业。
如需操作,建议在确认对业务没有影响后通过各组件的相应操作方法进行处理,例如使用HDFS客户端对HDFS文件进行操作,使用Hive客户端对Hive表进行操作。
按照如下方法将数据移动至新的数据目录。 mv/data1/datadir/current/finalized/subdir1 /data2/datadir/current/finalized/subdir1 重新启动HDFS。 父主题: HDFS常见问题
检查HBase全局二级索引数据一致性 场景介绍 可使用全局二级索引工具检查用户数据和索引数据的一致性,如果索引数据与用户数据不一致,该工具可用于重新构建索引数据。 检查全局二级索引数据一致性 在HBase客户端执行以下命令可检查数据一致性,如果不一致,将重新构建索引数据。一致性检查结果会保存到
MRS StarRocks,新一代极速全场景数据仓库 Hudi:新一代流式数据湖平台 高性能利器-MRS ClickHouse重磅推出 基于MRS-ClickHouse构建用户画像系统方案介绍 基于MRS-Hudi构建数据湖的典型应用场景介绍 大数据分析实践 实时数据湖表存储设计方法
Deny Conditions 策略拒绝条件,配置本策略内拒绝的权限及例外,配置方法与“Allow Conditions”类似。 (可选)添加策略有效期。