检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同步Kafka数据至ClickHouse 您可以通过创建Kafka引擎表将Kafka数据自动同步至ClickHouse集群,具体操作详见本章节描述。 前提条件 已创建Kafka集群。已安装Kafka客户端,详细可以参考安装客户端。 已创建ClickHouse集群,并且ClickH
修复”按钮进行修复,具体请参考一键修复。 创建集群时开启安全通信 登录MRS管理控制台。 单击“购买集群”,进入购买集群页面。 在购买集群页面,选择“快速购买”或“自定义购买”。 参考快速购买MRS集群或自定义购买MRS集群配置集群信息。 在“通信安全授权”栏,勾选通信安全授权。
P的元数据备份和对HDFS、HBase的业务数据备份。 数据完整性 通过数据校验,保证数据在存储、传输过程中的数据完整性。 用户数据保存在HDFS上,HDFS默认采用CRC32C校验数据的正确性。 HDFS的DataNode节点负责存储校验数据,如果发现客户端传递过来的数据有异常
ClickHouse表数据倾斜 告警解释 ClickHouse各节点之间,分布式表对应的本地表中,若存在数据倾斜,系统产生此告警。当检测到数据均衡时,告警自动清除。 数据倾斜检测方法: 当参数“min_table_check_data_bytes”值为“0”时,不启用数据倾斜检查。 当参
MRS集群互信概述 功能介绍 默认情况下,安全模式下的大数据集群用户只能访问本集群中的资源,无法在其他安全模式集群中进行身份认证并访问资源。 集群互信概念介绍 域 每个系统用户安全使用的范围定义为“域”,不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用户跨域使用。
如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置MRS集群间互信。如果主集群部署为普通模式,则不需要配置互信。 主备集群必须已配置跨集群拷贝,请参见启用MRS集群间拷贝功能。 主备集群上的时间必须一
重置DBService数据库omm用户密码 操作场景 MRS集群中DBService数据库omm用户的默认密码为随机密码,建议定期重置DBService数据库omm用户的密码,以提升系统运维安全性。 该章节仅适用于MRS 3.2.0-LTS.1及之后的版本,MRS 3.2.0-LTS
5及其以前的版本,新版本集群应为MRS1.7及其以后的版本。 迁移数据前用户应该有旧的索引数据。 安全集群需配置跨集群互信和启用集群间拷贝功能,普通集群仅需启用集群间拷贝功能。详情请参见配置跨集群互信。 操作步骤 把旧集群中的用户数据迁移至新集群中。迁移数据需单表手动同步新旧集群的数据,通过Ex
MRS应用开发简介 MRS应用开发概述 MRS是企业级大数据存储、查询、分析的统一平台,能够帮助企业快速构建海量数据信息处理系统,通过对海量信息数据的分析挖掘,发现全新价值点和企业商机。 MRS提供了各组件的常见业务场景样例程序,开发者用户可基于样例工程进行相关数据应用的开发与编
Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式,在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端,具体操作请参见Hive客户端使用实践。 操作步骤 推荐:使用“SNAPPY”压缩,适用于压缩比和读取效率要求均衡场景。
tcp进行复制。 数据快递服务(DES) 对于TB或PB级数据上云的场景,华为云提供数据快递服务 DES。将线下集群数据及已导出的元数据复制到DES盒子,快递服务将数据递送到华为云机房,然后通过云数据迁移 CDM将DES盒子数据复制到HDFS。 父主题: 数据迁移方案介绍
前副本下线,多个节点同时出现数据目录状态异常,可能会导致部分Partition不可用。 可能原因 数据目录权限被篡改。 数据目录所在磁盘故障。 处理步骤 检查故障的数据目录权限。 根据告警提示的主机信息,登录到该节点上。 查看告警详细信息中所提示的数据目录及其子目录,属组是否为omm:wheel。
MRS组件应用开发简介 MRS是企业级大数据存储、查询、分析的统一平台,能够帮助企业快速构建海量数据信息处理系统,通过对海量信息数据的分析挖掘,发现全新价值点和企业商机。 MRS提供了各组件的常见业务场景样例程序,开发者用户可基于样例工程进行相关数据应用的开发与编译,样例工程依赖
重置MRS集群组件数据库用户密码 MRS集群中组件连接DBService数据库的用户默认密码为随机密码,建议管理员定期重置组件数据库用户的密码,以提升系统运维安全性。 该章节仅适用于MRS 3.1.2及之后版本。MRS 3.1.2之前版本请参考修改MRS集群组件数据库用户密码章节。
修改MRS集群组件数据库用户密码 该任务指导用户定期修改组件数据库用户的密码,以提升系统运维安全性。 对系统的影响 修改密码需要重启服务,服务在重启时无法访问。 修改MRS集群组件数据库用户密码(MRS 3.1.0版本) 该操作仅适用于MRS 3.1.0版本,MRS 3.1.0之
进入购买MRS集群页面。 单击“购买集群”,进入“购买集群”页面。 在购买集群页面,选择“自定义购买”。 参考购买自定义拓扑集群进行配置并创建集群,且集群需满足表1中要求。 表1 LakeFormation数据连接参数说明 参数 参数说明 版本类型 LTS版 集群版本 选择配置对接的MRS集群版本。
SYNC_PERSENT 同步百分比。 对系统的影响 主备GaussDB数据不同步,如果此时主实例异常,会出现数据丢失或者数据异常的情况。 可能原因 主备节点网络不稳定。 备GaussDB异常。 备节点磁盘空间满。 处理步骤 登录MRS集群详情页面,单击“告警管理”,在告警列表中单击此告警所在行
产生告警的元素类型。 部件名 产生告警的元素名称。 对系统的影响 如果数据源有数据,Flume Source持续读取不到数据,采集会停止。 可能原因 Flume Source故障,导致数据无法发送。 网络故障,导致数据无法发送。 处理步骤 检查Flume Source是否故障。 本地
永洪BI访问MRS HetuEngine 约束与限制 已安装Yonghong Desktop 9.1版本。 适用于LTS版的MRS 3.1.2及以后版本集群。 步骤一:创建MRS集群和计算实例 创建MRS集群。 创建并购买一个包含HetuEngine组件的MRS集群,详情可参考创建MRS集群。
问速度。 - 集群名称 MRS集群名称,可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期信息等。 集群创建成功后,您也可以在集群列表中手动修改集群名称。 mrs-test 集群类型 根据业务需要选择合适的MRS集群类型。 分析集群:用于离线数据分析场景,对海