-
查看主机列表 - MapReduce服务 MRS
登录FusionInsight Manager以后,单击“主机”后,打开主机管理页面,可查看主机列表及基本信息。 用户可切换视图类型,以及设置条件筛选和搜索主机。 切换视图 单击“角色视图”,可直观查看各主机上当前已部署的角色。如果该角色支持主备模式,则角色名称显示为加粗。 主机列表 主机管理页面
-
ClickHouse集群配置说明 - MapReduce服务 MRS
example_cluster.shard[2].internal_replication true 单击“保存”,保存配置。 上述集群架构如下图所示: 配置参数说明如下: default_cluster标签 default_cluster表示当前集群的名称。 当前集群有两个分片sha
-
提升HBase实时读数据效率 - MapReduce服务 MRS
对于可以压缩的数据,配置压缩算法可以有效减少磁盘的IO,从而达到提高性能的目的。 说明: 并非所有数据都可以进行有效压缩。例如一张图片的数据,因为图片一般已经是压缩后的数据,所以压缩效果有限。常用的压缩算法是SNAPPY,因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
-
提升HBase实时读数据效率 - MapReduce服务 MRS
对于可以压缩的数据,配置压缩算法可以有效减少磁盘的IO,从而达到提高性能的目的。 说明: 并非所有数据都可以进行有效压缩。例如一张图片的数据,因为图片一般已经是压缩后的数据,所以压缩效果有限。常用的压缩算法是SNAPPY,因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
-
ClickHouse表创建 - MapReduce服务 MRS
每张表的分片与副本都是互相独立的。 同时ClickHouse依靠Distributed引擎实现了分布式表机制,在所有分片(本地表)上建立视图进行分布式查询,使用很方便。ClickHouse有数据分片(shard)的概念,这也是分布式存储的特点之一,即通过并行读写提高效率。 CPU
-
配置HetuEngine物化视图推荐能力 - MapReduce服务 MRS
WebUI”后的链接,进入HSConsole界面。 选择“SQL运维 > 物化视图推荐”,可根据“租户”、“状态”、“推荐周期”、“物化视图名称”进行搜索,支持模糊搜索,支持导出指定物化视图推荐结果信息。 物化视图任务的“状态”包括如下: 表2 物化视图任务的“状态” 状态名称 描述 状态名称 描述 To Be
-
查看HetuEngine物化视图自动化任务 - MapReduce服务 MRS
附加信息”、“起止时间”进行搜索,支持模糊搜索。 搜索条件 描述 任务类型 ALL:所有类型 Refresh of materialized view:刷新物化视图 Recommendation of materialized view:推荐物化视图 Auto create materialized
-
服务管理概述 - MapReduce服务 MRS
服务”后,打开服务管理页面,包含功能区和服务列表。 图1 服务管理页面 功能区 服务管理页面的功能区支持选择视图类型,以及通过服务类型筛选和搜索服务。通过高级搜索可以根据“运行状态”和“配置状态”选择所需要的服务。 服务列表 服务管理页面的服务列表包含了集群中所有已安装的服务。如果选择“平铺视图”,则显示为窗格样
-
配置HetuEngine物化视图 - MapReduce服务 MRS
配置HetuEngine物化视图 HetuEngine物化视图概述 HetuEngine物化视图SQL示例 配置HetuEngine物化视图改写能力 配置HetuEngine物化视图推荐能力 配置HetuEngine物化视图缓存能力 配置HetuEngine物化视图的有效期与数据刷新能力
-
资产识别与管理 - MapReduce服务 MRS
通信安全授权需要在创建集群时完成,如图1所示。 图1 通信安全授权 建议用户在使用大数据组件时,仅给可信的IP地址放开安全组访问权限。谨慎使用0.0.0.0/0作为安全组源地址。 敏感操作保护 MRS支持对敏感操作进行保护,若用户已开启敏感操作保护(请参见IAM服务的敏感操作),则
-
HetuEngine物化视图概述 - MapReduce服务 MRS
表2 物化视图使用介绍 阶段 说明 参考章节 物化视图SQL示例 介绍物化视图支持的操作,包括创建物化视图、列举物化视图、查询物化视图等 HetuEngine物化视图SQL示例 配置物化视图改写能力 开启物化视图能力,提高查询的响应效率 配置HetuEngine物化视图改写能力 配置物化视图推荐能力
-
图解ClickHouse - MapReduce服务 MRS
图解ClickHouse 父主题: ClickHouse
-
安全 - MapReduce服务 MRS
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 更新管理 安全加固 MRS集群保留JDK说明
-
运行Manager应用报错“illegal character in path at index” - MapReduce服务 MRS
character in path at index” 问题 运行应用程序时,操作失败,日志显示如图1所示。 图1 操作失败日志 回答 可能的原因是URL中带空格导致服务器端无法正确识别URL。 需要去掉URL中的空格。 父主题: Manager应用开发常见问题
-
ClickHouse物化视图设计 - MapReduce服务 MRS
ClickHouse物化视图设计 ClickHouse物化视图概述 ClickHouse普通物化视图设计 ClickHouse Projection设计 父主题: ClickHouse数据库设计
-
ClickHouse逻辑视图设计 - MapReduce服务 MRS
ClickHouse逻辑视图设计 建议如下: 业务逻辑上有很多比较复杂的SQL运算,可以封装为一个视图,后续查询时只查询视图,简化业务查询使用。 如果业务间有权限隔离诉求,可将部分数据查询封装到视图中,使用视图方只能看到视图下有限行及列的数据。 父主题: ClickHouse数据库设计
-
HetuEngine物化视图SQL示例 - MapReduce服务 MRS
HetuEngine物化视图SQL示例 物化视图SQL示例请参考表1。 表1 物化视图的操作 操作 功能 物化视图SQL样例 备注 创建物化视图 (创建物化视图时,只创建了物化视图的定义,数据填充需要使用refresh materialized view name刷新物化视图数据) 创建永不过期的物化视图
-
读取Hudi cow表视图 - MapReduce服务 MRS
读取Hudi cow表视图 实时视图读取(Hive,SparkSQL为例):直接读取Hive里面存储的Hudi表即可,${table_name}表示表名称。 select count(*) from ${table_name}; 实时视图读取(Spark dataSource A
-
ClickHouse物化视图概述 - MapReduce服务 MRS
ClickHouse物化视图概述 由于TTL规则不会从原始表中同步到物化视图表,因此源表中带有TTL规则时,物化视图表同样需要配置TTL规则,并且建议与源表保持一致。 表1 普通物化视图与projection对比 物化视图类型 原表数据与物化视图一致性 灵活性 物化视图开发及维护复杂度 普通物化视图
-
读取Hudi cow表视图 - MapReduce服务 MRS
读取Hudi cow表视图 实时视图读取(Hive,SparkSQL为例):直接读取Hive里面存储的Hudi表即可,${table_name}表示表名称。 select count(*) from ${table_name}; 实时视图读取(Spark dataSource A