检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开启物化视图能力,提高查询的响应效率 配置HetuEngine物化视图改写能力 配置物化视图推荐能力 自动学习并推荐对业务最有价值的物化视图SQL,使在线查询效率获得倍数提升,同时有效降低系统负载压力 配置HetuEngine物化视图推荐能力 配置物化视图缓存能力 可将多次执行并改写后的SQ
"hbase.master.kerberos.principal" => "备集群HMaster principal"} 备集群ID表示主集群识别备集群使用的id,请重新指定id值。可以任意指定,建议使用数字。 备集群ZooKeeper地址信息包含ZooKeeper业务IP地址、侦听
算子输入、输出参数设置 输入类型 输出类型 MySQL输入 ClickHouse输出 在输入中把“表输入”拖拽到网格中,双击“表输入”,选择“自动识别”如图3所示。 图3 算子输入 在输出中把“ClickHouse输出”拖拽到网格中,双击“表输出”,选择“关联”或者手动编辑表格,与输入的表格对应,如图4所示。
算子输入、输出参数设置 输入类型 输出类型 MySQL输入 ClickHouse输出 在输入中把“表输入”拖拽到网格中,双击“表输入”,选择“自动识别”如图3所示。 图3 算子输入 在输出中把“ClickHouse输出”拖拽到网格中,双击“表输出”,选择“关联”或者手动编辑表格,与输入的表格对应,如图4所示。
使用Flink 1.15.0及以前版本对接Kafka,在扩容Kafka Topic分区后,需要重启相关的Flink作业,否则会导致新分区识别不及时漏消费数据。或在开发作业时,配置Flink动态发现Kafka Topic新分区功能。 可在作业SQL Kafka source表的WITH属性中,添加“scan
Hive连接HDFS的超时时间,可以使用自定义配置项功能进行设置。在Hive的“core-site.xml”文件增加此参数可被Hive服务识别并代替HDFS的设置。 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页,单击“组件管理”。
int compaction.async.enabled 否 true 是否开启在线压缩 compaction.schedule.enabled 否 true 是否阶段性生成压缩plan,即使关闭在线压缩的情况下也建议开启 compaction.tasks 否 10 压缩Hudi表task并行度
"hbase.master.kerberos.principal" => "备集群HMaster principal"} 备集群ID表示主集群识别备集群使用的ID,请重新指定ID值。可以任意指定,建议使用数字。 备集群ZooKeeper地址信息包含ZooKeeper实例业务IP地址、
入方向规则”(页面入口:单击“管理安全组规则”)页签列表中描述列自动增加“MRS Manager public ip access control rule”,便于用户识别。 勾选确认信息后,单击“确定”。 单击“前往 Manager”右侧的按钮,可以切换访问FusionInsight Manager的方式,
S计费概述。 表1 生命周期规则创建参数 参数名称 描述 示例 状态 是否启用本条生命周期规则。 启用 规则名称 规则名称,可自定义,用于识别不同的生命周期配置。 rule-test 前缀 生命周期规则适用的对象前缀,MRS集群组件数据回收站目录为“/user/.Trash”。 user/
系统管理员可以通过FusionInsight Manager创建恢复Hive任务并恢复数据。只支持创建任务手动恢复数据。 Hive备份恢复功能不支持识别用户的Hive表、索引、视图等对象在业务和结构上存在的关联关系。用户在执行备份恢复任务时,需要根据业务场景管理统一的恢复点,防止影响业务正常运行。
运维,实时监控,实时发送告警,操作灵活,大数据业务部署更加省心省力。 消息通知 告警管理 MRS可以实时监控大数据集群,通过告警和事件可以识别系统健康状态。同时MRS也支持用户自定义配置监控与告警阈值用于关注各指标的健康情况,当监控数据达到告警阈值,系统将会触发一条告警信息。 查看告警列表
控制应用程序。此外,MRS集群管理员可指定队列管理员和集群系统管理员。 动态更新配置文件。MRS集群管理员可根据需要动态修改配置参数以实现在线集群管理。 Capacity Scheduler中每个队列可以限制资源使用量。队列间的资源分配以使用量作为排列依据,使得容量小的队列有竞争
系统管理员可以通过FusionInsight Manager创建备份Hive任务。支持创建任务自动或手动备份数据。 Hive备份恢复功能不支持识别用户的Hive表、索引、视图等对象在业务和结构上存在的关联关系。用户在执行备份恢复任务时,需要根据业务场景管理统一的恢复点,防止影响业务正常运行。
Catalog,不仅能访问Hive,也能访问使用Hive Metastore作为元数据存储的系统,例如Iceberg、Hudi等。 支持Managed Table。 可以识别Hive Metastore中存储的Hive和Hudi元数据。 如果想访问非当前用户创建的Catalog,需授予用户Catalog所在的OBS路径的操作权限。
资源利用率。 异构和多维资源调度 Superior Scheduler除支持CPU和内存资源的调度外,还支持扩展以下功能: 节点标签可用于识别不同节点的多维属性,可以根据这些标签进行调度。 资源池可用于对同一类别的资源进行分组并分配给特定的租户/队列。 租户内多用户公平调度 在叶
入方向规则”(页面入口:单击“管理安全组规则”)页签列表中描述列自动增加“MRS Manager public ip access control rule”,便于用户识别。 图1 添加MRS集群安全组规则 自动获取的访问公网IP与用户本机IP不一致,属于正常现象,无需处理。 9022端口为MRS集群knox
入方向规则”(页面入口:单击“管理安全组规则”)页签列表中描述列自动增加“MRS Manager public ip access control rule”,便于用户识别。 图1 添加MRS集群安全组规则 自动获取的访问公网IP与用户本机IP不一致,属于正常现象,无需处理。 9022端口为MRS集群knox
flag IN ('wap', 'other'))AS web_uv FROM T GROUP BY day Flink SQL优化器可以识别相同的distinct key上的不同过滤器参数。例如示例中三个COUNT DISTINCT都在user_id列上。Flink可以只使用一
的数据开发类型(脚本开发和作业开发)、全托管的作业调度和运维监控能力,内置行业数据处理pipeline,一键式开发,全流程可视化,支持多人在线协同开发,极大地降低了用户使用大数据的门槛,帮助用户快速构建大数据处理中心,对数据进行治理及开发调度,快速实现数据变现。 MRS服务100