检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive结构 云搜索服务(Cloud Search Service,简称CSS)是一个基于Elasticsearch、OpenSearch且完全托管的在线分布式搜索服务,为用户提供结构化、非结构化文本、以及基于AI向量的多条件检索、统计、报表。云搜索服务是华为云ELK生态的一系列软件集合,为
入方向规则”(页面入口:单击“管理安全组规则”)页签列表中描述列自动增加“MRS Manager public ip access control rule”,便于用户识别。 勾选确认信息后,单击“确定”。 单击“前往 Manager”右侧的按钮,可以切换访问FusionInsight Manager的方式,
"hbase.master.kerberos.principal" => "备集群HMaster principal"} 备集群ID表示主集群识别备集群使用的ID,请重新指定ID值。可以任意指定,建议使用数字。 备集群ZooKeeper地址信息包含ZooKeeper实例业务IP地址、
int compaction.async.enabled 否 true 是否开启在线压缩 compaction.schedule.enabled 否 true 是否阶段性生成压缩plan,即使关闭在线压缩的情况下也建议开启 compaction.tasks 否 10 压缩Hudi表task并行度
S计费概述。 表1 生命周期规则创建参数 参数名称 描述 示例 状态 是否启用本条生命周期规则。 启用 规则名称 规则名称,可自定义,用于识别不同的生命周期配置。 rule-test 前缀 生命周期规则适用的对象前缀,MRS集群组件数据回收站目录为“/user/.Trash”。 user/
配置使用分布式缓存执行MapReduce任务 配置场景 本章节操作适用于MRS 3.x及之后版本。 分布式缓存在两种情况下非常有用。 滚动升级 在升级过程中,应用程序必须保持文字内容(jar文件或配置文件)不变。而这些内容并非基于当前版本的Yarn,而是要基于其提交时的版本。一般
配置使用分布式缓存执行MapReduce任务 配置场景 本章节操作适用于MRS 3.x及之后版本。 分布式缓存在两种情况下非常有用。 滚动升级 在升级过程中,应用程序必须保持文字内容(jar文件或配置文件)不变。而这些内容并非基于当前版本的Yarn,而是要基于其提交时的版本。一般
运维,实时监控,实时发送告警,操作灵活,大数据业务部署更加省心省力。 消息通知 告警管理 MRS可以实时监控大数据集群,通过告警和事件可以识别系统健康状态。同时MRS也支持用户自定义配置监控与告警阈值用于关注各指标的健康情况,当监控数据达到告警阈值,系统将会触发一条告警信息。 查看告警列表
系统管理员可以通过FusionInsight Manager创建恢复Hive任务并恢复数据。只支持创建任务手动恢复数据。 Hive备份恢复功能不支持识别用户的Hive表、索引、视图等对象在业务和结构上存在的关联关系。用户在执行备份恢复任务时,需要根据业务场景管理统一的恢复点,防止影响业务正常运行。
控制应用程序。此外,MRS集群管理员可指定队列管理员和集群系统管理员。 动态更新配置文件。MRS集群管理员可根据需要动态修改配置参数以实现在线集群管理。 Capacity Scheduler中每个队列可以限制资源使用量。队列间的资源分配以使用量作为排列依据,使得容量小的队列有竞争
Catalog,不仅能访问Hive,也能访问使用Hive Metastore作为元数据存储的系统,例如Iceberg、Hudi等。 支持Managed Table。 可以识别Hive Metastore中存储的Hive和Hudi元数据。 如果想访问非当前用户创建的Catalog,需授予用户Catalog所在的OBS路径的操作权限。
系统管理员可以通过FusionInsight Manager创建备份Hive任务。支持创建任务自动或手动备份数据。 Hive备份恢复功能不支持识别用户的Hive表、索引、视图等对象在业务和结构上存在的关联关系。用户在执行备份恢复任务时,需要根据业务场景管理统一的恢复点,防止影响业务正常运行。
入方向规则”(页面入口:单击“管理安全组规则”)页签列表中描述列自动增加“MRS Manager public ip access control rule”,便于用户识别。 图1 添加MRS集群安全组规则 自动获取的访问公网IP与用户本机IP不一致,属于正常现象,无需处理。 9022端口为MRS集群knox
资源利用率。 异构和多维资源调度 Superior Scheduler除支持CPU和内存资源的调度外,还支持扩展以下功能: 节点标签可用于识别不同节点的多维属性,可以根据这些标签进行调度。 资源池可用于对同一类别的资源进行分组并分配给特定的租户/队列。 租户内多用户公平调度 在叶
入方向规则”(页面入口:单击“管理安全组规则”)页签列表中描述列自动增加“MRS Manager public ip access control rule”,便于用户识别。 图1 添加MRS集群安全组规则 自动获取的访问公网IP与用户本机IP不一致,属于正常现象,无需处理。 9022端口为MRS集群knox
flag IN ('wap', 'other'))AS web_uv FROM T GROUP BY day Flink SQL优化器可以识别相同的distinct key上的不同过滤器参数。例如示例中三个COUNT DISTINCT都在user_id列上。Flink可以只使用一
的数据开发类型(脚本开发和作业开发)、全托管的作业调度和运维监控能力,内置行业数据处理pipeline,一键式开发,全流程可视化,支持多人在线协同开发,极大地降低了用户使用大数据的门槛,帮助用户快速构建大数据处理中心,对数据进行治理及开发调度,快速实现数据变现。 MRS服务100
HBase服务增加了MetricController实例,开启热点检测能力,能够监控每个RegionServer节点的请求流量,通过聚合分析,识别出请求偏高的节点和Region,有助于快速发现热点问题;并提供一定的热点问题自愈能力,比如热点Region自动转移或Split。对于无法提
properties”文件中配置。 可选FAIL、REPLACE、IGNORE。 FAIL:发生异常并让解析失败。 REPLACE:将不能识别的字符用其他字符代替,通常是字符U+FFFD。 IGNORE:直接丢弃不能解析的字符串。 说明: 如果文件中有编码错误,请配置“decod
properties”文件中配置。 可选FAIL、REPLACE、IGNORE。 FAIL:发生异常并让解析失败。 REPLACE:将不能识别的字符用其它字符代替,通常是字符U+FFFD。 IGNORE:直接丢弃不能解析的字符串。 说明: 如果文件中有编码错误,请配置“decod