检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Producer根据用户指定的算法,将消息发送到指定的Partition。
补丁基本信息 表1 补丁基本信息 解决的问题 补丁号:MRS 1.9.0.10 发布时间:2023-01-17 修复问题列表: MRS大数据组件 OBSA支持流控重试 补丁号:MRS 1.9.0.9 发布时间:2022-08-10 修复问题列表: MRS大数据组件 superior调度器算法优化
操作流程 本实践以用户开发一个Hive数据分析应用为例,通过客户端连接Hive后,执行HQL语句访问OBS中的Hive数据。进行企业雇员信息的管理、查询。如果需要基于MRS服务提供的样例代码工程开发构建应用,您可以参考Hive应用开发简介。
图1 Hadoop数据迁移示意 方案优势 简单易用:免编程,向导式任务开发界面,通过简单配置几分钟即可完成迁移任务开发。 迁移效率高: 基于分布式计算框架进行数据任务执行和数据传输优化,并针对特定数据源写入做了专项优化,迁移效率高。
x86平台上参数值设置为:{客户端安装目录}/Spark/spark/native/libch.so,{客户端安装目录}/JDK/jdk1.8.0_372/jre/lib/amd64/libjsig.so arm平台上参数值设置为:{客户端安装目录}/Spark/spark/native
查看与配置MRS告警事件 查看MRS集群事件 查看MRS集群告警 配置MRS集群告警阈值 配置MRS集群告警屏蔽状态 配置MRS集群对接SNMP网管平台上报告警 配置MRS集群对接Syslog服务器上报告警 配置定时备份告警与审计信息 开启MRS集群维护模式停止上报告警 配置MRS
FlinkSQL支持MultiJoin算子使用方法 配置Flink作业时,可通过在FlinkServer WebUI的Flink作业开发界面添加自定义参数“table.optimizer.multi-join-enabled”为“true”开启MultiJoin算子功能,可参考如何创建
(可选)如果需要立即运行或开发作业,可在“作业管理”进行相关作业配置,可参考如何创建FlinkServer作业。
数据导入集群后,就可以继续基于大数据平台上层应用对数据进行分析处理了。 父主题: 数据迁移
“分配策略类型”参数选择“加权轮询算法”。单击“完成”,添加成功后,单击“确定”完成配置。 添加ClickHouse后端服务器 详细操作步骤请参考添加后端服务器。 登录MRS控制台,单击要对接的MRS集群名称。
“机机”用户:用于组件应用开发的场景。选择该值则用户密码随机生成,无需填写。 根据业务实际需要,在“用户组”,单击“添加”,选择一个或多个用户组添加到列表中。 如果选中的用户组绑定了角色或者在Ranger中配置了权限策略,用户将获得对应的权限。
“分配策略类型”参数选择“加权轮询算法”。单击“完成”,添加成功后,单击“确定”完成配置。 添加ClickHouse后端服务器 详细操作步骤请参考添加后端服务器。 登录MRS控制台,单击要对接的MRS集群名称。
新特性和优化 MRS Manager 新增磁盘不可用告警 新增设备分区丢失告警自动清除能力 慢盘/卡io算法优化 慢盘自动隔离机制优化 补丁兼容关系 MRS 1.9.3.10补丁包中已包含所有MRS 1.9.3版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
MRS仅支持Client方式访问Hive,使用操作请参考从零开始使用Hive,应用开发请参考Hive应用开发。 元数据存储:Hive将元数据存储在数据库中,如MySQL、Derby。
选择平台类型:必须与待安装客户端的节点的架构匹配,例如“x86_64”。 对于集群内的节点,节点架构类型可在Manager页面选择“主机”,在待安装客户端节点所在行的“平台类型”列查看。
(MapReduce Service)为客户提供ClickHouse、Spark、Flink、Kafka、HBase等Hadoop生态的高性能大数据引擎,支持数据湖、数据仓库、BI、AI融合等能力,完全兼容开源,快速帮助客户上云构建低成本、灵活开放、安全可靠、全栈式的云原生大数据平台
应用开发时,使用ALTER TABLE ADD PARTITION语句增加分区,以及使用LOAD DATA INTO PARTITON语句将数据加载到分区时,只能静态分区。 动态分区:通过查询命令,将结果插入到某个表的分区时,可以使用动态分区。
true:开启 false:不开启 job.alarm.enable true 是否开启作业告警: true:开启 false:不开启 通过客户端注册到FlinkServer的作业,如果未开启作业注册到FlinkServer功能,暂不支持在FlinkServer WebUI执行启动、开发
HetuEngine跨源功能简介 出于管理和信息收集的需要,企业内部会存储海量数据,包括数目众多的各种数据库、数据仓库等,此时会面临数据源种类繁多、数据集结构化混合、相关数据存放分散等困境,导致跨源查询开发成本高,跨源复杂查询耗时长。
在开发应用程序时,添加如下代码来使用KryoSerializer作为数据序列化器。 实现类注册器并手动注册类。