检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建FlinkServer作业写入数据至ClickHouse表 本章节适用于MRS 3.1.2及之后的版本。 操作场景 Flink通过对接ClickHouse的ClickHouseBalancer实例进行读写，有效避免ClickHouse流量分发问题。FlinkSQL与ClickHouse
MRS集群元数据概述 MRS的数据连接用于管理集群中组件使用的外部源连接，如Hive的元数据可以通过数据连接关联使用外部的关系型数据库。 本地元数据：元数据存储于集群内的本地GaussDB中，当集群删除时元数据同时被删除，如需保存元数据，需提前前往数据库手动保存元数据。 外置数据连接
应用场景 大数据在人们的生活中无处不在，在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用华为云MRS服务进行大数据处理。 海量数据分析场景 海量数据分析是现代大数据系统中的主要场景。
执行大数据量的shuffle过程时Executor注册shuffle service失败 问题 执行超过50T数据的shuffle过程时，出现部分Executor注册shuffle service超时然后丢失从而导致任务失败的问题。错误日志如下所示： 2016-10-19 01:33
V1.1 作业管理接口（废弃） 新增作业并执行（废弃） 查询作业exe对象列表（废弃） 查询作业exe对象详情（废弃） 删除作业执行对象（废弃） 父主题： 历史API
步骤3：创建OBS连接 在CDM集群管理界面，单击集群后的“作业管理”，选择“连接管理 > 新建连接”，连接器类型选择“对象存储服务（OBS）”后，单击“下一步”配置OBS连接参数，如图3所示。 名称：用户自定义连接名称，例如“obslink”。
配置HDFS DataNode数据均衡 操作场景 本章节适用于MRS 3.x及后续版本。 HDFS集群可能出现DataNode节点间磁盘利用率不平衡的情况，比如集群中添加新数据节点的场景。如果HDFS出现数据不平衡的状况，可能导致多种问题，比如MapReduce应用程序无法很好地利用本地计算的优势
MRS权限管理 IAM权限管理 通过IAM，您可以在华为云账号中给员工创建IAM用户，并授权控制其对华为云资源的访问范围。
页面算子的文字部分显示异常 如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 如何处理blob.storage.directory配置/home目录时启动yarn-session失败 如何处理非static的KafkaPartitioner类对象构造
页面算子的文字部分显示异常 如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 如何处理blob.storage.directory配置/home目录时启动yarn-session失败 如何处理非static的KafkaPartitioner类对象构造
MapReduce Shuffle调优 操作场景 Shuffle阶段是MapReduce性能的关键部分，包括了从Map task将中间数据写到磁盘一直到Reduce task复制数据并最终放到reduce函数的全部过程。这部分Hadoop提供了大量的调优参数。 图1 Shuffle
获取MRS应用开发样例工程 MRS样例工程构建流程 MRS样例工程构建流程包括三个主要步骤： 下载样例工程的Maven工程源码和配置文件，请参见获取MRS样例工程。 配置华为镜像站中SDK的Maven镜像仓库，请参见配置华为开源镜像仓。 根据用户自身需求，构建完整的Maven工程并进行编译开发
HetuEngine应用开发简介 HetuEngine简介 HetuEngine是华为自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine基本概念 HSBroker
由于Timeout waiting for task异常导致Shuffle FetchFailed 问题 使用JDBCServer模式执行100T的TPCDS测试套，出现Timeout waiting for task异常导致Shuffle FetchFailed，Stage一直重试
数据导出 概述 使用Loader导出数据 典型场景：从HDFS/OBS导出数据到SFTP服务器 典型场景：从HBase导出数据到SFTP服务器 典型场景：从Hive导出数据到SFTP服务器 典型场景：从HDFS/OBS导出数据到关系型数据库 典型场景：从HBase导出数据到关系型数据库
数据导入 概述 使用Loader导入数据 典型场景：从SFTP服务器导入数据到HDFS/OBS 典型场景：从SFTP服务器导入数据到HBase 典型场景：从SFTP服务器导入数据到Hive 典型场景：从FTP服务器导入数据到HBase 典型场景：从关系型数据库导入数据到HDFS/OBS
数据写入 写入更新数据时报错 Parquet/Avro schema 写入更新数据时报错UnsupportedOperationException 写入更新数据时报错SchemaCompatabilityException Hudi在upsert时占用了临时文件夹中大量空间 Hudi
Yarn ResourceManager长时间运行后发现大量ContainerIdPBImpl对象占用内存，可能是内存泄漏。 HDFS客户端leaserenewer线程泄漏。 HDFS重启后权限属性丢失，导致数据无法读取。 备NameNnode处于安全模式，但集群没有上报告警。
暂不绑定 指标共享 用于采集大数据组件的监控指标，当用户使用集群过程中出现问题时，供华为云支持人员定位问题。 关闭 系统盘加密 是否对MRS集群节点所挂载的系统盘中的数据进行加密，默认关闭。
MRS提供了各组件的常见业务场景样例程序，开发者用户可基于样例工程进行相关数据应用的开发与编译，样例工程依赖的jar包直接通过华为云开源镜像站下载，其他社区开源jar包可从各Maven公共仓库下载。 开发者能力要求 您已经对大数据领域各组件具备一定的认识。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
