检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用CDM服务迁移MRS HDFS数据至OBS 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式，从而实现按需灵活扩展资源、低成本的海量数据分析方案。 CDM支持文件到文件类数据的迁移，本章节以MRS
集群生命周期管理 MRS支持集群的生命周期管理包括创建集群和删除集群。 创建集群：支持用户定制集群的类型、组件范围、各类型的节点数、虚拟机规格、可用区、VPC网络、认证信息，MRS将为用户自动创建一个符合配置的集群，全程无需用户参与；同时支持用户在集群中运行自定义内容；支持快速创
HetuEngine性能调优 调整Yarn资源分配 调整HetuEngine集群节点资源配置 调整HetuEngine INSERT写入优化 调整HetuEngine元数据缓存 调整HetuEngine动态过滤 开启HetuEngine自适应查询执行 调整Hive元数据超时 调整Hudi数据源性能
CDL常见问题 为什么CDL任务执行后Hudi中没有接收到数据 MySQL链路任务启动时如何从指定位置抓取数据 为什么在Ranger中删除用户权限后，该用户仍能够操作自己创建的任务 父主题： 使用CDL
HetuEngine样例程序（Python3） 通过HSFabric的KeyTab认证实现查询HetuEngine SQL任务 通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务 通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务
HetuEngine辅助命令语法 USE SET SESSION RESET SESSION DESCRIBE DESCRIBE FORMATTED COLUMNS DESCRIBE DATABASE| SCHEMA DESCRIBE INPUT DESCRIBE OUTPUT EXPLAIN
USE 语法 USE catalog.schema USE schema 描述 指定当前会话所使用的catalog和schema。如果cataglog未指定，则默认使用当前的catalog。 示例 指定当前的会话到hive catalog下名为test的schema： USER hive
集群创建类 如何使用自定义安全组创建MRS集群？ 购买MRS集群时找不到HDFS、Yarn、MapReduce组件如何处理？ 购买MRS集群时，找不到ZooKeeper组件如何处理？ 购买MRS集群提交订单时报无效认证如何处理？
Spark SQL性能调优 Spark SQL join优化 优化数据倾斜场景下的Spark SQL性能 优化小文件场景下的Spark SQL性能 Spark INSERT SELECT语句调优 动态分区插入场景内存优化 小文件优化 聚合算法优化 Datasource表优化 合并CBO优化
Hive应用开发环境简介 在进行应用开发时，要准备的本地开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，推荐Windows7以上版本。 运行环境：Linux系统。 安装JDK
配置Windows通过EIP访问安全模式集群HBase 操作场景 该章节通过指导用户配置集群绑定EIP，并配置HBase文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行hbase-example中的样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并
配置Spark Python3样例工程 操作场景 为了运行MRS产品Spark2x组件的Python3接口样例代码，需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3，其版本不低于3.6。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3
配置Spark Python3样例工程 操作场景 为了运行MRS产品Spark2x组件的Python3接口样例代码，需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3，其版本不低于3.6。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3
Flink on Hudi作业参数建议 Hudi表作为Source表时建议设置限流 Hudi表作为Source表，防止上限超过流量峰值，导致作业出现异常带来不稳定因素，因此建议设置限流，限流上限应该为业务上线压测的峰值。 使用时需添加如下参数： 'read.rate.limit'
HetuEngine样例程序（Java） 通过HSFabric的KeyTab认证实现查询HetuEngine SQL任务 通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务 通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务 通
管理MRS租户资源 管理MRS租户资源目录 管理MRS租户资源池 清除MRS租户队列配置 重装Yarn服务后手动恢复MRS租户数据 删除MRS租户 Superior调度器模式下管理MRS全局用户策略 Capacity调度器模式下清除租户非关联队列 父主题： 管理MRS集群租户
管理MRS集群节点 查看MRS集群节点运行状态 启停MRS集群节点上所有角色 隔离MRS集群节点 修改MRS集群节点机架信息 升级MRS集群Master节点规格 同步MRS集群节点磁盘信息 添加MRS集群节点标签 配置MRS集群节点引导操作 父主题： 管理MRS集群
HetuEngine物化视图概述 HetuEngine物化视图功能适用于MRS 3.2.0及以后版本。 HetuEngine物化视图背景介绍 HetuEngine具备物化视图能力。在实际运用中，将高频访问的SQL查询和有高耗时的算子（连接， 聚合等算子）的SQL通过建立物化视图进
准备本地应用开发环境 Kafka开发应用时，需要准备的开发和运行环境如表1所示： 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
准备本地应用开发环境 Kafka开发应用时，需要准备的开发和运行环境如表1所示： 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
