检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS提供了各组件的常见业务场景样例程序，开发者用户可基于样例工程进行相关数据应用的开发与编译，样例工程依赖的jar包直接通过华为云开源镜像站下载，其他社区开源jar包可从各Maven公共仓库下载。 开发者能力要求 您已经对大数据各组件具备一定的认识。 您已经对Java语法具备一定的认识。
MRS提供了各组件的常见业务场景样例程序，开发者用户可基于样例工程进行相关数据应用的开发与编译，样例工程依赖的jar包直接通过华为云开源镜像站下载，其他社区开源jar包可从各Maven公共仓库下载。 开发者能力要求 您已经对大数据领域各组件具备一定的认识。 您已经对弹性云服务器的
用户可在Manager系统中，选择“租户资源 > 动态资源计划 > 队列配置”。 参数说明以修改Superior调度器的default租户为例，其他队列的配置类似，单击“修改”编辑。 表1 队列配置参数 参数名 描述 AM最多占有资源（%） 表示当前队列内所有Application Master所占的最大资源百分比。
MRS服务在管理控制台上的操作日志，例如创建或删除MRS集群的日志记录，通过云审计服务（Cloud Trace Service，CTS）实现。CTS是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。
资源分布策略”。 参数说明以default为例，其他队列的配置类似，单击“修改”编辑。 表1 参数说明 配置参数 说明 默认值 资源容量 队列的资源容量（百分比）。当系统非常繁忙时，应保证每个队列的容量得到满足，而如果每个队列应用程序较少，可将剩余资源共享给其他队列。注意，所有队列的容量之和应小于100。
使用Hive Hive用户权限管理 Hive客户端使用实践 快速使用Hive进行数据分析 Hive数据存储及加密配置 Hive on HBase 配置Hive读取关系型数据库数据 Hive企业级能力增强 Hive性能调优 Hive运维管理 Hive常见SQL语法说明 Hive常见问题
Superior调度模式下，单个NodeManager故障可能导致MapReduce任务失败 当应用程序从lost_and_found队列移动到其他队列时，应用程序不能继续执行 如何限制存储在ZKstore中的应用程序诊断消息的大小 为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败
Superior调度模式下，单个NodeManager故障可能导致MapReduce任务失败 当应用程序从lost_and_found队列移动到其他队列时，应用程序不能继续执行 如何限制存储在ZKstore中的应用程序诊断消息的大小 为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败
ClickHouse通过多分片多副本的部署架构实现了集群的高可用，每个集群定义多个分片，每个分片具有2个或2个以上副本。当某节点故障时，分片内其他主机节点上的副本可替代工作，保证服务能正常运行，提高集群的稳定性。 本章节仅适用于MRS 3.1.0版本。 集群配置 登录集群Manager页面，选择“集群
Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。 用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库，具体可参考配置华为开源镜像仓。 操作步骤 获取样例代码。 下载样例工程的Maven工程源码和配置文件，请参见获取代码样例工程。
Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。 用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库，具体可参考配置华为开源镜像仓。 编包并运行程序 获取样例代码。 下载样例工程的Maven工程源码和配置文件，请参见获取MRS应用开发样例工程。
Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。 用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库，具体可参考配置华为开源镜像仓。 编包并运行程序 获取样例代码。 下载样例工程的Maven工程源码和配置文件，请参见获取MRS应用开发样例工程。
Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。 用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库，具体可参考配置华为开源镜像仓。 操作步骤 获取样例代码。 下载样例工程的Maven工程源码和配置文件，请参见获取代码样例工程。
配置具备表select权限的用户可查看表结构 操作场景 使用Hive建表时，其他用户被授予select权限后，支持通过show create table查看表结构。 操作步骤 登录FusionInsight Manager页面，选择“集群 > 服务 > Hive > 配置 > 全部配置”。
不灵活等问题。 针对上述问题，华为云提供了大数据MapReduce服务（MRS），MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的一站式企业级大数据集群云服务，完全兼容开源接口，结合华为云计算、存储优势及大数据行业经验
C方式）和如何使用密钥或密码方式（SSH方式）登录MRS集群中的节点，远程登录主要用于紧急运维场景，远程登录弹性云服务器进行相关维护操作。其他场景下，建议用户采用SSH方式登录。 如果需要使用SSH方式登录集群节点，需要在集群的安全组规则中手动添加入方向规则：其中源地址为“客户端
当应用程序从lost_and_found队列移动到其他队列时，应用程序不能继续执行 问题 当删除一个有部分应用程序正在运行的队列，这些应用程序会被移动到“lost_and_found”队列上。当这些应用程序移回运行正常的队列时，某些任务会被挂起，不能正常运行。 回答 如果应用程序
应大于JVM内存。 256MB hoodie.logfile.to.parquet.compression.ratio 随着记录从日志文件移动到parquet，预期会进行额外压缩的比例。 用于merge_on_read存储，以将插入内容发送到日志文件中并控制压缩parquet文件的大小。
本章节适用于将线下IDC机房或者公有云Hive集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 使用华为云CDM服务“场景迁移功能”可以一键式便捷地完成Hive数据的迁移。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能有差异，具
er.properties 配置文件中“group.id”指定的消费者组默认为“example-group1”。用户可根据业务需要，自定义其他消费者组。每次消费时生效。 执行命令时默认会读取当前消费者组中未被处理的消息。如果在配置文件指定了新的消费者组且命令中增加参数“--fro
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
