检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Hive Hive用户权限管理 Hive客户端使用实践 快速使用Hive进行数据分析 Hive数据存储及加密配置 Hive on HBase 配置Hive读取关系型数据库数据 Hive企业级能力增强 Hive性能调优 Hive运维管理 Hive常见SQL语法说明 Hive常见问题
使用Hive Hive常见日志说明 Hive服务启动失败 安全集群执行set命令的时候报错“Cannot modify xxx at runtime” 提交Hive任务时如何指定队列？ 怎么通过客户端设置Map/Reduce内存？ 如何在导入Hive表时指定输出的文件压缩格式？
从零开始使用Spark 本章节提供从零开始使用Spark提交sparkPi作业的操作指导，sparkPi是最经典的Spark作业，它用来计算Pi（π）值。 操作步骤 准备sparkPi程序。 开源的Spark的样例程序包含多个例子，其中包含sparkPi。可以从https://archive
大数据组件都有自己的WebUI页面管理自身系统，但是由于网络隔离的原因，用户并不能很简便地访问到该页面。 例如访问HDFS的WebUI页面，传统的操作方法是需要用户创建ECS，使用ECS远程登录组件的UI，这使得组件的页面UI访问很是繁琐，对于很多初次接触大数据的用户很不友好。 MRS提供了基于弹性公网IP来便捷访问
使用Hudi Hudi表概述 使用Spark Shell创建Hudi表 使用spark-sql操作Hudi表 使用Hudi-Cli.sh操作Hudi表 Hudi写操作 Hudi读操作 Hudi数据管理维护 Hudi SQL语法参考 Hudi Schema演进 配置Hudi数据列默认值
用户名 连接数据库使用的用户名。 密码 连接数据库使用的密码。 JDBC连接属性 JDBC连接属性，单击“添加”手动添加。 名称：连接属性名。 值：连接属性值。 ftp-connector FTP服务器的IP FTP服务器的IP地址。 FTP服务器端口 FTP服务器的端口号。 FTP用户名
sqoop2-shell有两种获取登录认证信息的方式，第一种通过配置文件获取，具体配置项请参考使用sqoop-shell工具导入数据到HDFS、使用sqoop-shell工具导入数据到HBase；第二种方式则使用参数直接提供认证信息，这个方式有两种模式：密码模式和Kerberos认证模式。 进入交互模式命令
cache table使用指导 问题 cache table的作用是什么？cache table时需要注意哪些方面？ 回答 Spark SQL可以将表cache到内存中，并且使用压缩存储来尽量减少内存压力。通过将表cache，查询可以直接从内存中读取数据，从而减少读取磁盘带来的内存开销。
例如，当前集群已启用Kerberos认证，使用ssl安全方式登录。 Kerberos集群场景下没有默认用户，必须在Manager上创建用户，详细参考ClickHouse用户及权限管理。 使用kinit认证成功后，客户端登录时可以不携带--user和--password参数，即使用kinit认证的用户登录。
MRS集群如何使用公网访问Presto 用户问题 用户调测Presto JDBC样例代码，需要使用公网访问Presto。 问题分析 登录MRS Manager上查看Presto全部配置，Coordinator角色配置： PRESTO_COORDINATOR_FLOAT_IP = 内网IP地址
使用Yarn Yarn用户权限管理 使用Yarn客户端提交任务 配置Container日志聚合功能 启用Yarn CGroups功能限制Container CPU使用率 Yarn企业级能力增强 Yarn性能调优 Yarn运维管理 Yarn常见问题
快速使用Flume采集节点日志 操作场景 Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络，使日志生成节点与流集群互通。 使用Flume客户端（MRS 3.x之前版本）
不是，则无需修改。 修改成功后，重启集群。 建议与总结 关闭入口方向的Any协议，或者指定入口方向的Any协议远端为指定IP。 父主题： 使用Yarn
请直接从步骤4开始执行。 根据业务情况，准备好客户端，并登录安装客户端的节点。 例如在Master2节点更新客户端，则登录该节点使用客户端，具体参见使用MRS客户端。 执行以下命令切换用户。 sudo su - omm 执行以下命令，切换到客户端目录，例如“/opt/client”。
使用Storm 从零开始使用Storm 使用Storm客户端 使用客户端提交Storm拓扑 访问Storm的WebUI 管理Storm拓扑 查看Storm拓扑日志 Storm常用参数 配置Storm业务用户密码策略 迁移Storm业务至Flink Storm日志介绍 性能调优
快速使用Flume采集节点日志 Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络，使日志生成节点与流集群互通。 使用Flume客户端 普通集群不需要执行2-6。
原因分析 在出现告警时间点发现虚拟机发生了重启，告警发生的原因是因虚拟机重启导致的。 经OS定位虚拟机发生重启的原因是节点没有可用的内存，系统发生内存溢出触发了oom-killer，当进程处于被调用的状态会使进程处于disk sleep状态，最终导致虚拟机发生重启。 查看占用的内存进程，发现占用内存都是正常的业务进程。
过选择集群所建的区域及使用的云资源规格，一键式购买适合企业业务的MRS集群。MRS服务会根据用户选择的集群类型、版本和节点规格，帮助客户自动完成华为云企业级大数据平台的安装部署和参数调优。 MRS服务为客户提供完全可控的大数据集群，客户在创建时可设置虚拟机的登录方式（密码或者密钥
/dev/null命令，查看修改的“/dev/null”权限值是否为“666”，如果不是，需要修改为“666”。 修改成功后，重新启动HDFS和Yarn组件。 父主题： 使用HDFS
Flink客户端使用实践 本节提供使用Flink运行wordcount作业的操作指导。 使用Flink客户端前提条件 MRS集群中已安装Flink组件。 集群正常运行，已安装集群客户端，例如安装目录为“/opt/hadoopclient”。以下操作的客户端目录只是举例，请根据实际安装目录修改。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
