检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从零开始使用Spark 本章节提供从零开始使用Spark提交sparkPi作业的操作指导，sparkPi是最经典的Spark作业，它用来计算Pi（π）值。 操作步骤 准备sparkPi程序。 开源的Spark的样例程序包含多个例子，其中包含sparkPi。可以从https://archive
使用Hudi Hudi表概述 使用Spark Shell创建Hudi表 使用spark-sql操作Hudi表 使用Hudi-Cli.sh操作Hudi表 Hudi写操作 Hudi读操作 Hudi数据管理维护 Hudi SQL语法参考 Hudi Schema演进 配置Hudi数据列默认值
在Hue WebUI使用文件浏览器 操作场景 用户需要使用图形化界面管理HDFS文件时，可以通过Hue完成任务。 Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理
在Hue WebUI使用文件浏览器 操作场景 用户需要使用图形化界面管理HDFS文件时，可以通过Hue完成任务。 Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理
使用Storm 从零开始使用Storm 使用Storm客户端 使用客户端提交Storm拓扑 访问Storm的WebUI 管理Storm拓扑 查看Storm拓扑日志 Storm常用参数 配置Storm业务用户密码策略 迁移Storm业务至Flink Storm日志介绍 性能调优
Flink客户端使用实践 本节提供使用Flink运行wordcount作业的操作指导。 使用Flink客户端前提条件 MRS集群中已安装Flink组件。 集群正常运行，已安装集群客户端，例如安装目录为“/opt/hadoopclient”。以下操作的客户端目录只是举例，请根据实际安装目录修改。
单击，选择HiveQL语句执行的引擎。 “mr”表示语句使用MapReduce计算框架执行语句。 “spark”表示语句使用Spark计算框架执行语句。 “tez”表示语句使用Tez计算框架执行语句。 tez适用于MRS 1.9.x及以后版本。 单击 开始执行HiveQL语句。 如果希望下次继续使用已输入的HiveQL语句，请单击保存。
访问Presto的WebUI 用户可以通过Presto的WebUI，在图形化界面查看Presto的统计信息。Presto的WebUI界面不支持使用IE浏览器访问，建议使用Google浏览器访问。 前提条件 已安装Presto服务的集群。 已安装集群客户端，例如安装目录为“/opt/client”
使用IE浏览器在Hue中执行HQL失败 问题背景与现象 使用IE浏览器在Hue中访问Hive Editor并执行所有HQL失败，界面提示“There was an error with your query.”。 原因分析 IE浏览器存在功能问题，不支持在307重定向中处理含有form
cache table使用指导 问题 cache table的作用是什么？cache table时需要注意哪些方面？ 回答 Spark SQL可以将表cache到内存中，并且使用压缩存储来尽量减少内存压力。通过将表cache，查询可以直接从内存中读取数据，从而减少读取磁盘带来的内存开销。
使用Spark 运行Spark应用时修改split值报错 提交Spark任务时提示参数格式错误 磁盘容量不足导致Spark、Hive和Yarn服务不可用 引入jar包不正确导致Spark任务无法运行 Spark任务由于内存不够或提交作业时未添加Jar包，作业卡住 提交Spark任
MRS所使用的弹性云服务器规格 针对不同的应用场景，MRS使用到如下类型的弹性云服务器。 通用计算增强型：C3型、C3ne型、C6型、C6s型、C7型 内存优化型：M3型、M6型、M7型 超高I/O型：I3型、IR3型 鲲鹏内存优化型：KM1型 鲲鹏超高I/O型：KI1型 鲲鹏通用计算增强型：KC1型
sqoop2-shell有两种获取登录认证信息的方式，第一种通过配置文件获取，具体配置项请参考使用sqoop-shell工具导入数据到HDFS、使用sqoop-shell工具导入数据到HBase；第二种方式则使用参数直接提供认证信息，这个方式有两种模式：密码模式和Kerberos认证模式。 进入交互模式命令
请直接从步骤4开始执行。 根据业务情况，准备好客户端，并登录安装客户端的节点。 例如在Master2节点更新客户端，则登录该节点使用客户端，具体参见使用MRS客户端。 执行以下命令切换用户。 sudo su - omm 执行以下命令，切换到客户端目录，例如“/opt/client”。
ALM-12016 CPU使用率超过阈值 告警解释 系统每30秒周期性检测CPU使用率，并把实际CPU使用率和阈值相比较。CPU使用率默认提供一个阈值范围。当检测到CPU使用率连续多次（可配置，默认值为10）超出阈值范围时产生该告警。 平滑次数为1，CPU使用率小于或等于阈值时，告警
快速使用Flume采集节点日志 操作场景 Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络，使日志生成节点与流集群互通。 使用Flume客户端（MRS 3.x之前版本）
快速使用Flume采集节点日志 Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络，使日志生成节点与流集群互通。 使用Flume客户端 普通集群不需要执行2-6。
过滤器类型 选择文件过滤的条件。“WILCARD”表示使用通配符过滤，“REGEX”表示使用正则表达式匹配。与“路径过滤器”和“文件过滤器”配合使用。不选择值时默认为通配符过滤。 路径过滤器 与“过滤器类型”配合使用，配置通配符或正则表达式对源文件的输入路径包含的目录进行过滤
Hudi SQL语法参考 Hudi SQL使用约束 Hudi DDL语法说明 Hudi DML语法说明 Hudi CALL COMMAND语法说明 Hudi TTL语法说明 父主题： 使用Hudi
例如，当前集群已启用Kerberos认证，使用ssl安全方式登录。 Kerberos集群场景下没有默认用户，必须在Manager上创建用户，详细参考ClickHouse用户及权限管理。 使用kinit认证成功后，客户端登录时可以不携带--user和--password参数，即使用kinit认证的用户登录。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
