检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Hudi Hudi表概述 使用Spark Shell创建Hudi表 使用spark-sql操作Hudi表 使用Hudi-Cli.sh操作Hudi表 Hudi写操作 Hudi读操作 Hudi数据管理维护 Hudi SQL语法参考 Hudi Schema演进 配置Hudi数据列默认值
引入jar包不正确导致Spark任务无法运行 问题现象 执行Spark任务，任务无法运行。 原因分析 执行Spark任务时，引入的jar包不正确，导致Spark任务运行失败。 处理步骤 登录任意Master节点。 执行cd /opt/Bigdata/MRS_*/install/F
使用Storm 从零开始使用Storm 使用Storm客户端 使用客户端提交Storm拓扑 访问Storm的WebUI 管理Storm拓扑 查看Storm拓扑日志 Storm常用参数 配置Storm业务用户密码策略 迁移Storm业务至Flink Storm日志介绍 性能调优
使用Sqoop Sqoop如何连接MySQL Sqoop读取MySQL数据到HBase时报HBaseAdmin.<init>方法找不到异常 通过Hue创建Sqoop任务将数据从HBase导入HDFS时报错 通过Sqoop从Hive导出数据到MySQL 8.0时报数据格式错误 通过sqoop
过滤器类型 选择文件过滤的条件。“WILCARD”表示使用通配符过滤，“REGEX”表示使用正则表达式匹配。与“路径过滤器”和“文件过滤器”配合使用。不选择值时默认为通配符过滤。 路径过滤器 与“过滤器类型”配合使用，配置通配符或正则表达式对源文件的输入路径包含的目录进行过滤
已创建ClickHouse集群，并且ClickHouse集群和Kafka集群在同一VPC下，网络可以互通，并安装ClickHouse客户端。 约束限制 当前ClickHouse不支持和开启安全模式的Kafka集群进行对接。 Kafka引擎表使用语法说明 语法 CREATE TABLE [IF NOT EXISTS]
使用Spark 运行Spark应用时修改split值报错 提交Spark任务时提示参数格式错误 磁盘容量不足导致Spark、Hive和Yarn服务不可用 引入jar包不正确导致Spark任务无法运行 Spark任务由于内存不够或提交作业时未添加Jar包，作业卡住 提交Spark任
cache table使用指导 问题 cache table的作用是什么？cache table时需要注意哪些方面？ 回答 Spark SQL可以将表cache到内存中，并且使用压缩存储来尽量减少内存压力。通过将表cache，查询可以直接从内存中读取数据，从而减少读取磁盘带来的内存开销。
从零开始使用Spark 本章节提供从零开始使用Spark提交sparkPi作业的操作指导，sparkPi是最经典的Spark作业，它用来计算Pi（π）值。 操作步骤 准备sparkPi程序。 开源的Spark的样例程序包含多个例子，其中包含sparkPi。可以从https://archive
户身份保存，例如root用户。 参数配置并保存后，Flume客户端将自动加载“properties.properties”中配置的内容。当spoolDir生成新的日志文件，文件内容将发送到Kafka生产者，并支持Kafka消费者消费。 使用Flume客户端（MRS 3.x及之后版本）
使用Spark小文件合并工具说明 工具介绍 在Hadoop大规模生产集群中，由于HDFS的元数据都保存在NameNode的内存中，集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件，会消耗NameNode大量内存，还会大幅降低读写性能，延长作业运行时间。因
使用Phoenix创建HBase表后，向索引表中加载数据报错 问题背景与现象 使用Phoenix创建HBase表后，使用命令向索引表中加载数据报错： MRS 2.x及之前版本：Mutable secondary indexes must have the hbase.regionserver
见权限策略。 示例流程 图1 给用户授权MRS权限流程 创建用户组并授权 在IAM控制台创建用户组，并授予MRS服务对应权限。 创建用户并加入用户组 在IAM控制台创建用户，并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台，切换至授权区域，验证权限： 在“
从零开始使用CarbonData MRS 3.x之前版本参考本章节，MRS 3.x及后续版本请参考使用CarbonData（MRS 3.x及之后版本）。 本章节介绍使用Spark CarbonData的基本流程，所有任务场景基于spark-beeline环境。CarbonData快速入门包含以下任务：
Flink客户端使用实践 本节提供使用Flink运行wordcount作业的操作指导。 使用Flink客户端前提条件 MRS集群中已安装Flink组件。 集群正常运行，已安装集群客户端，例如安装目录为“/opt/hadoopclient”。以下操作的客户端目录只是举例，请根据实际安装目录修改。
保存，例如root用户。 参数配置并保存后，Flume客户端将自动加载“properties.properties”中配置的内容。当spoolDir生成新的日志文件，文件内容将发送到Kafka生产者，并支持Kafka消费者消费。 父主题： 使用Flume
sqoop2-shell有两种获取登录认证信息的方式，第一种通过配置文件获取，具体配置项请参考使用sqoop-shell工具导入数据到HDFS、使用sqoop-shell工具导入数据到HBase；第二种方式则使用参数直接提供认证信息，这个方式有两种模式：密码模式和Kerberos认证模式。 进入交互模式命令
使用BulkLoad工具向HBase中批量导入数据 应用场景 经常面临向HBase中导入大量数据的情景，向HBase中批量加载数据的方式有很多种，最直接方式是调用HBase的API使用put方法插入数据；另外一种是用MapReduce的方式从HDFS上加载数据。但是这两种方式效率
步骤2-3仅启用Kerberos认证的集群执行，普通集群请直接从步骤4开始执行。 根据业务情况，准备好客户端，并登录安装客户端的节点。 例如在Master2节点更新客户端，则登录该节点使用客户端，具体参见使用MRS客户端。 执行以下命令切换用户。 sudo su - omm 执行以下命令，切换到客户
使用HBase 创建HBase权限角色 HBase客户端使用实践 快速使用HBase进行离线数据分析 使用BulkLoad工具向HBase迁移数据 HBase数据操作 HBase企业级能力增强 HBase性能调优 HBase运维管理 HBase常见问题 HBase故障排除
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
