检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
BulkLoad接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的bulkLoad接口将rdd写入HFile中。将生成的HFile导入HBase表的操作
BulkLoad接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的bulkLoad接口将rdd写入HFile中。将生成的HFile文件导入HBase表的
DiskSpace quota of /hbase is exceeded。 解决办法 通过后台使用df -h命令查看数据盘目录空间已满,因此需要删除无用的数据来进行应急恢复。 后续需要扩容节点来解决数据目录空间不足问题。 父主题: 使用HBase
使用广播变量 操作场景 Broadcast(广播)可以把数据集合分发到每一个节点上,Spark任务在执行过程中要使用这个数据集合时,就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast,每次任务需要数据集合时,都会把数据序列化到任务里面,不但耗时,还使任务变得很大。
blocksize大小没有更改,以客户端配置为准。 解决办法 确保“dfs.blocksize”为512的倍数。 重新下载安装客户端或者更改客户端配置。 dfs.blocksize是客户端配置,以客户端为准。若客户端不配置,以服务端为准。 父主题: 使用HDFS
使用ClickHouse ClickHouse概述 ClickHouse用户权限管理 ClickHouse客户端使用实践 ClickHouse数据导入 ClickHouse企业级能力增强 ClickHouse性能调优 ClickHouse运维管理 ClickHouse常用SQL语法
使用ZooKeeper 使用ZooKeeper客户端 配置ZooKeeper ZNode ACL ZooKeeper常用配置参数 ZooKeeper日志介绍 ZooKeeper常见问题
使用DBService DBService日志介绍
使用Loader 从零开始使用Loader Loader使用简介 Loader常用参数 创建Loader角色 Loader连接配置说明 管理Loader连接(MRS 3.x之前版本) 管理Loader连接(MRS 3.x及之后版本) Loader作业源连接配置说明 Loader作业目的连接配置说明
API使用类 调用API接口创建集群失败
使用Presto 配置sql-standard-with-group创建schema失败报Access Denied Presto的coordinator进程无法正常启动 Presto查询Kudu表时系统报错找不到表 Presto查询Hive表无数据 MRS Presto查询报错“The
使用Flume Flume向Spark Streaming提交作业后报类找不到错误 Flume客户端安装失败 Flume客户端无法连接服务端 Flume数据写入组件失败 Flume服务端进程故障 Flume数据采集慢 Flume启动失败
使用ClickHouse ClickHouse概述 ClickHouse用户权限管理 使用ClickHouse客户端 ClickHouse表创建 ClickHouse数据导入 ClickHouse企业级能力增强 ClickHouse性能调优 ClickHouse运维管理 ClickHouse常用SQL语法
使用Flume Flume日志采集概述 Flume业务模型配置说明 安装Flume客户端 快速使用Flume采集节点日志 配置Flume非加密传输数据采集任务 配置Flume加密传输数据采集任务 Flume企业级能力增强 Flume运维管理 Flume常见问题
使用KafkaManager KafkaManager介绍 访问KafkaManager的WebUI 管理Kafka集群 Kafka集群监控管理
使用Alluxio 配置底层存储系统 通过数据应用访问Alluxio Alluxio常用操作
使用Flume Flume日志采集概述 Flume业务模型配置说明 安装Flume客户端 快速使用Flume采集节点日志 配置Flume非加密传输数据采集任务 配置Flume加密传输数据采集任务 Flume企业级能力增强 Flume运维管理 Flume常见问题
使用Loader Loader数据导入导出概述 Loader用户权限管理 上传MySQL数据库连接驱动 创建Loader数据导入作业 创建Loader数据导出作业 管理Loader作业 Loader运维管理 Loader算子帮助 客户端工具说明 Loader常见问题
foreachPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的mapPartition接口将rdd并发写入HBase表中。 数据规划
BulkLoad接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的bulkLoad接口将rdd写入HFile中。将生成的HFile文件导入HBase表的