检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Impala开发规范 Impala开发规则 Impala开发建议 Impala开发示例 父主题: Impala开发指南(安全模式)
调测Kafka应用 调测Kafka Producer样例程序 调测Kafka Consumer样例程序 调测Kafka High level Streams样例程序 调测Kafka Low level Streams样例程序 调测Kafka Token认证机制样例程序 父主题: Kafka开发指南(安全模式)
HBase应用开发概述 HBase应用开发简介 HBase应用开发常用概念 HBase应用开发流程 HBase应用开发样例工程介绍 父主题: HBase开发指南(普通模式)
Oozie应用开发概述 Oozie应用开发简介 Oozie应用开发常用概念 Oozie应用开发流程 Oozie应用开发样例工程介绍 父主题: Oozie开发指南(普通模式)
Impala应用开发概述 Impala应用开发简介 Impala应用开发常用概念 Impala应用开发流程 父主题: Impala开发指南(普通模式)
准备HBase应用开发环境 准备本地应用开发环境 准备HBase应用开发用户 导入并配置HBase样例工程 父主题: HBase开发指南
创建Configuration 功能介绍 HBase通过加载配置文件来获取配置项,包括用户登录信息配置项。 代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包中。 调用类TestMain下的init()方法会初始化Configuration对象:
删除HBase表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin的deleteTable方法来删除表。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExample”类的dropTable方法中。
准备Hive应用开发环境 Hive应用开发环境简介 准备本地应用开发环境 准备Hive应用开发用户 准备Hive JDBC开发环境 准备Hive HCatalog开发环境 父主题: Hive开发指南
secret.key”。 由此FileSystem实例可以读取、新增和删除各类资源。 不支持追加操作。 前提条件 对接OBS前需要提前在OBS服务中创建相关目录,并确保访问用户具有对应目录的访问操作权限。 代码样例 如下是实例化FileSystem的代码片段,详细代码请参考com.huawei
HDFS应用开发常见问题 HDFS Java API接口介绍 HDFS C API接口介绍 HDFS HTTP REST API接口介绍 HDFS Shell命令介绍 登录MRS Manager 下载MRS客户端 父主题: HDFS开发指南
调测HBase应用 在本地Windows环境中调测HBase应用 在Linux环境中调测HBase应用 父主题: HBase开发指南(安全模式)
准备Flink应用开发环境 准备本地应用开发环境 准备Flink应用开发用户 安装Flink客户端 配置并导入Flink样例工程 新建Flink样例工程(可选) 准备Flink应用安全认证 父主题: Flink开发指南
Alluxio API接口介绍 Java API Alluxio接口遵循标准的Alluxio Parent API标准,详情请见https://docs.alluxio.io/os/javadoc/2.0/index.html。 HTTP REST API Master REST
HDFS应用开发简介 HDFS简介 HDFS(Hadoop Distribute File System)是一个适合运行在通用硬件之上,具备高度容错特性,支持高吞吐量数据访问的分布式文件系统,非常适合大规模数据集应用。 HDFS适用于如下场景: 处理海量数据(TB或PB级别以上)
Alluixo在HA模式下出现Does not contain a valid host:port authority报错 用户问题 安全集群Alluixo在HA模式下出现Does not contain a valid host:port authority的报错,如何处理? 问题现象
spark-shell执行SQL跨文件系统load数据到Hive表失败 用户问题 使用spark-shell命令执行SQL或者spark-submit提交的Spark任务里面有SQL的load命令,并且原数据和目标表存储位置不是同一套文件系统,上述两种方式MapReduce任务启动时会报错。
10亿级数据量场景的解决方案有哪些? 问: 10亿级数据量场景的解决方案有哪些? 答: 有数据更新、联机事务处理OLTP、复杂分析的场景,建议使用云数据库 GaussDB(for MySQL)。 MRS的Impala + Kudu也能满足该场景,Impala + Kudu可以在j
HBase输入 概述 “HBase输入”算子,将HBase表的指定列转换成同等数量的输入字段。 输入与输出 输入:HBase表列 输出:字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 HBase表类型 配置HBase表类型,可选项为normal(普通表)和phoenix表。
Hive输入 概述 “Hive输入”算子,将Hive表的指定列转换成同等数量的输入字段。 输入与输出 输入:Hive表列 输出:字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive数据库 Hive的数据库名称。 String 否 default Hive表名