检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase Rest接口调用样例程序 使用REST接口查询HBase集群信息 使用REST接口获取所有HBase表 使用REST接口操作Namespace 使用REST接口操作HBase表 父主题: 开发HBase应用
分析Hive表数据,读取输入表第一列int类型数据执行count(distinct XX)操作,将结果写入输出表。 样例代码 该样例程序在“hive-examples/hcatalog-example”的“HCatalogExample.java”中,实现该功能的模块如下: 实现
分析Hive表数据,读取输入表第一列int类型数据执行count(distinct XX)操作,将结果写入输出表。 样例代码 该样例程序在“hive-examples/hcatalog-example”的“HCatalogExample.java”中,实现该功能的模块如下: 实现
分析Hive表数据,读取输入表第一列int类型数据执行count(distinct XX)操作,将结果写入输出表。 样例代码 该样例程序在“hive-examples/hcatalog-example”的“HCatalogExample.java”中,实现该功能的模块如下: 实现
本开发指南提供了MRS产品Storm组件基于开源Storm的Eclipse样例工程和常用接口说明,便于开发者快速熟悉Storm开发。 开发环境准备分为应用开发客户端和应用提交客户端;应用开发一般是在Windows环境下进行;应用提交一般是在Linux环境下进行。 在进行二次开发时,要准备的开发环境如表1所示。 表1
安装和配置IDEA 用于开发Flink应用程序的工具。版本要求:2019.1或其他兼容版本。 安装Scala Scala开发环境的基本配置。版本要求:2.11.7。 安装Scala插件 Scala开发环境的基本配置。版本要求:1.5.4。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。
开发Manager应用 Manager样例程序开发思路 Manager登录认证 添加Manager用户 查找Manager用户 修改Manager用户 删除Manager用户 导出Manager用户列表 父主题: Manager管理开发指南
配置HiveMetaStore客户端连接负载均衡 操作场景 Hive的MetaStore客户端连接支持负载均衡,即可通过服务端在ZooKeeper记录的连接数,选择连接最少的节点进行连接,防止大业务场景下造成某个MetaStore高负载,其他MetaStore空闲情况,开启此功能不影响原有连接方式。
生产者通过此参数值,创建与Broker之间的连接。 security.protocol 安全协议类型。 生产者使用的安全协议类型,当前安全模式下仅支持SASL协议,需要配置为SASL_PLAINTEXT。 sasl.kerberos.service.name 服务名。 Kafka集群运行,所使用的Kerberos用户名(需配置为kafka)。
或参考获取集群ID获取。 已获取作业ID,即作业提交成功后返回结果中的“job_id”或参考获取作业ID获取。 IAM用户已同步完成,可通过在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“单击同步”进行IAM用户同步。 作业相关程序和输入文件已存放在OBS中。 该示例以新增MapReduce作业为例。
hbase-common模块依赖commons-crypto,在hbase-common的pom.xml文件中,对于commons-crypto的引入,<version>使用了${commons-crypto.version}变量。该变量的解析逻辑为,os为aarch64时值为“1.0.0-hw-aar
hbase-common模块依赖commons-crypto,在hbase-common的pom.xml文件中,对于commons-crypto的引入,<version>使用了${commons-crypto.version}变量。该变量的解析逻辑为,os为aarch64时值为“1.0.0-hw-aar
hbase-common模块依赖commons-crypto,在hbase-common的pom.xml文件中,对于commons-crypto的引入,<version>使用了${commons-crypto.version}变量。该变量的解析逻辑为,os为aarch64时值为“1.0.0-hw-aar
通过页面更改NameNode的RPC端口,随后重启HDFS服务,出现所有NameNode一直是备状态,导致集群异常。 问题现象 所有NameNode都是备状态,导致集群异常。 原因分析 集群安装启动后,如果修改NameNode的RPC端口,则需要重新格式化Zkfc服务来更新zookeeper上的节点信息。
每个Executor进程的内存 ,和JVM内存串拥有相同的格式,单位默认为GB。 1GB Executor Cores 每个Executor所占用的CPU核的数目。 1 Number Executors Executor的个数。 1 Queue Yarn的租户队列名。不指定将默认提交到default队列上。
HA启用的功能 oozie.zookeeper.connection.string ZooKeeper实例的业务IP:端口(多个地址以逗号隔开) ZooKeeper连接信息 oozie.zookeeper.namespace oozie Oozie在ZooKeeper的路径 oozie
根据实际情况而定 Checkpoint间隔时长大于Checkpoint执行时长 checkpoint执行时长视checkpoint的数据量相关,数据量越大实行耗时越大 Checkpoint超时时长大于Checkpoint间隔时长 Checkpoint间隔时长是指多长时间触发一次C
HBase应用开发常见问题 Phoenix SQL查询样例介绍 HBase对外接口介绍 如何配置HBase双读功能 Phoenix命令行操作介绍 运行HBase应用开发程序产生ServerRpcControllerFactory异常如何处理 Bulkload和Put应用场景有哪些
HA启用的功能 oozie.zookeeper.connection.string ZooKeeper实例的业务IP:端口(多个地址以逗号隔开) ZooKeeper连接信息 oozie.zookeeper.namespace oozie Oozie在ZooKeeper的路径 oozie
PyFlink样例程序代码说明 通过Python API的方式提交Flink读写Kafka作业到Yarn上代码样例 下面列出pyflink-kafka.py的主要逻辑代码作为演示,在提交之前需要确保“file_path” 为要运行的SQL的路径,建议写全路径。 完整代码参见“flink-