检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置ClickHouse连接属性 在ClickhouseJDBCHaDemo、Demo、NativeJDBCHaDemo和Util文件创建connection的样例中设置连接属性,如下样例代码设置socket超时时间为60s。 ClickHouseProperties clickHouseProperties
查看Oozie应用调测结果 操作场景 Oozie样例工程运行完成后可以通过控制台查看输出结果。 操作步骤 控制台显示运行结果会有如下成功信息: cluset status is false Warning: Could not get charToByteConverterClass
Oozie应用开发应用开发简介 Oozie简介 Oozie是一个用来管理Hadoop任务的工作流引擎,Oozie流程基于有向无环图(Directed Acyclical Graph)来定义和描述,支持多种工作流模式及流程定时触发机制。易扩展、易维护、可靠性高,与Hadoop生态系统各组件紧密结合。
客户端直接面向用户,可通过Java API、Shell API、 REST API或者Web UI访问Oozie服务端。 Oozie WebUI界面 通过“https://Oozie服务器IP地址:21003/oozie”登录Oozie WebUI界面。 父主题: Oozie应用开发概述
Hive应用开发常用概念 客户端 客户端直接面向用户,可通过Java API、Thrift API访问服务端进行Hive的相关操作。 HQL语言 Hive Query Language,类SQL语句。 HCatalog HCatalog是建立在Hive元数据之上的一个表信息管理层
配置ClickHouse连接属性 在ClickhouseJDBCHaDemo、Demo、NativeJDBCHaDemo和Util文件创建connection的样例中设置连接属性,如下样例代码设置socket超时时间为60s。 ClickHouseProperties clickHouseProperties
在Linux环境中调测HDFS应用 操作场景 HDFS应用程序支持在安装HDFS客户端的Linux环境中运行。在程序代码完成开发后,可以上传Jar包至Linux客户端环境中运行应用。 HDFS应用程序只支持在Linux环境下运行,不支持在Windows环境下运行。 前提条件 已安装HDFS客户端。
在本地Windows环境中调测HetuEngine应用 操作场景 在程序代码完成开发后,可以在Windows环境下进行编译,本地和集群业务平面网络互通时,您可以直接在本地进行调测。 操作步骤 在Windows环境下的IntelliJ IDEA开发环境中,确认配置HetuEngine应用安全认证中得到的“user
Kafka的consumer端配置信息。 producer.properties Kafka的producer端配置信息。 server.properties Kafka的服务端的配置信息。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。 在应用开发过程中,如需在本地Windows系统中调测应
向Doris表中插入数据 本章节介绍向Doris表中插入数据样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQL语句在集群的dbName.tableName表中插入数据。 String insertTableSql = "insert into
调测Kafka Producer样例程序 前提条件 已配置Windows通过EIP访问集群Kafka,详情请参见配置Windows通过EIP访问集群Kafka。 如需在Linux调测程序,需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件
定位信息 来源 产生告警的集群或系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 单个CCWorker内部平均read请求处理时延超过最大阈值后,可能会出现缓存性能下降。 可能原因 上层计算服务(Spark/Hive/HetuEn
告警级别 是否自动清除 19007 次要 是 告警参数 参数名称 参数含义 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 产生该告警表示HBase服务的compaction队列长度已经超过规定的阈值,如果不及时处理,可能会导致集群性能下降,影响数据读写。
严重 是 告警参数 参数名称 参数含义 ClientIP Flume客户端IP地址。 ServerIP Flume服务端IP地址。 ServerPort Flume服务端端口。 对系统的影响 产生告警的Flume Client无法与Flume Server端进行通信,Flume Client端的数据无法传输到Flume
配置Controller与Agent间数据传输加密 操作场景 安装集群后Controller和Agent之间需要进行数据通信,在通信的过程中采用了Kerberos认证,出于对集群性能的考虑,通信过程默认不加密,对于一些安全要求较高用户可以采用以下方式进行加密。 该章节仅适用于MRS
调测Kafka Consumer样例程序 前提条件 如需在Windows调测程序,需要配置Windows通过EIP访问集群Kafka,详情请参见配置Windows通过EIP访问集群Kafka。 如需在Linux调测程序,需要确保当前用户对“src/main/resources”目
创建Doris数据库 本章节介绍创建Doris数据库样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQL语句在集群中创建dbName变量对应的数据库。 String createDatabaseSql = "create database
修改HBase表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin的modifyTable方法修改表信息。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testModifyTable方法中。
在Linux环境中调测HetuEngine应用 操作场景 在程序代码完成开发后,也可以把代码编译成jar包,上传到Linux环境进行程序功能调试。 在Linux环境上调测程序前,需在Linux节点预安装客户端。 操作步骤 根据需要修改“jaas-zk.conf”中“KeyTab”
workflow.xml 功能描述 描述了一个完整业务的流程定义文件。一般由一个start节点、一个end节点和多个实现具体业务的action节点组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name 流程文件名