检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
初始化HDFS 功能简介 在使用HDFS提供的API之前,需要先进行HDFS初始化操作。过程为: 加载HDFS服务配置文件,并进行kerberos安全认证。 认证通过后,实例化Filesystem。 此处kerberos安全认证需要使用到的keytab文件,请提前准备。 配置文件介绍
创建HDFS多线程任务 功能简介 建立多线程任务,同时启动多个实例执行文件操作。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 // 业务示例2:多线程 final int THREAD_COUNT
读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为: 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后,需关闭所申请资源。 代码样例 如下是读文件的代码片段,详细代码请参考com.huawei
删除Kudu表 功能简介 通过KuduClient.deleteTable(String name)方法删除表对象。 代码样例 如下是删除表的代码片段: // Delete the table. client.deleteTable(tableName); 父主题: 开发Kudu应用
创建ClickHouse库 本章节介绍创建ClickHouse库样例代码。 以下代码片段在com.huawei.clickhouse.examples包的“Demo”类的createDatabase方法中。 通过on cluster语句在集群中创建表1中以databaseName参数值为数据库名的数据库。
创建ClickHouse表 本章节介绍创建ClickHouse表样例代码。 以下代码片段在com.huawei.clickhouse.examples包的“Demo”类的createTable方法中。 通过on cluster语句在集群中创建表1中tableName参数值为表名的
通过Java API提交Oozie作业 通过Java API提交Oozie作业开发思路 通过Java API提交Oozie作业 父主题: 开发Oozie应用
建立Kudu连接 功能简介 通过KuduClient.KuduClientBuilder(KUDU_MASTERS).build()方法创建KuduClient对象。传入的参数KUDU_MASTERS为kudu集群的masters地址列表,如果有多个master节点,则中间用半角逗号隔开。
打开Kudu表 功能简介 通过KuduClient.openTable(final String name)方法打开表对象。 代码样例 如下是打开表的代码片段: // 打开Kudu表 KuduTable table = client.openTable(tableName); 示
Flink读取HBase表样例程序 Flink HBase样例程序开发思路 Flink HBase样例程序(Java) 父主题: 开发Flink应用
Start Action 功能描述 流程任务的执行入口,每个流程任务有且仅有一个该节点。 参数解释 Start Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 to 后继action节点的名称 样例代码 <start to="mr-dataLoad"/>
在Linux环境中调测HetuEngine应用 操作场景 在程序代码完成开发后,可以把代码编译成jar包,上传到Linux环境进行程序功能调试。 在Linux环境上调测程序前,需在Linux节点预安装客户端。 操作步骤 在Windows环境的开发环境IntelliJ IDEA中,在“Maven
HBase ThriftServer连接样例程序 通过ThriftServer实例操作HBase表 通过ThriftServer实例向HBase表中写入数据 通过ThriftServer实例读HBase表数据 父主题: 开发HBase应用
HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作,例如读文件、写文件等操作。 执行HDFS Shell的方法: 进入HDFS客户端如下目录,直接输入命令即可。例如: cd /opt/client/HDFS/hadoop/bin
HetuEngine样例程序(Python3) 通过HSFabric的KeyTab认证实现查询HetuEngine SQL任务 通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务 通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务
IoTDB Flink样例程序 FlinkIoTDBSink样例程序 FlinkIoTDBSource样例程序 父主题: 开发IoTDB应用
IoTDB Kafka样例程序 功能简介 该样例介绍如何通过Kafka将数据发送到IoTDB。 代码样例 Producer.java: 该样例展示如何将时序数据发送到Kafka集群。 根据实际场景,修改“KafkaProperties.java”文件中的“TOPIC”变量,例如:public
查询Doris表数据 本章节介绍查询Doris表数据样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQl语句查询集群中的dbName.tableName表数据。 String querySql = "select * from " + dbName
使用Consumer API订阅安全Topic并消费 功能简介 用于实现使用Consumer API订阅安全Topic,并进行消息消费。 代码样例 以下为用于实现使用Consumer API订阅安全Topic,并进行消息消费的代码片段。 详细内容在com.huawei.bigdata
workflow.xml 功能描述 描述了一个完整业务的流程定义文件。一般由一个start节点、一个end节点和多个实现具体业务的action节点组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name 流程文件名