检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
初始化HBase配置 功能介绍 HBase通过login方法来获取配置项。包括用户登录信息、安全认证信息等配置项。 代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包的“TestMain”类的init方法中。 private static
Manager,选择“系统 > 权限 > 域和互信 > 本端域” 查看。 先使用kinit命令获取kerberos认证的缓存。 使用准备集群认证用户信息中创建的开发用户执行以下命令运行客户端程序: kinit -kt keytab的存储路径 username cd python3-examples
请参见配置Oozie作业操作HDFS文件 4 定义end action 请参见配置Oozie作业执行终点 5 定义killaction 请参见配置Oozie作业异常结束打印信息 依赖或新开发的jar包需要放在“dataLoad/lib”目录下。 流程文件样例: <workflow-app xmlns="uri:oozie:workflow:1
打开浏览器,输入:http://ClickHouse客户端节点IP:8080/clickhouse/executeQuery,查看浏览器返回信息: ClickHouse springboot client runs normally. Linux环境下执行运行方式: 登录Click
开发Impala用户自定义函数 当Impala的内置函数不能满足需要时,可以通过编写用户自定义函数UDF(User-Defined Functions)插入自己的处理代码并在查询中使用它们。 按实现方式,UDF有如下分类: 普通的UDF,用于操作单个数据行,且产生一个数据行作为输出。
Impala JDBC接口介绍 Impala使用Hive的JDBC接口,Hive JDBC接口遵循标准的JAVA JDBC驱动标准。 Impala并不能支持所有的Hive JDBC标准API。执行某些操作会产生“Method not supported”的SQLException异常。
Kafka常用API介绍 Kafka Shell命令介绍 Kafka Java API接口介绍 父主题: Kafka应用开发常见问题
Flink Job Pipeline样例程序 Flink Job Pipeline样例程序开发思路 Flink Job Pipeline样例程序(Java) Flink Job Pipeline样例程序(Scala) 父主题: 开发Flink应用
Flink常用API介绍 Flink Java API接口介绍 Flink Scala API接口介绍 Flink REST API接口介绍 Flink Savepoints CLI介绍 Flink Client CLI介绍 父主题: Flink应用开发常见问题
调测Kafka Token认证机制样例程序 Kafka服务端配置Kafka Token认证。 登录FusionInsight Manager管理界面,选择“集群 > 服务 > Kafka > 配置”,打开Kafka服务配置页面。 开启Token认证机制。 查找配置项“delegation
删除HBase表数据 功能简介 HBase通过Table实例的delete方法来Delete数据,可以是一行数据也可以是数据集。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testDelete方法中。
读取Phoenix表数据 功能简介 使用Phoenix实现读数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */
PyFlink样例程序开发思路 假定业务平台需要提交Flink任务到MRS集群,业务平台主要使用的语言是Python,提供Python读写Kafka作业和Python提交SQL作业的样例。 本场景适用于MRS 3.3.0及以后的集群版本。 父主题: PyFlink样例程序
atition接口将数据并发写入HBase中。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件(user.keytab、krb5.conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manage
MapReduce统计样例程序 MapReduce统计样例程序开发思路 MapReduce统计样例代码 父主题: 开发MapReduce应用
通过JDBC访问Spark SQL样例程序 通过JDBC访问Spark SQL样例程序开发思路 通过JDBC访问Spark SQL样例程序(Java) 通过JDBC访问Spark SQL样例程序(Scala) 父主题: 开发Spark应用
Spark Structured Streaming样例程序 Spark Structured Streaming样例程序开发思路 Spark Structured Streaming样例程序(Java) Spark Structured Streaming样例程序(Scala)
Flink Savepoints CLI介绍 概述 Savepoints在持久化存储中保存某个checkpoint,以便用户可以暂停自己的应用进行升级,并将状态设置为savepoint的状态,并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照,并将快照的
使用Python提交Flink普通作业 获取样例工程“flink-examples/pyflink-example/pyflink-kafka”中的“pyflink-kafka.py”和“insertData2kafka.sql”。 参考准备本地应用开发环境将准备好的Python虚拟环境打包,获取“venv
”后,单击“OK”,如图2所示。 图2 设置IntelliJ IDEA的编码格式 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,使用IntelliJ IDEA开发工具时,可选择“File > Settings