检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Java样例代码 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHivetoHbase。
Java样例代码 功能介绍 在Spark应用中，通过使用Streaming调用kafka接口来获取数据,然后把数据经过分析后，找到对应的HBase表记录，再写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples
配置Spark Python3样例工程 操作场景 为了运行MRS产品Spark2x组件的Python3接口样例代码，需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3，其版本不低于3.6。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3
bigdata.flink.examples.WriteIntoKafka" + " /opt/test.jar --topic topic-test -bootstrap.servers 10.91.8.218:9092"); System.out
导入并配置Hive JDBC/HCatalog样例工程 操作场景 为了运行MRS产品Hive组件的JDBC接口样例代码，需要完成下面的操作。 本章节以在Windows环境下开发JDBC/HCatalog方式连接Hive服务的应用程序为例。 HCatalog样例仅支持在Linux节点上运行。
客户端提示访问ZooKeeper失败 问题现象 安全集群中，HiveServer服务正常的情况下，通过jdbc接口连接HiveServer执行sql时报出ZooKeeper认证异常"The ZooKeeper client is AuthFailed"，如下： 14/05/19 10:52:00
Kafka生产者写入单条记录过长问题 问题背景与现象 用户在开发一个Kafka应用，作为一个生产者调用新接口（org.apache.kafka.clients.producer.*）往Kafka写数据，单条记录大小为1100055，超过了kafka配置文件server.properties中message
5.144.2:9092 --topic test 1 [2017-01-24 16:58:36,671] WARN Error while fetching metadata with correlation id 0 : {test=TOPIC_AUTHORIZATION_FAILED}
准备本地应用开发环境 在进行二次开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
调用FileSystem中的create接口获取文件系统客户端 调用FileSystem中的crteateFile接口创建文件 调用FileOutStream中的wirte接口写文件 调用FileSystem中的openFile接口打开文件 调用FileInStream中的in接口读取文件 父主题： 开发Alluxio应用
on为“obs://obs-test/test/数据库名/表名”： create table test(name string) location "obs://obs-test/test/数据库名/表名"; 配置Hive基于MetaStore方式对接OBS： 已完成存算分离配置
query } 使用示例 向test表中一次性插入多行数据： INSERT INTO test VALUES (1, 2), (3, 4); 向test表中导入一个查询语句结果： INSERT INTO test (c1, c2) SELECT * from test2; 父主题： Doris常见SQL语法说明
225.167下备份test表数据到default_test.csv文件中。 clickhouse client --host 10.244.225.167 --secure --port 9440 --query="select * from default.test FORMAT CSV"
命令 说明 create 创建一张表，例如create 'test', 'f1', 'f2', 'f3'。 disable 停止指定的表，例如disable 'test'。 enable 启动指定的表，例如enable 'test'。 alter 更改表结构。可以通过alter命令增
225.167下备份test表数据到default_test.csv文件中。 clickhouse client --host 10.244.225.167 --secure --port 9440 --query="select * from default.test FORMAT CSV"
Spark常用API介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python API接口介绍 Spark client CLI介绍 Spark JDBCServer接口介绍 父主题： Spark应用开发常见问题
ple Spark on HBase 程序-BulkPut接口使用 Java SparkOnHbaseScalaExample-HBaseBulkPutExample Spark on HBase 程序-BulkPut接口使用 Scala SparkOnHbasePythonEx
thread. (org.I0Itec.zkclient.ZkEventThread) ... Test __consumer_offsets counter test test2 test3 test4 父主题： 使用Kafka
调用fileSystem中的mkdir接口创建目录。 调用HdfsWriter的dowrite接口写入信息。 调用fileSystem中的open接口读取文件。 调用HdfsWriter的doAppend接口追加信息。 调用fileSystem中的deleteOnExit接口删除文件。 调用fil
--replication-factor 1 --partitions 2 --topic test --zookeeper 10.6.92.36:2181/kafka Created topic "test". [root@10-10-144-2 client]# kafka-topics
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
