检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Spark执行Hudi样例程序（Java） 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieWriteClientExample。 创建客户端对象来操作Hudi： String tablePath = args[0];
运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata...” 问题现象 已经拥有Topic访问权限，但是运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata for
MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下： 以HDFS文本文件为输入数据： log1.txt：数据输入文件 YuanJing
Spark Structured Streaming对接Kafka样例程序（Scala） 功能介绍 使用Structured Streaming，从Kafka中读取广告请求数据、广告展示数据、广告点击数据，实时获取广告有效展示统计数据和广告有效点击统计数据，将统计结果写入kafka中。
Spark同步HBase数据到CarbonData样例程序开发思路 场景说明 数据实时写入HBase，用于点查业务，数据每隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 数据规划 创建HBase表，构造数据，列需要包含key，modify_time，valid
运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata...” 问题现象 已经拥有Topic访问权限，但是运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata for
Spark Structured Streaming状态操作样例程序（Scala） 功能介绍 在Spark结构流应用中，跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp；同时输出本批次被更新状态的session。 代码样例
使用代理用户访问FlinkServer REST API样例程序（Java） 功能介绍 通过代理用户调用FlinkServer RestAPI。以FlinkServer管理员权限的用户访问API来获取普通用户权限。 本章节适用于MRS 3.3.0及以后版本。 代码样例 以租户用户
检查HBase全局二级索引数据一致性 场景介绍 可使用全局二级索引工具检查用户数据和索引数据的一致性，如果索引数据与用户数据不一致，该工具可用于重新构建索引数据。 检查全局二级索引数据一致性 在HBase客户端执行以下命令可检查数据一致性，如果不一致，将重新构建索引数据。一致性检
MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下： 以HDFS文本文件为输入数据： log1.txt：数据输入文件 YuanJing
两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/female/user
在本地Windows环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。 Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。
Spark Structured Streaming对接Kafka样例程序（Scala） 功能介绍 使用Structured Streaming，从kafka中读取广告请求数据、广告展示数据、广告点击数据，实时获取广告有效展示统计数据和广告有效点击统计数据，将统计结果写入kafka中。
Spark Structured Streaming状态操作样例程序（Scala） 功能介绍 在Spark结构流应用中，跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp；同时输出本批次被更新状态的session。 代码样例
开启防误删下，为什么Carbon表没有执行drop table命令，回收站中也会存在该表的文件？ 问题 开启防误删下，为什么Carbon表没有执行drop table命令，回收站中也会存在该表的文件？ 回答 在Carbon适配防误删后，调用文件删除命令，会将删除的文件放入回收站中
Spark Structured Streaming对接Kafka样例程序（Scala） 功能介绍 使用Structured Streaming，从kafka中读取广告请求数据、广告展示数据、广告点击数据，实时获取广告有效展示统计数据和广告有效点击统计数据，将统计结果写入kafka中。
环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。 运行任务 在运行样例程序时需要指定
credentials.hbase.enabled”设置为“true”（该参数值默认为“false”，改为“true”后对已有业务没有影响。如果要卸载HBase服务，卸载前请将此参数值改回“false”）。 spark-submit --master yarn --deploy-mode client
Spark同时访问两个HBase样例程序（Scala） 以下为Spark同时访问两个HBase样例程序的Scala示例。 下面代码片段仅为演示。 具体代码参见：com.huawei.spark.examples.SparkOnMultiHbase def main(args: Array[String]):
如何处理非static的KafkaPartitioner类对象构造FlinkKafkaProducer010运行时报错 问题 Flink内核升级到1.3.0之后，当Kafka调用带有非static的KafkaPartitioner类对象为参数的FlinkKafkaProducer010去构造函数时，运行时会报错。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
