检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Structured Streaming对接Kafka样例程序（Scala） 功能介绍 使用Structured Streaming，从Kafka中读取广告请求数据、广告展示数据、广告点击数据，实时获取广告有效展示统计数据和广告有效点击统计数据，将统计结果写入kafka
启动一个有3个TaskManager实例的Flink集群示例如下： bin/yarn-session.sh yarn-session.sh的其他参数可以通过以下命令获取： bin/yarn-session.sh -help Flink 使用flink命令可以提交Flink作业，作业既可以被提交到一个常驻的
jdbc驱动包获取方法： 在“FusionInsight_Cluster_集群ID_HetuEngine_ClientConfig\HetuEngine\xxx\”路径下获取“hetu-jdbc-*.jar”文件。 备注：xxx为“arm”或“x86”。
当ZooKeeper连接认证异常时，无法从ZooKeeper中获取正确的HiveServer地址。
Spark Streaming应用运行过程中重启Kafka，Web UI界面部分batch time对应Input Size为0 records 问题 在Spark Streaming应用执行过程中重启Kafka时，应用无法从Kafka获取topic offset，从而导致生成Job
前提条件 获取用户“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。 已安装集群客户端，例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。更新客户端，具体请参见更新客户端（3.x之前版本）。
由此FileSystem实例获取写文件的各类资源。 将待写内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。
代码样例 用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*.jar，该jar包可在Kafka客户端目录下获取。
Spark Streaming应用运行过程中重启Kafka，Web UI界面部分batch time对应Input Size为0 records 问题 在Spark Streaming应用执行过程中重启Kafka时，应用无法从Kafka获取topic offset，从而导致生成Job
获取相关配置文件。获取方法如下： 在安装好的HBase客户端目录下找到目录“/opt/clientHbase/HBase/hbase/conf”，在该目录下获取到core-site.xml、hdfs-site.xml、hbase-site.xml配置文件。 获取相关jar包。
过程为： 使用FileSystem实例的append方法获取追加写入的输出流。 使用该输出流将待追加内容添加到HDFS的指定文件后面。 在完成后，需关闭所申请资源。
由此FileSystem实例获取各类相关资源。 将待追加内容添加到HDFS的指定文件后面。 在完成后，需关闭所申请资源。 代码样例 如下是代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsMain类和HdfsWriter类。
用户在开发前需要使用对接安全模式的Kafka，则需要引入MRS的kafka-client-xx.x.x.jar，该jar包可在MRS client目录下获取。 样例代码 下面列出producer和consumer主要逻辑代码作为演示。
用户在开发前需要使用对接安全模式的Kafka，则需要引入MRS的kafka-client-xx.x.x.jar，该jar包可在MRS client目录下获取。 代码样例 下面列出producer和consumer主要逻辑代码作为演示。
过程为： 使用FileSystem实例的append方法获取追加写入的输出流。 使用该输出流将待追加内容添加到HDFS的指定文件后面。 在完成后，需关闭所申请资源。
Storm的WebUI支持查看以下信息： Storm集群汇总信息 Nimbus汇总信息 拓扑汇总信息 Supervisor汇总信息 Nimbus配置信息 前提条件 获取用户“admin”账号密码。“admin”密码在创建集群时由用户指定。
操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文件夹“oozienormal-examples”中的OozieMapReduceExample，OozieSparkHBaseExample和OozieSparkHiveExample
”从Hive客户端获取，例如：/opt/client/Hive/config，“mapred-site.xml”文件从Yarn客户端获取，例如：/opt/client/Yarn/config。
操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\oozie-examples\oozienormal-examples”目录下的“OozieMapReduceExample、OozieSparkHBaseExample和OozieSparkHiveExample
Guardian的典型特性包括： 提供获取访问OBS的临时认证凭据的能力。 提供访问OBS的细粒度权限控制的能力。 提供访问OBS的临时认证凭据的统一缓存刷新能力。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
