检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Java样例代码 功能介绍 在Spark应用中，通过使用StructuredStreaming调用kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples
两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/female/user
Scala样例代码 功能介绍 在Spark应用中，通过使用StructuredStreaming调用kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples
hadoop.系统域名.com //10.96.101.32:21007表示kafka服务器的IP:port SSL加密配置 服务端配置。 登录FusionInsight Manager页面，选择“集群 > 服务 > Kafka > 配置”，参数类别设置为“全部配置”，搜索“ssl.mode
使用ZooKeeper客户端 Zookeeper是一个开源的，高可靠的，分布式一致性协调服务。Zookeeper设计目标是用来解决那些复杂，易出错的分布式系统难以保证数据一致性的。不必开发专门的协同应用，十分适合高可用服务保持数据一致性。 背景信息 在使用客户端前，除主管理节点以外的客户端，需要下载并更新客户端配置文件。
jre/lib/security. 原因分析 用户使用的JDK中的jar包与MRS服务认证的jar包版本不一致。 处理步骤 以root用户登录集群Master1节点。 执行如下命令，查看MRS服务认证的jar包。 ll /opt/share/local_policy/local_policy
为192.168.1.18。 在遇到诸如下述类问题时，需要查看审计日志： 如客户端发起请求，但是未得到响应。由于不确定任务是卡在客户端还是服务端，可以通过审计日志查看。如果审计日志根本没有相关信息，那么说明任务终止在客户端；如果审计日志有相关信息打印，那么就需要去运行日志里进一步定位原因。
Flink应用开发规范 Flink开发规范概述 FlinkSQL Connector开发规范 Flink on Hudi开发规范 Flink任务开发规范 Flink SQL逻辑开发规范 Flink性能调优开发规范 Flink开发样例
Hudi应用开发规范 Hudi开发规范概述 Hudi数据表设计规范 Hudi数据表管理操作规范 Spark on Hudi开发规范 Bucket调优示例
相关业务结束，需要终止大数据集群等。 用户想要及时得知这些操作是否执行成功，以及当集群出现大数据服务不可用，或节点故障时，用户希望不用频繁登录集群查看，就可以及时地收到告警通知。MRS联合消息通知服务(SMN)，可以将以上信息主动地通知到用户的手机及邮箱，让维护更加省心省力。 客户价值
MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍
分区设置操作 Hudi支持多种分区方式，如多级分区、无分区、单分区、时间日期分区。用户可以根据实际需求选择合适的分区方式，接下来将详细介绍Hudi如何配置各种分区类型。 多级分区 多级分区即指定多个字段为分区键，需要注意的配置项： 配置项 说明 hoodie.datasource.write
参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 DirName 产生告警的挂载目录名。 PartitionName 产生告警的设备分区名。 对系统的影响 造成服务数据无法写入，业务系统运行不正常。 可能原因
常见操作 修改集群服务配置参数 访问集群Manager 使用MRS客户端
安装MRS集群客户端 安装客户端（3.x版本） 安装客户端（2.x及之前版本）
Doris应用开发规范 Doris建表规范 Doris数据变更规范 Doris命名规范 Doris数据查询规范 Doris数据导入规范 Doris UDF开发规范 Doris连接运行规范
版本说明 MRS 3.1.2-LTS.3版本说明 MRS 3.1.5版本说明 MRS 3.2.0-LTS.1版本说明 父主题： 发行版本
数据迁移方案介绍 准备工作 元数据导出 数据复制 数据恢复 父主题： 数据迁移
Spark SQL ROLLUP和CUBE使用的注意事项 Spark SQL在不同DB都可以显示临时表 如何在Spark命令中指定参数值 SparkSQL建表时的目录权限 为什么不同服务之间互相删除UDF失败 Spark SQL无法查询到Parquet类型的Hive表的新插入数据 cache
getExecutionEnvironment // 设置job的并发度为2 env.setParallelism(2) //设置Zookeeper为注册服务器 val zkRegisterServerHandler = new ZookeeperRegisterServerHandler
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
