检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用于程序调测或运行的节点，需要与MRS集群内节点网络互通。 配置并导入样例工程 MRS提供了不同组件场景下的多种样例程序，用户可获取样例工程并导入本地开发环境中进行程序学习。 配置安全认证 连接开启了Kerberos认证的MRS集群时，应用程序中需配置具有相关资源访问权限的用户进行安全认证。
取值 区域 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。 华北-北京四 计费模式 MRS提供两种计费模式： 包年/包月 按需计费 选择“按需计费”时，可能需要冻结一定的保证金。详细内容，请参见计费说明。 按需计费 集群名称 集群名
执行以下命令配置环境变量。 source bigdata_env 根据集群认证模式，完成Hive客户端登录。 安全模式，则执行以下命令，完成用户认证并登录Hive客户端。 kinit 组件业务用户 beeline 普通模式，则执行以下命令，登录Hive客户端，如果不指定组件业务用户，则会以当前操作系统用户登录。
目录只是举例，请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下，“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。（普通模式不涉及） 使用HDFS客户端 安装客户端，详细操作请参考使用MRS客户端。 以客户端安装用户，登录安装客户端的节点。
加载空的part文件时，app无法显示在JobHistory的页面上 问题 在分组模式下执行应用，当HDFS上的part文件为空时，发现JobHistory首页面上不显示该part对应的app。 回答 JobHistory服务更新页面上的app时，会根据HDFS上的part文件大
Storm-HDFS开发指引 操作场景 本章节只适用于Storm和HDFS交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 安全模式下登录方式分为两种，票据登录和keytab文件登录，两种方式操作步骤基本一致，票据登录方式为开源提供的能力，后期需要人工上传票据，存在可靠
运行SparkSql作业 用户可将自己开发的程序提交到MRS中，执行程序并获取结果，本章节指导您如何在MRS集群中提交一个SparkSql作业。 SparkSql作业用于查询和分析数据，包括SQL语句和Script脚本两种形式，如果SQL语句涉及敏感信息，也可使用脚本文件方式提交。
执行复杂SQL语句时报“Code of method ... grows beyond 64 KB”的错误 在Beeline/JDBCServer模式下连续运行10T的TPCDS测试套会出现内存不足的现象 连上不同的JDBCServer，function不能正常使用 用add jar方式创建function，执行drop
登录Spark客户端节点，执行如下命令： cd 客户端安装目录 source bigdata_env source Spark/component_env 安全模式执行以下命令，普通模式无需执行： kinit test，输入密码完成认证（首次登录需要修改密码） 使用Spark的 beeline命令提交任务。 cd
快速开发Kafka应用 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点： 高吞吐量
该特性允许用户在给表新增列时，设置列的默认值。查询历史数据时新增列返回默认值。 本章节仅适用于MRS 3.3.0及之后版本。 使用约束 新增列在设置默认值前，如果数据已经进行了重写，则查询历史数据不支持返回列的默认值，返回NULL。数据入库、更新、执行Compaction、Clustering都会导致部分或全部数据重写。
提交作业时，建议使用默认spark on yarn（即5中的--master yarn-client）模式。开源支持spark standalone模式提交，但不推荐使用，该模式资源使用率低，并且使用HTTP，可能存在安全风险。 （可选）在bin目录下调用spark-sql或sp
connections at org.postgresql.core.v3.ConnectionFactoryImpl.readStartupMessages(ConnectionFactoryImpl.java:643) at org.postgresql.core.v3.ConnectionFactoryImpl
nager和TaskManager之间支持SSL加密传输。 详情可参考配置Flink认证和加密。 ACL控制 在HA模式下，支持ACL控制。 Flink在HA模式下，支持用ZooKeeper来管理集群和发现服务。ZooKeeper支持SASL ACL控制，即只有通过SASL（ke
“authentication”：普通模式默认值，指数据在鉴权后直接传输，不加密。这种方式能保证性能但存在安全风险。 “integrity”：指数据直接传输，即不加密也不鉴权。 为保证数据安全，请谨慎使用这种方式。 “privacy”：安全模式默认值，指数据在鉴权及加密后再传输。这种方式会降低性能。
enabled”设置为“true”时有效。 示例：“/test.*”表示读取其路径是以“/test”开头的所有文件。 说明： 为确保一致性，配置特定模式以仅缓存其他客户端不经常修改的文件。 正则表达式模式将仅验证URI的path部分，而不验证在Fully Qualified路径情况下的schema和authority。
168.0.1:6379,192.168.0.2:6379 认证类型 SIMPLE：表示对接的服务是非安全模式，无需认证。 KERBEROS：表示对接的服务是安全模式，安全模式的服务统一使用Kerberos认证协议进行安全认证。 - 父主题： 创建FlinkServer作业前准备
“kerberos”，表示使用安全模式，进行Kerberos认证。Kerberos认证提供两种认证方式：密码和keytab文件。 “simple”，表示使用普通模式，不进行Kerberos认证。 kerberos authentication.user 普通模式或者使用密码认证方式时，登录使用的用户。
Kafka数据消费概述 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控
builder.createTopology()); } 部署运行及结果查看 获取相关配置文件，获取方式如下。 安全模式：参见4获取keytab文件。 普通模式：无。 在Storm示例代码根目录执行如下命令打包："mvn package"。执行成功后，将会在target目录生成storm-examples-1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
