检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
拖到右侧的操作界面中并将其连接。 例如采用Kafka Source、Memory Channel和HDFS Sink，如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink，根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties
上，具备高度容错特性，支持高吞吐量数据访问的分布式文件系统，非常适合大规模数据集应用。 HDFS适用于如下场景： 处理海量数据（TB或PB级别以上） 需要很高的吞吐量 需要高可靠性 需要很好的可扩展能力 MRS对外提供了基于HDFS组件的应用开发样例工程，本实践用于指导您创建MR
java”工程，单击运行对应的应用程序工程。或者右键工程，选择“Run MultiComponentLocalRunner.main()”运行应用工程。 如果集群开启了ZooKeeper SSL，则运行该样例前，需要检查配置文件mapred-site.xml（准备运行环境中样例工程的“conf”
userPrincipal配置为所使用的用户。 userKeytabPath配置为下载的keytab文件的路径。 Krb5ConfPath配置为下载的krb5.conf文件的路径。 域名配置为DEFAULT_REALM，在KerberosUtil类中修改DEFAULT_REALM为集群的域名。 将secu
获取运行中Spark应用的Container日志 运行中Spark应用的Container日志分散在多个节点中，本章节用于说明如何快速获取Container日志。 场景说明 可以通过yarn logs命令获取运行在Yarn上的应用的日志，针对不同的场景，可以使用以下命令获取需要的日志： 获取
获取运行中Spark应用的Container日志 运行中Spark应用的Container日志分散在多个节点中，本章节用于说明如何快速获取Container日志。 场景说明 可以通过yarn logs命令获取运行在Yarn上的应用的日志，针对不同的场景，可以使用以下命令获取需要的日志： 获取
普通模式或者使用密码认证方式时，登录使用的用户。 keytab登录方式，则不需要设置该参数。 bar authentication.password 使用密码认证方式时，登录使用的用户密码。 普通模式或者keytab登录方式，则不需要设置该参数。 用户需要对密码加密，加密方法： 进入“e
普通模式或者使用密码认证方式时，登录使用的用户。 keytab登录方式，则不需要设置该参数。 bar authentication.password 使用密码认证方式时，登录使用的用户密码。 普通模式或者keytab登录方式，则不需要设置该参数。 用户需要对密码加密，加密方法： 进入“e
可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。 准备Spark连接集群配置文件 准备工程 Spark提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。或者您可以根据指导，新建一个Spark工程。
现是否要发起认证，还需要判断configuration中是否有配置“hadoop.security.authentication”为“kerberos”。 本Hive业务应用确实没有正确设置此配置，所以被认为不需要做kerberos认证。 分析Hive组件的“jdbc-examp
给当前用户添加其他用户库表的HDFS路径的读、写、执行权限，具体配置请参考添加HDFS的Ranger访问权限策略。 在Ranger上为用户添加Spark SQL的访问策略后，需要在HDFS的访问策略中添加相应的路径访问策略，否则无法访问数据文件，具体请参考添加HDFS的Ranger访问权限策略。
该章节通过指导用户配置集群绑定EIP，并配置HBase文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行hbase-example中的样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合（注意如果主机名中出现大写字母要改成小写）。
option("nullValue", "").save("/tmp/outputDir") 回答 Spark导出带有相同字段名的表，会导出失败。 Spark中对join语句重名字段做了判断，需要修改代码保证保存的数据中无重复字段。 父主题： Spark故障排除
ive组，同时添加Oozie的角色操作权限。若使用Hive多实例，该用户还需要从属于具体的Hive实例组，如hive3。 用户同时还需要至少有manager_viewer权限的角色。 已获取运行状态的Oozie服务器（任意实例）URL，如“https://10.1.130.10:21003/oozie”。
配置安全登录 该场景下不需要进行初始化配置，仅需要用于Kerberos安全认证的keytab文件和krb5.conf文件。 以下代码在hbase-rest-example样例工程的“com.huawei.bigdata.hbase.examples”包的“HBaseRestTest”类中。
hive组，同时添加Oozie的角色操作权限。若使用Hive多实例，该用户还需要从属于具体的Hive实例组，如hive3。 用户同时还需要至少有manager_viewer权限的角色。 获取运行状态的Oozie服务器（任意实例）URL，如“https://10.1.130.10:21003/oozie”。
在弹出的窗口中单击“确定”。 查看过期配置： 单击“过期配置”，界面将显示当前集群内配置过期的配置项。 可通过界面上方的服务过滤框进行筛选，查看不同服务的过期配置，或者在搜索框中直接搜索关键字。 处于过期状态的配置项并未完全生效，在不影响业务情况下，请及时重启配置过期的服务或实例。
参数名称 参数含义 来源 产生告警的集群名称。 角色名 产生告警的角色名称。 主题名 产生告警的Topic名称列表。 对系统的影响 单副本的Topic存在单点故障风险，当副本所在节点异常时，会直接导致Partition没有leader，影响该Topic上的业务。 可能原因 Topic副本数配置不合理。
2 2 1 1 1 1 2 2 对于以上结果的第一条为什么是(NULL,0)而不是(NULL,4)。 回答 在进行rollup和cube操作时，用户通常是基于维度进行分析，需要的是度量的结果，因此不会对维度进行聚合操作。 例如当前有表src(d1, d2,
ive组，同时添加Oozie的角色操作权限。如果使用Hive多实例，该用户还需要从属于具体的Hive实例组，如hive3。 用户同时还需要至少有manager_viewer权限的角色。 获取运行状态的Oozie服务器（任意实例）URL，如“https://10.1.130.10:21003/oozie”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
