检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“入方向规则”页签，选择“添加规则”，在“添加入方向规则”窗口配置Windows的IP和10000端口。 。 在Manager界面选择“集群 > 服务 > Hive > 更多 > 下载客户端”，将客户端中的core-site.xml和hiveclient.properties复制到样例工程的resources目录下。
集群外节点提交Spark作业时报错无法连接Driver 问题现象 集群外节点和集群各个节点网络已经互通，在集群外节点使用client模式提交Spark任务到Yarn上，任务失败，报错信息为无法连接Driver。 原因分析 使用client模式提交Spark任务的时候，Spark的driver进程是在
ows通过EIP访问集群Kafka，详情请参见配置Windows通过EIP访问普通模式集群Kafka。 如需在Linux调测程序，需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件，均具有可读权限。同时保证已安装JDK并已设置java相关环境变量。
方向规则”窗口配置Windows的IP和21730TCP、21731TCP/UDP、21732TCP/UDP端口。 在Manager界面选择“集群 > 服务 > Hive > 更多 > 下载客户端”，将客户端中的core-site.xml和hiveclient.propertie
为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 配置集群安全组规则。 在集群“概览”界面，选择“添加安全组规则 > 管理安全组规则”。 在“入方向规则”页签，选择“添加规则”，在“添加入方向规则”窗口配置Windows的IP和8020、9866端口。
如果需要从远端HDFS恢复数据，需要准备备集群，且已完成数据备份，详细操作请参见备份Kafka元数据。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置MRS集群间互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配
配置Kafka高可用和高可靠 操作场景 Kafka消息传输保障机制，可以通过配置不同的参数来保障消息传输，进而满足不同的性能和可靠性要求。本章节介绍如何配置Kafka高可用和高可靠参数。 本章节内容适用于MRS 3.x及后续版本。 对系统的影响 配置高可用、高性能的影响： 配置高
ows通过EIP访问集群Kafka，详情请参见配置Windows通过EIP访问安全模式集群Kafka。 如需在Linux调测程序，需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件，均具有可读权限。同时保证已安装JDK并已设置java相关环境变量。
Flink Jar作业提交SQL样例程序（Java） 提交SQL的核心逻辑如下，目前只支持提交CREATE和INSERT语句。完整代码参见com.huawei.bigdata.flink.examples.FlinkSQLExecutor。 public class FlinkSQLExecutor
ors中。 无 HDFS的二次开发过程中，可以获取DFSColocationAdmin和DFSColocationClient实例，进行从location创建group、删除group、写文件和删除文件的操作。 使用Colocation功能，用户指定了DataNode，会造成某些
ors中。 无 HDFS的二次开发过程中，可以获取DFSColocationAdmin和DFSColocationClient实例，进行从location创建group、删除group、写文件和删除文件的操作。 使用Colocation功能，用户指定了DataNode，会造成某些
为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 配置集群安全组规则。 在集群“概览”界面，选择“添加安全组规则 > 管理安全组规则”。 在“入方向规则”页签，选择“添加规则”，在“添加入方向规则”窗口配置Windows的IP和8020、9866端口。
e过程中无需传递数据，直接在节点本地做Map Join后就能得到结果，性能显著提升。 HDFS数据同分布特性，使得需要做关联和汇总计算的两个文件FileA和FileB，通过指定同一个分布ID，使其所有的Block分布在一起，不再需要跨节点读取数据就能完成计算，极大提高MapReduce
s的IP和21730TCP、21731TCP/UDP、21732TCP/UDP端口。 图2 添加入方向规则 在Manager界面选择“集群 > 服务 > HBase > 更多 > 下载客户端”，将客户端中的“core-site.xml”、“hdfs-site.xml”和“hbase-site
如果需要从远端HDFS恢复数据，需要准备备集群，且已完成数据备份，详细操作请参见备份HBase业务数据。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置MRS集群间互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配
配置Kafka高可用和高可靠 操作场景 Kafka消息传输保障机制，可以通过配置不同的参数来保障消息传输，进而满足不同的性能和可靠性要求。本章节介绍如何配置Kafka高可用和高可靠参数。 本章节内容适用于MRS 3.x及后续版本。 对系统的影响 配置高可用、高性能的影响： 配置高
方向规则”窗口配置Windows的IP和21730TCP、21731TCP/UDP、21732TCP/UDP端口。 在Manager界面选择“集群 > 服务 > Hive > 更多 > 下载客户端”，将客户端中的core-site.xml和hiveclient.propertie
FS角色可设置HDFS目录或文件的读、写和执行权限。 用户在HDFS中对自己创建的目录或文件拥有完整权限，可直接读取、写入以及授权他人访问此HDFS目录与文件。 本章节适用于MRS 3.x及后续版本。 安全模式支持创建HDFS角色，普通模式不支持创建HDFS角色。 如果当前组件使
配置Windows通过EIP访问普通模式集群Kafka 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Kafka文件的方法，方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Windows的hosts文件添加所有节点的公网IP对应
的作业为例，介绍如何分别在交互模式和批量模式下使用sqoop-shell工具进行创建和启动Loader作业。 本章节适用于MRS 3.x及后续版本。 前提条件 已安装并配置Loader客户端，具体操作请参见使用命令行运行Loader作业。 交互模式示例 使用安装客户端的用户登录Loader客户端所在节点。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
