检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
store以及数据库，支持对于可变状态的细粒度更新，这一点要求集群需要对数据或者日志的更新进行备份来保障容错性。这样就会给数据密集型的工作流带来大量的IO开销。而对于RDD来说，它只有一套受限制的接口，仅支持粗粒度的更新，例如map，join等等。通过这种方式，Spark只需要简单的记录建立数据
扩容成功后，可以在集群详情的“节点管理”页签查看集群的节点信息。 扩容包周期集群 登录MRS管理控制台。 选择“现有集群” ，选中一个运行中的集群并单击集群名称，进入集群信息页面。 选择“节点管理”页签，在需要扩容的节点组的“操作”列单击“扩容”，进入扩容集群页面。 只有运行中的集群才能进行扩容操作。
debug=true; }; 其中keyTab和principal的值请按照实际情况配置，所配置的principal需要有相应的kafka的权限。 配置业务，其中kafka.bootstrap.servers的端口号使用21007，kafka.security.protocol使用SASL_PLAINTEXT。
初始化HDFS 功能简介 在使用HDFS提供的API之前，需要先进行HDFS初始化操作。过程为： 加载HDFS服务配置文件，并进行kerberos安全认证。 认证通过后，实例化Filesystem。 此处kerberos安全认证需要使用到的keytab文件，请提前准备。 代码样例 如下是代码片段，详细代码请参考com
API订阅安全Topic，并进行消息消费的代码片段。 详细内容在com.huawei.bigdata.kafka.example.Consumer类中。 /** * Consumer构造函数。 * @param topic 订阅的Topic名称。 */
API订阅安全Topic，并进行消息消费的代码片段。 详细内容在com.huawei.bigdata.kafka.example.Consumer类中。 /** * Consumer构造函数。 * @param topic 订阅的Topic名称。 */
ReadOnlyAccess权限，拥有该权限的用户仅能查看MRS的资源。）。 默认情况下，管理员创建的IAM用户没有任何权限，需要将其加入用户组，并给用户组授予策略或角色，才能使得用户组中的用户获得对应的权限，这一过程称为授权。授权后，用户就可以基于被授予的权限对云服务进行操作。 在MRS管理控制台“现有集群”
主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 必须在主备集群的所有节点的hosts文件中，配置主备集群所有机器的机器名与业务IP地址的对应关系。 如果主集群的客户端安装在集群外的节点上，也需在该节点的hosts文件中配置主备集群所有机器的机器名与业务IP地址的对应关系。
WebUI”右侧，单击URL链接，访问KafkaUI的页面。 单击“Topics”，进入Topic管理页面。 在待修改项的“Operation”列单击“Action > Alter”，弹出的页面中修改Topic分区。 目前集群只支持增加分区操作，即修改的分区个数要大于原设置的分区个数。 单击“OK”完成修改。
DFS中执行增、删、改、查数据的操作时，必须获取对应的TGT和ST，用于本次安全访问的认证。 应用开发认证 MRS各组件提供了应用开发接口，用于客户或者上层业务产品集群使用。在应用开发过程中，安全模式的集群提供了特定的应用开发认证接口，用于应用程序的安全认证与访问。例如hadoop-common
kinit 组件业务用户 该方式仅适用于Linux操作系统，且安装了Kudu的客户端。 代码认证： 通过获取客户端的principal配置文件和keytab文件进行认证。 父主题： 准备Kudu应用开发环境
设置在默认数据库中，插入其他用户表的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限”。 在数据库列表中单击指定的数据库名称，显示数据库中的表。 在指定表的“权限”列，勾选“插入”。 设置在默认数据库中，导入数据到其他用户表的权限 在“配置资源权限”的表格中选择“待操作集群的名称
HBase服务数据读写示例安全认证（多集群互信场景） 场景说明 当不同的多个Manager系统下安全模式的集群需要互相访问对方的资源时，管理员可以设置互信的系统，使外部系统的用户可以在本系统中使用。每个系统用户安全使用的范围定义为“域”，不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用
HBase服务数据读写示例安全认证（多集群互信场景） 场景说明 当不同的多个Manager系统下安全模式的集群需要互相访问对方的资源时，管理员可以设置互信的系统，使外部系统的用户可以在本系统中使用。每个系统用户安全使用的范围定义为“域”，不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用
e2、DataNode3（三备份）。写完的数据，将返回确认信息给HDFS Client。 合理设置块大小，如设置dfs.blocksize为 268435456（即256MB）。 对于一些不可能重用的大数据，缓存在操作系统的缓存区是无用的。可将以下两参数设置为false： dfs
有小文件的更新来解决小文件的问题。此处的大小是被视为“小文件大小”的最小文件大小。 104857600 byte hoodie.copyonwrite.insert.split.size 插入写入并行度。为单个分区的总共插入次数。写出100MB的文件，至少1KB大小的记录，意味着
查看当前集群是否存在正在运行的任务。 是，等待任务运行结束。 否，检查结束。 检查集群是否有非标修改组件配置的操作 询问客户是否有做过相关操作。 查看该客户档案，是否有记录相关非标操作。 是，需要详细评估补丁跟非标配置的兼容性。 否，检查结束。 检查集群是否有安装紧急补丁 登录客户集群的主备节点，并进入“/home/omm”。
查看当前集群是否存在正在运行的任务。 是，等待任务运行结束。 否，检查结束。 检查集群是否有非标修改组件配置的操作 询问客户是否有做过相关操作。 查看该客户档案，是否有记录相关非标操作。 是，需要详细评估补丁跟非标配置的兼容性。 否，检查结束。 检查集群是否有安装紧急补丁 登录客户集群的主备节点，进入“/home/omm”目录。
在“配置资源权限”列表，选择待增加权限的集群，为角色选择服务权限。 在设置组件的权限时，可通过右上角的“搜索”框输入资源名称，然后单击搜索图标显示搜索结果。 搜索范围仅包含当前权限目录，无法搜索子目录。搜索关键字支持模糊搜索，不区分大小写。 对于已启用Ranger授权的组件（HDFS与Yarn
查看当前集群是否存在正在运行的任务。 是，等待任务运行结束。 否，检查结束。 检查集群是否有非标修改组件配置的操作 询问客户是否有做过相关操作。 查看该客户档案，是否有记录相关非标操作。 是，需要详细评估补丁跟非标配置的兼容性。 否，检查结束。 检查集群是否有安装紧急补丁 登录客户集群的主备节点，进入“/home/omm”目录。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
