检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不影响您使用MRS服务的其他功能。 本章节为您介绍对用户授权的方法,操作流程如图1所示。 前提条件 给用户组授权之前,请您了解用户组可以添加的MRS权限,并结合实际需求进行选择,MRS支持的系统权限,请参见权限管理。若您需要对除MRS之外的其他服务授权,IAM支持服务的所有策略请参见权限策略。
间而定,步骤如下: 在安装好的storm客户端目录的“Storm/storm-1.2.1/conf/storm.yaml”文件尾部新起一行添加如下内容: topology.auto-credentials: - org.apache.storm.security.auth.kerberos
写入作业影响可以忽略。 上述方案落地的具体步骤参考如下: Flink只负责写数据和生成Compaction计划 Flink流任务建表语句中添加如下参数,控制Flink任务写Hudi时只会生成Compaction plan 'compaction.async.enabled' = 'false'
使用WinSCP工具将CSV文件导入客户端节点,例如“/opt”目录下。 登录FusionInsight Manager页面,选择“系统 > 权限 > 用户”,添加人机用户sparkuser,用户组(hadoop、hive),主组(hadoop)。 进入客户端目录,加载环境变量并认证用户: cd /客户端安装目录
),若使用默认值读性能会降到极低。 当不需要读一条数据所有的列时,需要指定读取的列,以减少网络IO。 只读取RowKey时,可以为Scan添加一个只读取RowKey的filter(FirstKeyOnlyFilter或KeyOnlyFilter)。 读数据表设计调优 表2 影响实时读数据相关参数
使用WinSCP工具将CSV文件导入客户端节点,例如“/opt”目录下。 登录FusionInsight Manager页面,选择“系统 > 权限 > 用户”,添加人机用户sparkuser,用户组(hadoop、hive),主组(hadoop)。 进入客户端目录,加载环境变量并认证用户: cd /客户端安装目录
xt。所以在序列化时报“NullPointerException”。 解决办法:应用中如果有无输出逻辑的输入流,则在代码中删除该输入流,或添加该输入流的相关输出逻辑。 父主题: Spark Streaming
据。或在开发作业时,配置Flink动态发现Kafka Topic新分区功能。 可在作业SQL Kafka source表的WITH属性中,添加“scan.topic-partition-discovery.interval”参数,设置值为动态刷新时间,如“5min”。 查看作业管理界面,作业状态为“运行中”。
行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 已添加关联Yarn并分配了动态资源的租户。 通过管理控制台配置租户队列 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
HDFS目录权限就能做相应的操作。 如果当前组件使用了Ranger进行权限控制,需基于Ranger配置相关策略进行权限管理,具体操作可参考添加Hive的Ranger访问权限策略章节。 父主题: Hive开发指南(安全模式)
xt。所以在序列化时报“NullPointerException”。 解决办法:应用中如果有无输出逻辑的输入流,则在代码中删除该输入流,或添加该输入流的相关输出逻辑。 父主题: Spark Streaming
配置 > 全部配置 > ClickHouseServer(角色) > 自定义”,在“clickhouse-config-customize”中添加如下参数: 名称 值 kafka.security_protocol plaintext 单击“保存”,在弹窗页面中单击“确定”,保存配置
Manager授予该用户所属角色对应表的“Select授权”权限,详细操作请参考配置Hive表、列或数据库的用户权限章节。 集群启用了Ranger鉴权,需参考添加Hive的Ranger访问权限策略章节授予用户对应表的Import/Export操作权限。 还需在源端集群和目标集群启用集群间复制功能。
具体请参考配置跨Manager集群互信。 操作步骤 登录Kafka服务所在集群的Manager页面,选择“系统 > 权限 > 用户 > 添加用户”,创建一个具有Kafka权限的用户,例如创建机机用户ck_user1。Kafka用户权限介绍请参考Kafka用户权限说明。 选择“系统
准备应用开发配置文件 集群创建成功后,登录FusionInsight Manager创建用于样例工程安全认证的集群用户。 选择“系统 > 权限 > 用户 > 添加用户”,在新增用户界面创建一个机机用户,例如developuser。 “用户组”需加入“hive”、“supergroup”用户组。 选择“系统
在本地Windows中调测HDFS程序 (可选)在开发环境中(例如IntelliJ IDEA中),运行此样例代码需要设置运行用户,设置运行用户有两种方式,添加环境变量HADOOP_USER_NAME或者修改代码。设置环境变量方法具体如下: 选中需要运行的样例程序HdfsExample.java或者ColocationExample
间而定,步骤如下: 在安装好的storm客户端目录的“Storm/storm-1.2.1/conf/storm.yaml”文件尾部新起一行添加如下内容: topology.auto-credentials: - org.apache.storm.security.auth.kerberos
群互信,具体请参考配置跨Manager集群互信。 操作步骤 登录Kafka服务所在Manager页面,选择“系统 > 权限 > 用户 > 添加用户”,创建一个具有Kafka权限的人机用户,例如创建人机用户ck_user1,首次使用需要修改初始密码。Kafka用户权限介绍请参考Kafka用户权限说明。
namenode.decommission.force.replication.min”参数设置的值时,可以执行退服,系统将同时执行退服和添加HDFS副本数的操作。快速退服期间如果有写入数据操作,可能导致数据丢失,请谨慎操作。快速退服相关参数如下,可以在Manager界面的HDFS服务参数全部配置页面搜索查看:
以root用户分别登录ClickHouseServer实例对应的主机节点,检查“/etc/hosts”文件内是否包含4中主机信息,如未包含,添加4中主机信息到“/etc/hosts”文件中。 父主题: 备份MRS集群组件数据