检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“Policy Name”名称为“all - database, table, column”操作列的。 在“Allow Conditions”区域新增策略允许条件,“Select User”列勾选2.a新建的用户名称,“Permissions”列勾选“Select All”。 单击“Save”。
授权”权限,详细操作请参考配置Hive表、列或数据库的用户权限章节。 集群启用了Ranger鉴权,需参考添加Hive的Ranger访问权限策略章节授予用户对应表的Import/Export操作权限。 还需在源端集群和目标集群启用集群间复制功能。 需配置源端集群访问目标集群HDFS服务地址参数。
监控目录。 fileSuffix .COMPLETED 文件传输完成后添加的后缀。 deletePolicy never 文件传输完成后源文件删除策略,支持“never”或“immediate”。分别是从不删除和立即删除。 ignorePattern ^$ 忽略文件的正则表达式表示。 trackerDir
Name”名称为“all - table, column-family, column”操作列的。 在“Allow Conditions”区域新增策略允许条件,“Select User”列勾选2.a新建的用户名称,“Permissions”列勾选“Select/Deselect All”。
取数据,请修改备集群角色的权限。 如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理,具体操作可参考添加HBase的Ranger访问权限策略。 同步主集群表数据。 检查配置HBase容灾并启用数据同步后,主集群是否已存在表及数据,且历史数据需要同步到备集群?
统一身份认证服务(Identity and Access Management) 统一身份认证服务(IAM)为MRS提供了鉴权功能。 创建用户并授权使用MRS MRS自定义策略 IAM用户同步MRS 消息通知服务(Simple Message Notification) MRS联合消息通知服务(SMN),采用主题
启用Ranger鉴权的集群需根据业务需求为该hetu_user添加Ranger权限,可参考添加HetuEngine的Ranger访问权限策略。 创建HetuEngine计算实例。 创建计算实例并确保运行正常,可参考创建HetuEngine计算实例。 步骤二:获取JDBC jar包
3.x及后续版本支持Ranger,如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理,具体操作可参考添加Hive的Ranger访问权限策略。 前提条件 MRS集群管理员已明确业务需求。 已登录Manager。 已安装好Hive客户端。 操作步骤
true(默认值):开启Join下推。 false:关闭Join下推。 true join-pushdown.strategy 用于评估Join操作是否被下推的策略。默认值:AUTOMATIC AUTOMATIC(默认值):启用基于成本的连接下推。 EAGER:尽可能下推Join。即使表统计信息不可用,
默认用户组及默认角色的权限外,需通过Ranger WebUI为用户或者用户所关联的角色/用户组进行赋权,具体操作可参考配置组件权限策略相关访问权限策略设置章节。 在FusionInsight Manager界面选择“系统 > 权限 > 用户”,在用户名中选择developuser,单击操作“更多
ourceManager汇报。 ResourceManager 集群的资源管理器,基于应用程序对资源的需求进行调度。资源管理器提供一个调度策略的插件,它负责将集群资源分配给多个队列和应用程序。调度插件可以基于现有的能力调度和公平调度模型。 Kafka分区 每一个Topic可以被分
/opt/client source bigdata_env 创建输入Topic和输出Topic,与样例代码中指定的Topic名称保持一致,输出Topic的清理策略设置为compact。 kafka-topics.sh --create --zookeeper quorumpeer实例IP地址:ZooKeeper客户端连接端口/kafka
status 不带参数调用大多数命令时会显示帮助信息。 Superior resourcepool命令: 该命令显示Resource Pool和相关策略的相关状态以及配置信息。 Superior resourcepool命令仅用于管理员用户及拥有yarn管理权限的用户。 用法输出: >superior
status 不带参数调用大多数命令时会显示帮助信息。 Superior resourcepool命令: 该命令显示Resource Pool和相关策略的相关状态以及配置信息。 Superior resourcepool命令仅用于管理员用户及拥有yarn管理权限的用户。 用法输出: >superior
status 不带参数调用大多数命令时会显示帮助信息。 Superior resourcepool命令: 该命令显示Resource Pool和相关策略的相关状态以及配置信息。 Superior resourcepool命令仅用于管理员用户及拥有yarn管理权限的用户。 用法输出: >superior
status 不带参数调用大多数命令时会显示帮助信息。 Superior resourcepool命令: 该命令显示Resource Pool和相关策略的相关状态以及配置信息。 Superior resourcepool命令仅用于管理员用户及拥有yarn管理权限的用户。 用法输出: >superior
、Guardian、Loader、ClickHouse、HetuEngine、Oozie、CDL和IoTDB服务 表2 重启策略以及影响 组件名称 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及。 耗时约5分钟。 滚动重启
ql.exec.mr.MapRedTask (state=08S01,code=1) 原因分析 MapReduce任务提交前对输入文件数的检查策略:在提交的MapReduce任务中,允许的最大输入文件数和HiveServer最大堆内存的比值,例如500000/4(默认值),表示每4G
默认资源池 default 表示队列使用的资源池。默认为“default”,如果需要修改为其他资源,需要先配置队列容量,请参见配置资源池的队列容量策略。 MRS 3.x及之后版本: 表2 队列配置参数 参数名 示例 描述 AM最多占有资源(%) 10 表示当前队列内所有Application
步骤二:添加资源池:通过管理控制台将新增的节点配置为租户资源池。 步骤三:添加租户:新创建一个租户。 步骤四:队列配置:修改租户对应的资源队列配置及资源分布策略,将其与新资源池绑定。 步骤五:创建用户:新创建一个MRS集群用户并绑定租户。 步骤六:使用spark-submit提交任务:使用指定的队列运行作业任务。