检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Conditions 策略允许条件,配置本策略内允许的权限及例外。 在“Select Role”、“Select Group”、“Select User”列选择已创建好的需要授予权限的Role、用户组或用户,单击“Add Conditions”,添加策略适用的IP地址范围,单击“Add Permissions”,添加对应权限。
YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作前需要进行如下配置: 从MySQL数据库安装路径下获取MySQL客户端jar包(如mysqlclient-5.8.1.jar),将其保存在Loader服务主备节点的lib路径:“
YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作前需要进行如下配置: 从MySQL数据库安装路径下获取MySQL客户端jar包(如mysqlclient-5.8.1.jar),将其保存在Loader服务主备节点的lib路径:“
Conditions 策略允许条件,配置本策略内允许的权限及例外。 在“Select Role”、“Select Group”、“Select User”列选择已创建好的需要授予权限的Role、用户组或用户,单击“Add Conditions”,添加策略适用的IP地址范围,单击“Add Permissions”,添加对应权限。
Source在按行读取过程中,会忽略掉每一个Event的最后一个换行符,该换行符所占用的数据量指标不会被Flume统计。 Kafka Source Kafka Source从Kafka的topic中消费数据,可以设置多个Source消费同一个topic的数据,每个Source会消费topic的不同partitions。常用配置如表
流转换生成的数据流。从本质上说,一个DStream表示一系列连续的RDD。RDD是一个只读的、可分区的分布式数据集。 DStream中的每个RDD包含了一个区间的数据。如图4所示。 图4 DStream与RDD关系 应用到DStream上的所有算子会被转译成下层RDD的算子操作,
MRS集群内各个大数据组件通常支持开源社区的所有参数,其中部分常用场景的配置参数支持在MRS管理控制台或者Manager中进行修改,且部分组件的客户端可能不包含开源特性的所有参数。 如果需要修改或者添加界面中未包含的配置参数,用户可以通过自定义配置项功能为组件添加新的参数,添加的新参数最终将保存在组件的配置文件中并在重启后生效。
对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对MRS服务,管理员能够控制IAM用户仅能对集群进行指定的管理操作。如不
流转换生成的数据流。从本质上说,一个DStream表示一系列连续的RDD。RDD是一个只读的、可分区的分布式数据集。 DStream中的每个RDD包含了一个区间的数据。如图4所示。 图4 DStream与RDD关系 应用到DStream上的所有算子会被转译成下层RDD的算子操作,
流转换生成的数据流。从本质上说,一个DStream表示一系列连续的RDD。RDD是一个只读的、可分区的分布式数据集。 DStream中的每个RDD包含了一个区间的数据。如图4所示。 图4 DStream与RDD关系 应用到DStream上的所有算子会被转译成下层RDD的算子操作,
流转换生成的数据流。从本质上说,一个DStream表示一系列连续的RDD。RDD是一个只读的、可分区的分布式数据集。 DStream中的每个RDD包含了一个区间的数据。如图4所示。 图4 DStream与RDD关系 应用到DStream上的所有算子会被转译成下层RDD的算子操作,
以round-robin的形式将元素分区到下游操作的子集中。 说明: 查看代码和rebalance的方式是一样的。 def broadcast: DataStream[T] 广播每个元素到所有分区。 提供设置eventtime属性的能力 表6 提供设置eventtime属性的能力的相关接口 API
以round-robin的形式将元素分区到下游操作的子集中。 说明: 查看代码和rebalance的方式是一样的。 def broadcast: DataStream[T] 广播每个元素到所有分区。 提供设置eventtime属性的能力 表6 提供设置eventtime属性的能力的相关接口 API
以round-robin的形式将元素分区到下游操作的子集中。 说明: 查看代码和rebalance的方式是一样的。 def broadcast: DataStream[T] 广播每个元素到所有分区。 提供设置eventtime属性的能力 表6 提供设置eventtime属性的能力的相关接口 API
以round-robin的形式将元素分区到下游操作的子集中。 说明: 查看代码和rebalance的方式是一样的。 def broadcast: DataStream[T] 广播每个元素到所有分区。 提供设置eventtime属性的能力 表6 提供设置eventtime属性的能力的相关接口 API
弹性升缩成功/失败的场景下,由MRS管理面通过邮件或短信方式通知对应用户。 管理面检查大数据集群的告警信息,如果大数据集群的告警信息影响到服务的使用,其告警级别达到致命时,则发送信息通知给对应租户。 在用户集群的ECS机器被删除、关机、修改规格、重启、更新OS的行为,会导致大数据
以根据接收到的元素生成不同的Watermark。 提供迭代的能力 表9 提供迭代的能力的相关接口 API 说明 public IterativeStream<T> iterate() 在流(flow)中创建一个带反馈的循环,通过重定向一个operator的输出到之前的operator。
以根据接收到的元素生成不同的Watermark。 提供迭代的能力 表9 提供迭代的能力的相关接口 API 说明 public IterativeStream<T> iterate() 在流(flow)中创建一个带反馈的循环,通过重定向一个operator的输出到之前的operator。
以根据接收到的元素生成不同的Watermark。 提供迭代的能力 表9 提供迭代的能力的相关接口 API 说明 public IterativeStream<T> iterate() 在流(flow)中创建一个带反馈的循环,通过重定向一个operator的输出到之前的operator。
步到对应的云服务器或云硬盘节点上。 通过MapReduce服务节点管理页面,在节点列表中将鼠标移动到对应节点的标签图标上,可以查看该节点上已存在的标签。 MRS标签更新会同步到集群中的云服务器(ECS)或云硬盘(EVS)标签上,但是在ECS或EVS控制台上修改MRS集群的标签不会