检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该操作指导用户对ZooKeeper的znode设置权限。 ZooKeeper通过访问控制列表(ACL)来对znode进行访问控制。ZooKeeper客户端为znode指定ACL,ZooKeeper服务器根据ACL列表判定某个请求znode的客户端是否有对应操作的权限。ACL设置涉及如下四个方面。 查看
录的offset,不用从头开始消费。 场景2 没有像场景1中那样设置固定的“zkRoot”或者“id”,导致无法读取历史的offset,如此一来每次提交拓扑都会把历史已经消费过的数据再消费一遍,这时需要通过如下方式手动指定: SpoutConfig spoutConfig = new
XXXX 访问OBS,无需再配置AK、SK和Endpoint。 OBS路径格式:obs://OBS并行文件系统名称/XXX hadoop fs -ls "obs://obs-example/job/hadoop-mapreduce-examples-3.1.2.jarobs-exam
SQL进行改写,提高查询效率 配置HetuEngine物化视图缓存能力 配置物化视图有效期与数据刷新 设置物化视图的有效期,当前系统只会使用有效期内的物化视图进行自动改写 设置数据定期更新,可定时手动刷新或自动刷新物化视图 配置HetuEngine物化视图的有效期与数据刷新能力 配置智能物化视图
Yarn”,勾选“集群管理操作权限”。 说明: 设置Yarn管理员权限需要重启Yarn服务,才能使保存的角色配置生效。 设置用户在指定Yarn队列提交任务的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Yarn > 调度队列 > root”。 在指定队列的“权限”列,勾选“提交”。 设置用户在指定Yarn队列管理任务的权限
如何取消MRS集群风险告警的消息通知? 登录MRS服务控制台。 单击集群名称进入集群详情页面。 选择“告警管理 > 消息订阅规则”。 在待修改的规则所在行的“操作”列单击“编辑”,在“订阅规则”中取消对应风险告警。 单击“确定”完成修改。 父主题: 集群管理类
SH方式登录。 如果需要使用SSH方式登录集群节点,需要在集群的安全组规则中手动添加入方向规则:其中源地址为“客户端IPv4地址/32(或者客户端IPv6地址/128)”,端口为22,具体请参见添加安全组规则。 登录弹性云服务器(VNC方式) 登录MapReduce服务管理控制台。
的标签及功能增加了攻击面,存在被攻击的风险(例如跨域资源共享、客户端存储、WebWorker、WebRTC、WebSocket等)。 安全加固:添加“Access-Control-Allow-Origin”配置,如运用到跨域资源共享功能,可对HTTP响应头的“Access-Con
配置Spark通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后,即可在Spark客户端创建Location为OBS路径的表。 Spark对接OBS MRS集群支持Spark服务在创建表时指定Location为OBS文件系统路径,也支持基于Hive
如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 问题 如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 原因分析 由于窗口使用自定义窗口,这时窗口
的标签及功能增加了攻击面,存在被攻击的风险(例如跨域资源共享、客户端存储、WebWorker、WebRTC、WebSocket等)。 安全加固:添加“Access-Control-Allow-Origin”配置,如运用到跨域资源共享功能,可对HTTP响应头的“Access-Con
Hue WebUI中Oozie编辑器的时区设置问题 问题 在Hue设置Oozie工作流调度器的时区时,部分时区设置会导致任务提交失败。 回答 部分时区存在适配问题,建议时区选择“Asia/Shanghai”,如图1所示。 图1 时区选择 支持的时区可以参考Oozie WebUI页
如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 问题 如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 原因分析 由于窗口使用自定义窗口,这时窗口
OBS访问凭据支持委托和AK/SK两种配置方式,用户可选择其中一种配置。 配置委托的方式获取OBS访问凭据,参考下表配置OBS访问凭据信息。 参数 参数说明 storage_configuration.obs.obs_domain_id 访问IAM的用户对应的Domain ID。 具体请参考创建OBS并行文件系统中获取的Domain
如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 问题 如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 原因分析 由于窗口使用自定义窗口,这时窗口
IAM用户同步 OBS权限映射 用户通过该功能配置访问OBS权限,实现MRS用户对OBS桶下的目录权限控制。 例如,您只允许用户组A访问某一OBS桶中的日志文件,您可以执行以下操作来实现: 为MRS集群配置OBS访问权限的委托,实现使用ECS自动获取的临时AK/SK访问OBS。避免了AK/SK直接暴露在配置文件中的风险。
OVERWRITE操作权限的用户。 配置OBS目录生命周期规则 登录OBS控制台。 选择“并行文件系统”,单击当前MRS集群使用的文件系统名称。 选择“基础配置 > 生命周期规则”,单击“创建”,创建指定目录的生命周期规则,相关参数详细介绍请参见配置生命周期规则。 表2 生命周期规则创建参数 参数名称
如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 问题 如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 原因分析 由于窗口使用自定义窗口,这时窗口
通过绑定委托,您可以将部分资源共享给ECS或BMS云服务来管理,例如通过配置ECS委托可自动获取AK/SK访问OBS,具体请参见配置MRS集群通过IAM委托对接OBS。 MRS_ECS_DEFAULT_AGENCY委托拥有对象存储服务的OBSOperateAccess权限和在集群所在区域
配置Presto通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,Presto即可通过presto_cli.sh客户端创建表存储在OBS中。 Presto对接OBS 未开启Kerberos认证的集群 使用客户端安装用户,登录已安装客户端的节点。