检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 隔离主机 确认待隔离主机信息并单击“确定”。 界面提示“操作成功。”,单击“完成”,主机成功隔离,“操作状态”显示为“已隔离”。 已隔离的主机,可以取消隔离重新加入集群。用户已排除主机的异常或故障后,需要将主机隔离状态取消才能正常使用。
在Ranger首页右上角的“Security Zone”选项的下拉列表中选择对应的安全区,即可切换至该安全区内的权限视图。 单击组件名称下的权限插件名称,即可进入组件安全访问策略列表页面。
图2 查看Spark任务详情 任务运行完成中,在HBase Shell中查询HBase表内容,可以看到对应记录已更新。
server master1_ip prefer server master2_ip 图2 增加Master节点的IP 执行service ntpd stop命令关闭NTP服务。
如上图举例所示,当前ClickHouse数据目录为:“/srv/BigData/data1”,对应分区为:“/dev/vdb1”。 执行以下操作使得新扩容的磁盘容量生效。 如果是新增分区操作,请执行8。
ALTER VIEW view_name RENAME TOnew_view_name 是视图view_name的所有者。 DROP VIEW view_name 是视图view_name的所有者。
图1 Shuffle过程 操作步骤 Map阶段的调优 判断Map使用的内存大小 判断Map分配的内存是否足够,一个简单的办法是查看运行完成的job的Counters中,对应的task是否发生过多次GC,以及GC时间占总task运行时间之比。
图1 Overview 以root用户登录客户端,用户密码为安装前用户自定义,请咨询系统管理员。执行cd命令进入客户端安装目录,然后执行source bigdata_env。
图1 资源配置策略 “权重”:在发生资源抢占时,权重越大则会优先抢占资源。其初始值与最小资源百分比值一致。 “最小资源”:表示租户能获得的最少资源。 “最大资源”:表示租户能获得的最多资源。 “预留资源”:表示保留给租户自身队列,且不能借用给其他租户队列的资源。
图1 权限模型 权限 由组件侧定义,允许访问组件某个资源的能力。不同组件针对自己的资源,有不同的权限。 例如: HDFS针对文件资源权限,有读、写、执行等权限。 HBase针对表资源权限,有创建、读、写等权限。
在IDEA界面左下方找到Terminal,单击进入终端,执行mvn clean install进行编译 当输出“BUILD SUCCESS”,表示编译成功,如下图所示。编译成功后将会在样例工程的target下生成含有“hcatalog-example-*.jar”包。
在IDEA界面左下方找到Terminal,单击进入终端,执行mvn clean install进行编译 当输出“BUILD SUCCESS”,表示编译成功,如下图所示。编译成功后将会在样例工程的target下生成含有“hcatalog-example-*.jar”包。
图1 添加消息订阅规则 配置消息订阅规则相关参数。 表1 消息订阅规则参数说明 参数 示例 参数说明 规则名称 mrs_alarm 用户自定义发送订阅消息的规则名称,只能包含数字、英文字符、中划线和下划线。 提醒通知 开启 选择开启时,将按照该订阅规则为订阅者发送对应订阅消息。
在搜索框分别输入“advertised”和 "actual",会出现如下图所示五个配置项,可参考表1配置具体参数。
图2 查看Master节点IP地址 使用root用户登录待安装客户端的节点,执行以下命令编辑NTP配置文件,增加MRS集群中Master1、Master2节点的IP地址并注释掉其余server地址。
所示,则表示缺少MySQL驱动包,需在MySQL官网下载对应MySQL驱动包,解压并上传至“客户端安装目录/Sqoop/sqoop/lib”目录下,再执行Sqoop导入或导出数据命令即可 图1 缺少MySQL驱动包报错 父主题: 使用Sqoop
当前Flink系统支持认证和加密传输,要使用认证和加密传输,用户需要做如下准备: 安全认证 图1 Flink系统认证方式 Flink整个系统存在三种认证方式,需参考下表进行配置: 使用kerberos认证:Flink yarn client与Yarn Resource Manager
图1 权重配置 所有服务使用的“CPU LIMIT(%)”和 “CPU SHARE(%)”资源配置总和可以大于100%。 所有服务使用的“I/O(%)”资源配置总和可以大于100%,不能为0。
则上图中svctm值为: (19571460 - 19569526) / (1101553 + 28747977 - 1101553 - 28744856) = 0.6197 父主题: MRS集群告警处理参考
例如一张图片的数据,因为图片一般已经是压缩后的数据,所以压缩效果有限。常用的压缩算法是SNAPPY,因为它有较好的Encoding/Decoding速度和可以接受的压缩率。