检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
目前支持使用Hive读取DB2和Oracle两种关系型数据库的数据。 前提条件 已安装Hive客户端。 操作步骤 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录 例如安装目录为“/opt/client”,则执行以下命令: cd /opt/client 执行以下命令配置环境变量。
} else { env.readTextFile(filePaths.apply(0)) } // 数据转换,构造整个数据处理的逻辑,计算并得出结果打印出来 unionStream.map(getRecord(_)) .ass
L查询参数名和值中: 字母字符不会被编码。 字符 ., -, * 和 _不会被编码。 ASCII空格字符会被编码为+ 。 所有其他字符都将转换为UTF-8,并且字节被编码为字符串%XX,其中XX是UTF-8字节的大写十六进制值。 select url_encode('http://www
Manager基本原理 Manager功能 Manager是MRS的运维管理系统,为部署在集群内的服务提供统一的集群管理能力。 Manager支持大规模集群的性能监控、告警、用户管理、权限管理、审计、服务管理、健康检查、日志采集等功能。 Manager结构 Manager的整体逻辑架构如图1所示。
检查该告警是否恢复。 是,处理完毕。 否,执行9。 以root用户登录到产生告警的DataNode的节点,用户密码为安装前用户自定义,请咨询系统管理员。 如果告警原因为“DataNode数据目录创建失败”,执行10。 如果告警原因为“DataNode数据目录与系统关键目录(/或/boot)使用同一磁盘”,执行17。
配置RSGroup管理RegionServer资源 操作场景 HBase服务的数据节点较多,需要根据不同的业务规模将数据节点资源分配给特定的业务,从而达到资源独占使用的目的。当AZ容灾特性被开启时,为了保证AZ容灾生效,保障业务可靠性,在为RSGroup分配RegionServe
管理MRS集群弹性伸缩策略 MRS集群弹性伸缩策略创建完成后,用户可以在MRS管控台查看、修改、删除、开启和关闭弹性伸缩策略。 查看已有弹性伸缩策略 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称。进入集群详情页面。 选择“弹性伸缩”页签。 在已有弹性伸缩策略右边单击“查看”按钮。
配置RSGroup管理RegionServer资源 操作场景 HBase服务的数据节点较多,需要根据不同的业务规模将数据节点资源分配给特定的业务,从而达到资源独占使用的目的。当AZ容灾特性被开启时,为了保证AZ容灾生效,保障业务可靠性,在为RSGroup分配RegionServe
SQL关联HBase服务的操作。 前提条件 完成Spark客户端的安装,例如安装目录为“/opt/client”。 获取一个拥有MRS集群管理员权限的用户,例如“admin”。 操作步骤 Spark on HBase授权 用户如果需要使用类似SQL语句的方式来操作HBase表,授
13:24 flumeMonitor.log 其中FlumeClient.log即为Flume客户端的运行日志。 父主题: Flume运维管理
用户未给Master节点绑定弹性公网IP,造成报错的发生。 处理步骤 登录MRS服务管理控制台。 选择“现有集群”,选中当前安装出问题的集群并单击集群名称,进入集群基本信息页面。 在“节点管理”页签单击Master节点组中某一Master节点名称,登录到弹性云服务器管理控制台。 选择“弹性公网IP”页签,单击“绑定弹
MRS租户管理中的动态资源计划页面无法刷新怎么办? 问: MRS租户管理中的动态资源计划页面无法刷新怎么办? 答: 以root用户分别登录Master1和Master2节点。 执行ps -ef |grep aos命令检查aos进程号。 执行kill -9 aos进程号 结束aos进程。
过“服务配置参数”选项框传入永久的accesskey和secretkey,以保证作业不会在运行过程中因密钥过期而执行失败。 父主题: 作业管理类
单击某个Region名称,进入该Region在12小时内每5分钟做的操作数统计分布图,可查看具体的操作在该时间段内执行的次数。 父主题: 集群管理类
此工具会初始化Carbon环境和预读取表的元数据到JDBCServer,所以更适合在多主实例、静态分配模式下使用。 父主题: Spark运维管理
配置完成后,单击“保存”。 单击“概览”进入Loader服务概览界面,选择“更多 > 重启服务”,验证用户身份后,单击“确定”,等待重启成功。 父主题: 管理Loader作业
acls.enable 配置是否开启Spark权限管理。 如果开启,将会检查用户是否有权限访问和修改任务信息。 true spark.admin.acls 配置Spark管理员列表,列表中成员有权限管理所有Spark任务,此处可以配置多个管理员用户,使用“,”分隔。 admin spark
13:24 flumeMonitor.log 其中FlumeClient.log即为Flume客户端的运行日志。 父主题: Flume运维管理
znode的wals将被移动到备集群下。 限制和约束 如果备集群处于关闭状态或关闭了对等关系,该工具正常运行,但该对等关系复制不会发生。 父主题: HBase运维管理
在提交作业之前,用户需要先在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步,然后再提交作业。 父主题: 作业管理类