检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
map(_.trim) assert(filePaths.length > 0) // windowTime设置窗口时间大小,默认2分钟一个窗口足够读取文本内的所有数据了 val windowTime = ParameterTool.fromArgs(args)
例工程以唯一编号作为RowKey,列都存储在info列族中。 HBase表以“命名空间:表名”格式进行存储,若在创建表时不指定命名空间,则默认存储在“default”中。其中,“hbase”命名空间为系统表命名空间,请不要对该系统表命名空间进行业务建表或数据读写等操作。 功能分解
verManager.setLoginTimeout(n)”方法来设置超时时长,其中n表示等待服务返回的超时时长,单位为秒,类型为Int,默认为“0”(表示永不超时)。 static void executeSql(String url, ArrayList<String> sqls)
进入Kafka配置页面,参数类别选择全部配置,显示所有Kafka相关配置,在“搜索”中输入message.max.bytes进行检索。 MRS中Kafka服务端默认可以接收的消息最大为1000012 bytes =977 KB。 解决办法 与用户确认,当前Flume发送数据确实存在超过1M的消息。因此
verManager.setLoginTimeout(n)”方法来设置超时时长,其中n表示等待服务返回的超时时长,单位为秒,类型为Int,默认为“0”(表示永不超时)。 static void executeSql(String url, ArrayList<String> sqls)
map(_.trim) assert(filePaths.length > 0) // windowTime设置窗口时间大小,默认2分钟一个窗口足够读取文本内的所有数据了 val windowTime = ParameterTool.fromArgs(args)
请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 NameNode blacklisting的相关参数 参数 描述 默认值 dfs.client.failover.proxy.provider.[nameservice ID] 利用已通过的协议创建namenode代理的Client
击“确定”。 图1 RangerAdmin堆内存使用率 查看RangerAdmin使用的堆内存是否已达到RangerAdmin设定的阈值(默认值为最大堆内存的95%)。 是,执行4。 否,执行6。 在FusionInsight Manager首页,选择“集群 > 服务 > Ranger
采用的定时表达式。可以在Manager页面选择“集群 > 服务 > ZooKeeper > 配置 > 全部配置”,搜索该参数进行配置。参数默认值为“*/5 * * * *”,表示时长为5分钟。 是,处理完毕。 否,执行7。 收集故障信息。 在FusionInsight Manager界面,选择“运维
在FusiongInsight Manager首页,在“租户资源”页面选择上报告警的租户名称,单击“资源”,查看上报告警的租户目录所对应的存储空间阈值配置设置是否合理(默认90%为合理值,用户可以根据自己的实际情况设置)。 是,执行5。 否,执行3。 根据租户空间实际的使用情况,在“资源”页面单击“修改”修改
内存”中的“Oozie非堆内存使用率”,单击“确定”。 图1 定制Oozie非堆内存使用率 查看Oozie使用的非堆内存是否已达到Oozie设定的阈值(默认值为最大非堆内存的80%)。 是,执行4。 否,执行6。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称
确定”。 图1 RangerAdmin非堆内存使用率 查看RangerAdmin使用的非堆内存是否已达到RangerAdmin设定的阈值(默认值为最大非堆内存的80%)。 是,执行4。 否,执行6。 在FusionInsight Manager首页,选择“集群 > 服务 > Ranger
TagSync直接内存使用率”,单击“确定”。 图1 TagSync直接内存使用率 查看TagSync使用的直接内存是否已达到TagSync设定的阈值(默认值为最大直接内存的80%)。 是,执行4。 否,执行6。 在FusionInsight Manager首页,选择“集群 > 服务 > Ranger
TagSync非堆内存使用率”,单击“确定”。 图1 TagSync非堆内存使用率 查看TagSync使用的非堆内存是否已达到TagSync设定的阈值(默认值为最大非堆内存的80%)。 是,执行4。 否,执行6。 在FusionInsight Manager首页,选择“集群 > 服务> Ranger
实例”,单击1获取到的IP地址对应的ConfigNode,在“概览”页面查看图表“ConfigNode直接内存使用率”是否已达到ConfigNode设定的阈值(默认值为最大直接内存的90%)。 若未显示该图表,需单击图表区域右上角的下拉菜单,选择“定制 > 内存 > ConfigNode直接内存使用率”,单击“确定”,即可查看。
过使用云连接构建跨区域VPC的网络连接。 图4 线上不同Region迁移 数据迁移常用端口 表1 MRS数据迁移常用组件 组件 配置参数 默认端口 端口说明 HDFS dfs.namenode.rpc.port 9820 Hadoop 2.x和Hadoop 3.x版本。 迁移过程
cluster_id}/iam-sync-user 标签管理接口 集群操作默认标签 POST /v2/{project_id}/clusters/{cluster_id}/tags/switch 查询默认标签状态 GET /v2/{project_id}/clusters/{cl
IAM是华为云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的资源进行付费。关于IAM的详细介绍,请参见《IAM产品介绍》。 MRS权限说明 默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称
名_数据源_任务创建时间/”。 “最大map数”:填写执行MapReduce任务的最大map数,默认值为“20”。 “单个map的最大带宽(MB/s)”:填写单个map最大带宽,默认值为“100”。 OBS 表示从OBS中恢复数据,仅MRS 3.3.0-LTS.1及之后版本支持。
主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 编译JDBC样例程序: 在IDEA界面左下方单击“Terminal”进入终端,执行命令mvn clean package进行编译。 当输出“BUILD SUCCESS”,表示编译成功,如下图所示。编译成功后将会在样