检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Admin对象的createTable方法来创建表,并指定表名、列族名。创建表有两种方式,建议采用预分Region建表方式: 快速建表,即创建表后整张表只有一个Region,随着数据量的增加会自动分裂成多个Region。 预分Region建表,即创建表时预先分配多个Region,此种方法建表可以提高写入大量数据初期的数据写入速度。
Admin对象的createTable方法来创建表,并指定表名、列族名。创建表有两种方式(强烈建议采用预分Region建表方式): 快速建表,即创建表后整张表只有一个Region,随着数据量的增加会自动分裂成多个Region。 预分Region建表,即创建表时预先分配多个Region,此种方法建表可以提高写入大量数据初期的数据写入速度。
updateCount(FSDirectory.java:745) 如果发生此异常,请为租户配置足够的磁盘空间配额。 例如: 需要的磁盘空间配置可以按照如下方法计算: 如果HDFS的副本数为3, HDFS默认的块大小为128MB,则最小需要384MB的磁盘空间用于写表的schema文件到HDFS上。计算公式:no
result); } /** * setup()方法只在进入map任务的map()方法之前或者reduce任务的reduce()方法之前调用一次。 * * @param context Context
urceManager上,查询应用程序的运行状态或者中止应用程序等功能。 表1 ApplicationClientProtocol常用方法 方法 说明 forceKillApplication(KillApplicationRequest request) Client通过此接口请求RM中止一个已提交的任务。
rc\main\java\com\huawei\hadoop\hbase\examples”包的“HBaseRestTest”类的main方法中与登录相关代码语句如下所示进行注释: //In Windows environment //String
已安装集群客户端,例如安装目录为“/opt/client”。以下操作的客户端目录只是举例,请根据实际安装目录修改。 访问Presto的WebUI 方法一(适用于MRS 3.x及之后版本): 登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS
查询Hive表数据 功能介绍 本小节介绍了如何使用HQL对数据进行查询分析。从本节中可以掌握如下查询分析方法: SELECT查询的常用特性,如JOIN等。 加载数据进指定分区。 如何使用Hive自带函数。 如何使用自定义函数进行查询分析,如何创建、定义自定义函数请见创建Hive用户自定义函数。
新增作业 场景描述 在MRS集群中新增并提交一个作业。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。 已获取集群ID,即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。
终止作业 场景描述 当作业提交后未执行完成时,手动终止作业。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。 已获取集群ID,即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。
锁定MRS集群用户 由于业务变化,用户可能长期暂停使用,为了保证安全,管理员可以锁定用户。锁定用户的方法包含以下两种方式: 自动锁定:通过设置密码策略中的“密码连续错误次数”,将超过登录失败次数的用户自动锁定。具体操作请参见配置MRS集群用户密码策略。 手动锁定:由管理员通过手动的方式将用户锁定。
用等。 Worker节点负载太高,出现OOM(Out of Memory)导致无法提供服务。 Worker节点出现GC导致自动重启。 调优方法: Worker节点本身故障: 若不同时间报错统一出现在同一个Worker上,优先排查该节点本身问题,例如网络是否正常,是否存在其它进程占用节点内存资源。
大数据组件都有自己的WebUI页面管理自身系统,但是由于网络隔离的原因,用户并不能很简便地访问到该页面。 例如访问HDFS的WebUI页面,传统的操作方法是需要用户创建ECS,使用ECS远程登录组件的UI,这使得组件的页面UI访问很是繁琐,对于很多初次接触大数据的用户很不友好。 MRS提供了
-ytm MEM”参数设置内存。 设计分区方法 合理的设计分区依据,可以优化task的切分。在程序编写过程中要尽量分区均匀,这样可以实现每个task数据不倾斜,防止由于某个task的执行时间过长导致整个任务执行缓慢。 以下是几种分区方法。 随机分区:将元素随机的进行分区。 dataStream
urceManager上,查询应用程序的运行状态或者中止应用程序等功能。 表1 ApplicationClientProtocol常用方法 方法 说明 forceKillApplication(KillApplicationRequest request) Client通过此接口请求RM中止一个已提交的任务。
获取集群中安装ThriftServer对应实例的配置文件。 方法一:选择“集群 > 服务 > HBase > 实例”,单击待操作的实例ThriftServer进入详情界面,获取配置文件“hdfs-site.xml”、“core-site.xml”、“hbase-site.xml”。 方法二:通过准备本地应用开发环
获取集群中安装ThriftServer对应实例的配置文件。 方法一:选择“集群 > 服务 > HBase > 实例”,单击待操作的实例ThriftServer进入详情界面,获取配置文件“hdfs-site.xml”、“core-site.xml”、“hbase-site.xml”。 方法二:通过准备HBase应用
numeric(20,0) NA measure 操作步骤 如果待创建的表有一个常用于过滤的列 ,例如80%以上的场景使用此列过滤。 针对此类场景,调优方法如下: 将常用于过滤的列放在sort_columns第一列。 例如,msname作为过滤条件在查询中使用的最多,则将其放在第一列。创建表的
Java API接口介绍 典型接口说明 以下仅对Manager REST API开发过程中的典型方法进行描述。 表1 restApiDemo.src.rest.BasicAuthAcces 方法 描述 loginAndAccess (String webUrl,String userName
查询Hive表数据 功能介绍 本小节介绍了如何使用HQL对数据进行查询分析。从本节中可以掌握如下查询分析方法: SELECT查询的常用特性,如JOIN等。 加载数据进指定分区。 如何使用Hive自带函数。 如何使用自定义函数进行查询分析,如何创建、定义自定义函数请见创建Hive用户自定义函数。