检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
mapred。 建议通过构造出来的Connection对象的getAdmin()方法来获取HBase的客户端操作对象。 HBase常用接口介绍 HBase常用的Java类有以下几个: 接口类Admin,HBase客户端应用的核心类,主要封装了HBase管理类操作的API,例如建表,删表等操作,部分常见接口参见表表1。
mapred。 建议通过构造出来的Connection对象的getAdmin()方法来获取HBase的客户端操作对象。 HBase常用接口介绍 HBase常用的Java类有以下几个: 接口类Admin,HBase客户端应用的核心类,主要封装了HBase管理类操作的API,例如建表,删表等操作,部分常见接口参见表表1。
launch.secs的值要大于等于supervisor.worker.start.timeout.secs的值(建议相等或略大,如果超出太多会影响任务重分配的效率)。 nimbus.task.launch.secs:nimbus在超过该参数配置的时间内没有收到拓扑的task发的心跳时,会将
称)。 日志归档规则:HBase的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过30MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数可以在Manager界面中配置。
多级嵌套子查询以及混合Join的SQL调优 操作场景 本章节介绍在多级嵌套以及混合Join SQL查询的调优建议。 前提条件 例如有一个复杂的查询样例如下: select s_name, count(1) as numwait from ( select s_name from (
连接ClickHouse数据源的用户名。 根据连接数据源的用户名修改。 密码 连接ClickHouse数据源的用户密码。 根据连接数据源的用户密码修改。 Schema/Table大小写敏感 支持数据源的Schema/Table名称大小写格式敏感。 HetuEngine支持数据源的Schema/Table名称大小写格式敏感。
ThriftServer应用开发示例工程所需的配置文件还需参考准备ThriftServer实例配置文件获取。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。 在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。
在集群详情页,单击“节点管理”。 在需要扩容磁盘的节点组操作列,单击“数据盘扩容”。 选择需要扩容的节点名称和目标容量,单击“确定”。 若节点较多,可以按节点名称或者IP模糊搜索,也可以使用数据盘容量进行条件过滤。 预估费用为按显示的磁盘容量预估的费用,可能不准确,实际费用以节点实际的磁盘容量计算为准。所以
多级嵌套子查询以及混合Join的SQL调优 操作场景 本章节介绍在多级嵌套以及混合Join SQL查询的调优建议。 前提条件 例如有一个复杂的查询样例如下: select s_name, count(1) as numwait from ( select s_name from (
称)。 日志归档规则:HBase的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过30MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数可以在Manager界面中配置。
其中20160220为输入的日期,/user/loader/schedule_01为输出的路径。 通过以上过滤规则,拼凑到的字符串“*20160221.txt”,会作为文件过滤器的模糊匹配模式,在作业配置的输入路径下,所有符合“*20160221.txt”这个模式的文件都将被作业处理。
参数解释: 程序执行的关键参数。 约束限制: 该参数由用户程序内的函数指定,MRS只负责参数的传入。 取值范围: 最多为150000字符,不能包含;|&>'<$!"\特殊字符,可为空。 说明: 用户输入带有敏感信息(如登录密码)的参数时,可通过在参数名前添加“@”的方式,为该参数值加
用户可以直接单击“测试”立即检测连接是否可用。 查看连接 在Loader页面,单击“新建作业”。 单击“连接”后的下拉列表框,可以查看已创建的连接。 编辑连接 在Loader页面,单击“新建作业”。 单击“连接”后的下拉列表框,选择待编辑的连接名称。 在“连接”后单击“编辑”,进入编辑页面。 根据业务需要,修改连接配置参数。
0版本引入了创建幂等性Producer的功能,开启此特性后,Producer自动升级成幂等性Producer,当Producer发送了相同字段值的消息后,Broker会自动感知消息是否重复,继而避免数据重复。需要注意的是,这个特性只能保证单分区上的幂等性,即一个幂等性Producer能够保证某个主题的一个分区
DataNode以Block的形式,保存用户的文件和目录,同时在NameNode中生成一个文件对象,对应DataNode中每个文件、目录和Block。 NameNode文件对象需要占用一定的内存,消耗内存大小随文件对象的生成而线性递增。DataNode实际保存的文件和目录越多,Name
说明文件对应的第2列,即5分钟指标ID即可找到对应的指标说明。 部分字段说明: 实时指标ID:指标的采集周期为30s/60s的指标ID,一个独立的指标项只可能存在30s或者60s的实时指标项。 5分钟指标ID:指标对应的5分钟(300s)的指标ID。 指标采集周期(秒):主要是针
folder_path 原始CSV数据文件夹或者文件的路径。 db_name Database名称。如果未指定,则使用当前database。 table_name 所提供的database中的表的名称。 注意事项 以下是可以在加载数据时使用的配置选项: DELIMITER:可以在加载命令中提供分隔符和引号字符。默认值为
该配置指定了表上并发操作过程中所要求的锁的类型。 有以下几种类型锁实现方式: LOCALLOCK:基于本地文件系统的文件来创建的锁。该锁只适用于一台机器上只运行一个Spark Driver(或者JDBCServer)的情况。 HDFSLOCK:基于HDFS文件系统上的文件来创建的锁。该锁适用于集群
在实际应用中,很多场景是查询某一个列值为“XXX”的数据。HBase提供了Filter特性去支持这样的查询,它的原理是:按照RowKey的顺序,去遍历所有可能的数据,再依次去匹配那一列的值,直到获取到所需要的数据。可以看出,可能只是为了获取一行数据,它却扫描了很多不必要的数据。因此,如果对于这样的查询请求非常频繁
folder_path 原始CSV数据文件夹或者文件的路径。 db_name Database名称。若未指定,则使用当前database。 table_name 所提供的database中的表的名称。 注意事项 以下是可以在加载数据时使用的配置选项: DELIMITER:可以在加载命令中提供分隔符和引号字符。默认值为