检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
org.apache.hadoop.io.compress.ZStandardCodec; set hive.exec.compress.intermediate=true; create table tab_3(...) stored as textfile; ZSTD压缩格式的表和其他普通压缩表的SQL操作没有区别,可支持正常的增删查及聚合类
表1 HBase接口提供的功能 功能 说明 CRUD数据读写功能 增查改删 高级特性 过滤器、协处理器 管理功能 表管理、集群管理 父主题: HBase应用开发概述
org.apache.hadoop.io.compress.ZStandardCodec; set hive.exec.compress.intermediate=true; create table tab_3(...) stored as textfile; ZSTD压缩格式的表和其他普通压缩表的SQL操作没有区别,可支持正常的增删查及聚合类
重部署和删除操作需要设置操作执行的等待时间,单位为秒。 在“Topology Visualization”区域,用户可以执行拓扑可视化操作,即单击“Show Visualization”。拓扑可视化后,WebUI将显示拓扑结构图。 父主题: 使用Storm
外置维度表:将维度数据存在高速的K-V数据库中,通过远程的K-V查询实现点查关联,常用的开源K-V库有HBase。 状态维度表:将维度表数据当做流表,实时读入到流式作业当中,通过数据的回撤流能力实现维度更新和数据不对齐场景下的数据一致性保证。
Connector:HetuEngine访问数据库的接口,HetuEngine通过Connector的驱动连接数据源,读取数据源元数据和对数据进行增删改查等操作。
Connector:HetuEngine访问数据库的接口,HetuEngine通过Connector的驱动连接数据源,读取数据源元数据和对数据进行增删改查等操作。
String[] word = s.split(","); return new Tuple3<>(word[0], word[1], word[2]); } }); //将Stream1注册为
表2 GBase数据源自定义配置参数 参数 描述 取值样例 GBase.auto-reconnect 是否自动重连。 true(默认值):开启自动重连。 false:关闭自动重连。 true GBase.max-reconnects 最大重连次数,默认值:3。
表1 HBase接口提供的功能 功能 说明 CRUD数据读写功能 增查改删 高级特性 过滤器、二级索引,协处理器 管理功能 表管理、集群管理 常用概念 过滤器 过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。
可用于创建DataFrame,注册DataFrame为一张表,表上执行SQL等。 pyspark.sql.DataFrame:分布式数据集。DataFrame等效于SparkSQL中的关系表,可被SQLContext中的方法创建。
以下版本默认开启了集群自动注册DNS,也可以请通过查询对应版本元数据查询返回体中features字段是否包含register_dns_server这个值来判断是否支持DNS特性。
表1 HBase接口提供的功能 功能 说明 CRUD数据读写功能 增查改删。 高级特性 过滤器、二级索引、协处理器。 管理功能 表管理、集群管理。 HBase常用概念 过滤器 过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。
MRS 3.x及之后版本:单击“确定”,等待同步完成后执行4重启配置过期的实例。 重启配置过期的实例(仅MRS 3.x及之后版本需执行该操作)。 在Manager选择“集群 > 概览”。
使用本地表场景进行数据写入性能更优,故推荐本地表的数据增、删、改、查场景的多副本分布式事务支持。
管理标签 在现有集群的标签页,执行标签的增、删、查操作。 登录MRS管理控制台。 在现有集群列表中,单击待管理标签的集群名称。 系统跳转至该集群详情页面。 选择“标签管理”页签,对集群的标签执行增、删、查。
表2 MySQL数据源自定义配置参数 参数 描述 取值样例 mysql.auto-reconnect 是否自动重连。 true(默认值):开启自动重连。 false:关闭自动重连。 true mysql.max-reconnects 最大重连次数,默认值:3。
为避免以上问题,可修改SQL语句对数据进行重分区,以减少HDFS文件个数。 操作步骤 在动态分区语句中加入distribute by,by值为分区字段。
为避免以上问题,可修改SQL语句对数据进行重分区,以减少HDFS文件个数。 操作步骤 在动态分区语句中加入distribute by,by值为分区字段。
基本概念 账号 用户注册华为云时的账号,账号对其所拥有的资源及服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用用户进行日常管理工作。