检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的访问热度下降以及时间的老化,这些数据应该被迁移到价格低廉的存储介质上。 以详单查询场景作为典型的用例场景,进行说明:当最新详单数据刚刚被导入HDFS上时,会被上层业务人员频繁查询,所以为了提高查询性能,可以将这些详单数据最先导入到SSD磁盘中;但是随着时间的迁移,这些数据逐渐被
alias or column reference 'xxx'. 解决方案:set hive.cbo.enable=true; Hive SQL子查询编译报错:Unsupported SubQuery Expression 'xxx': Only SubQuery expressions
Producer重要参数 参数 描述 备注 bootstrap.servers Broker地址列表。 生产者通过此参数值,创建与Broker之间的连接。 sasl.kerberos.service.name 服务名。 Kafka集群运行,所使用的Kerberos用户名(需配置为kafka)。
alias or column reference 'xxx'. 解决方案:set hive.cbo.enable=true; Hive SQL子查询编译报错:Unsupported SubQuery Expression 'xxx': Only SubQuery expressions
HBase数据读写样例程序开发思路 初始化HBase配置 创建HBase客户端连接 创建HBase表 创建HBase表Region 向HBase表中插入数据 创建HBase表二级索引 基于二级索引查询HBase表数据 修改HBase表 使用Get API读取HBase表数据 使用Scan
进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
为了确保Flink集群中的元数据安全,或者系统管理员需要对Flink进行重大操作(如升级或迁移等)时,需要对Flink集群的元数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight Mana
${table_name}_ro; 读优化视图读取(Spark dataSource API为例):和读普通的dataSource表类似。 必须指定查询类型QUERY_TYPE_OPT_KEY 为QUERY_TYPE_READ_OPTIMIZED_OPT_VAL spark.read.format("hudi")
${table_name}_ro; 读优化视图读取(Spark dataSource API为例):和读普通的dataSource表类似。 必须指定查询类型QUERY_TYPE_OPT_KEY为QUERY_TYPE_READ_OPTIMIZED_OPT_VAL spark.read.format("hudi")
tablename(入湖时需提供); 单条数据大小 = 平均 1KB(华为建议通过select * from tablename limit 100将查询结果粘贴在notepad++中得出100条数据的大小再除以100得到单条平均大小) 单表数据量大小(G) = 单表数据总条数*单表数据大小/1024/1024
图1中各模块的功能说明如表1所示。 表1 模块说明 名称 描述 NameNode 用于管理文件系统的命名空间、目录结构、元数据信息以及提供备份机制等,分为: Active NameNode:管理文件系统的命名空间、维护文件系统的目录结构树以及元数据信息;记录写入的每个“数据块”与其归属文件的对应关系。
解决的问题 MRS 2.0.6.1 修复问题列表: MRS Manager 优化补丁机制 解决偶现获取监控指标为空的问题 解决DLF+Presto查询时字段中包含换行符,数据和文件显示问题。 补丁兼容关系 无 安装补丁的影响 安装MRS 2.0.6.1补丁期间会重启MRS Manager
HBase数据读写样例程序开发思路 初始化HBase配置 创建HBase客户端连接 创建HBase表 创建HBase表Region 向HBase表中插入数据 创建HBase表二级索引 基于二级索引查询HBase表数据 修改HBase表 使用Get API读取HBase表数据 使用Scan
hdfsuser。 获取HDFS集群域名,登录FusionInsight Manager页面,选择“系统 > 权限 > 域和互信”,即可查看集群域名。 ClickHouse不支持对接HDFS加密目录。 集群内ClickHouse对接HDFS操作指导 登录FusionInsight
的表“productSalesTable”: DROP TABLE productdb.productSalesTable; 执行以下命令查询表是否被删除: SHOW TABLES; 父主题: 使用CarbonData(MRS 3.x之前版本)
在MRS管理控制台执行健康检查 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 启动健康检查。 在MRS管理控制台执行健康检查管理操作仅适用于MRS 1.9.2集群。 手动执行所有服务的健康检查: 选择“管理操作 > 启动集群健康检查”。 手动执行单个服务的健康检查:
HBase数据读写样例程序 HBase样例程序开发思路 初始化HBase配置 创建HBase客户端连接 创建HBase表 创建HBase表Region 向HBase表中插入数据 创建HBase表二级索引 基于二级索引查询HBase表数据 修改HBase表 使用Get API读取HBase表数据 使用Scan
0,运行时会报错? 为什么新创建的Flink用户提交任务失败,报ZooKeeper文件目录权限不足? 为什么Flink Web页面无法直接连接? 父主题: Flink开发指南
HBase数据读写示例程序 HBase样例程序开发思路 初始化HBase配置 创建HBase客户端连接 创建HBase表 创建HBase表Region 向HBase表中插入数据 创建HBase表二级索引 基于二级索引查询HBase表数据 修改HBase表 使用Get API读取HBase表数据 使用Scan
视图: 将视图v分别赋给用户hiveuser1、hiveuser2,当hiveuser1查询视图v时,“current_user()”被自动转化为hiveuser1,当hiveuser2查询视图v时,“current_user()”被自动转化为hiveuser2: create view