检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
其中表名“t1”也可替换为全限定名“hive.tpcds_2gb.t1”,但不能为“tpcds_2gb.t1”。 物化视图的“查询重写”不支持全表扫描,SQL查询没有使用Where子句,无法被查询重写。 例如:表“hivetb1”的列定义包含了“id”、“name”、“age”三个列,如下SQL查询就无法被“查询重写”。
core节点管控分离限制,管控分离模板下core节点的限制,包括节点数,磁盘等限制。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 core_combine NodeConstraint object 参数解释: core节点管控合设限制,管控合设模板下core节点的限制,包括节点数,磁盘等限制。
AS”,完整语句模板可参考表1。 表2 物化视图改写场景示例 场景 描述 创建物化视图SQL样例 用户查询SQL样例 查询SQL是否能被改写 备注 全表查询 最基本的全表查询场景 select * from tb_a; select * from tb_a; 否 创建全表扫描的物化视图没有实际意义,不支持
Short for --ignore-case. -v Short for --verbose. 扫描Opentsdb的指标数据 执行tsdb query命令批量查询导入的指标数据,命令格式如下: tsdb query <START-DATE>
因为数据模型在建表时就已经确定,且无法修改。所以,选择一个合适的数据模型非常重要。 Aggregate模型可以通过预聚合,极大地降低聚合查询时所需扫描的数据量和查询的计算量,非常适合有固定模式的报表类查询场景。但是该模型对count(*) 查询不友好。同时因为固定了Value列上的聚合方
能大数据存储方案,以一份数据同时支持多种应用场景,并通过多级索引、字典编码、预聚合、动态Partition、准实时数据查询等特性提升了IO扫描和计算性能,实现万亿数据分析秒级响应。同时MRS支持自研增强型调度器Superior,突破单集群规模瓶颈,单集群调度能力超10000节点。
一个目录设置多个规则和动作时,规则被先触发的放在规则/动作列表的下面,规则被后触发的放在规则/动作列表的上面,避免动作反复执行。 系统每个小时整点扫描动态存储策略指定的目录下的文件是否符合规则,如果满足,则触发执行动作。执行日志记录在主NameNode的“/var/log/Bigdata/hdfs/nn/hadoop
java”文件中的“TOPIC”变量,例如:public final static String TOPIC = "kafka-topic"。 该样例默认的时序数据模板为“设备名称,时间戳,值”,例如“sensor_1,1642215835758,1.0”,可根据实际场景在“Constant.java”文
单击“编辑驱动设置”,参考下表信息设置相关参数。 表1 驱动设置信息 参数名 参数值 类名 io.prestosql.jdbc.PrestoDriver URL模板 通过HSFabric方式访问HetuEngine jdbc:presto://<HSFabricIP1:port1>,<HSFabricIP2:port2>
目录的“fusioninsight-flume-1.6.0/conf/properties.properties”。客户端中配置文件为空白模板,根据业务需要修改后Flume客户端将自动加载。 “-l”:可选参数,表示日志目录,默认值为“/var/log/Bigdata”。 “-e
数恢复时长,每1万保留任务大约需要1分钟。 Mapreduce 2min+x JobHistoryServer:2min+x x为历史任务扫描时长,每10万任务大约2.5分钟。 ZooKeeper 2min+x quorumpeer:2min+x x为加载znode节点时长,每100万znode大约1分钟。
EXPORT展示的作业的部分信息会丢失,无法查看。 Export作业只会导出Base表的数据,不会导出Rollup Index的数据。 Export作业会扫描数据,占用I/O资源,可能会影响系统的查询延迟。 语法介绍 导出Doris数据到HDFS 集群已启用Kerberos认证(安全模式) EXPORT
不同,推荐选择最新版本。 版本详细包含的组件详细可参考MRS组件版本一览表。 MRS 3.2.0-LTS.1 组件选择 基于系统预置的集群模板选择要购买的集群组件。 HBase查询集群 可用区 当前区域内,待创建资源所归属的可用区,可用区是在同一区域下,电力、网络隔离的物理区域。
比如global资源组(80%)+admin(100%)=180%>100% 。 在下面的示例配置中,存在多个资源组,其中一些资源组是模板。模板允许HetuEngine管理员动态构建资源组树。例如,在pipeline_${USER}组中,${USER}将扩展为提交查询的用户名称。
确认本地环境网络正常。 打开浏览器访问:华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),查看网站是否能正常访问。如果访问异常,请先开通本地网络。 确认当前开发工具是否开启代理。下载jar包前需要确保开发工具代理关闭。 比如以2020.2版本的IntelliJ
Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Policy Label 为当前策略指定一个标签,您可以根据这些标签搜索报告和筛选策略。 topic 配置当前策略适用的topic名,可以填写多个值。这里支持通配符,例如:test、test*、*。 “Includ
Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Policy Label 为当前策略指定一个标签,您可以根据这些标签搜索报告和筛选策略。 topic 配置当前策略适用的topic名,可以填写多个值。这里支持通配符,例如:test、test*、*。 “Includ
安全组:默认即可。 弹性公网IP:默认即可。 节点配置: CPU架构:默认即可。MRS 3.1.0及MRS 3.1.5版本无该参数。 常用模板:当“集群类型”选择“自定义”时该参数有效,保持默认即可。 集群节点:请根据自身需求选择节点规格和数量。 登录凭证: Kerberos认证
OozieMapReduceExample Oozie提交MapReduce任务示例程序。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态,对网站的日志文件进行离线分析。 OozieSparkHBaseExample 使用Oozie调度Spark访问HBase的示例程序。 OozieSparkHiveExample
不同,推荐选择最新版本。 版本详细包含的组件详细可参考MRS组件版本一览表。 MRS 3.2.0-LTS.1 组件选择 基于系统预置的集群模板选择要购买的集群组件。 HBase查询集群 可用区 当前区域内,待创建资源所归属的可用区,可用区是在同一区域下,电力、网络隔离的物理区域。