检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调整Hudi数据源性能 本章节适用于MRS 3.3.1及以后版本。 HetuEngine具备高速访问Hive、Hudi等数据源的能力。对于Hudi数据源调优，可以分为对Hudi表本身和对集群环境的调优。 Hudi表调优 可参考如下建议优化表和数据设计： 建表时尽量按照频繁使用的过滤条件字段进行分区。
path=>'[path]', limit=>'[limit]'); 参数描述 表1 参数描述 参数 描述 是否必填 table 需要查询的表名，支持database.tablename格式。 否 path 需要查询的表的路径。 否 predicate 需要定义的谓语句。 否 order 指定clustering的排序字段。
FlinkSQL Redis表开发规则 Flink Redis作业参数规范 Flink Redis作业参数配置规范如下表所示。 表1 Flink Redis作业参数规范 配置项 是否必选 类型 描述 zSetScoreColumn 可选 String Redis作为维表时，ZSet格式score字段对应的列名。
比较函数和运算符 比较操作 操作 描述 < 小于 > 大于 <= 小于等于 >= 大于等于 = 等于 <> 不等于 != 不等于 范围比较：between between适用于值在一个特定的范围内，如：value BETWEEN min AND max Not between适用于值不在某个特定范围内。
MapReduce访问多组件样例代码 功能介绍 主要分为三个部分： 从HDFS原文件中抽取name信息，查询HBase、Hive相关数据，并进行数据拼接，通过类MultiComponentMapper继承Mapper抽象类实现。 获取拼接后的数据取最后一条输出到HBase、HDF
String[] words = line.toLowerCase(Locale.getDefault()).split(REGEX_STRING); for (String word : words) {
查询SQL结果 功能介绍 在MRS集群中查询一条SQL的执行结果。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/sql-execution/{sql_id} 表1 路径参数 参数 是否必选
通过JDBC访问Spark SQL样例程序（Java） 功能简介 使用自定义客户端的JDBC接口提交数据分析任务，并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句，注意其中不能包含“;”。示例： ArrayList<String> sqlList = new ArrayList<String>();
Spark SQL样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“
ClickHouse集群业务规划 集群规模 建议单集群不超过256节点规模。 集群负载 对于不同业务负载的业务，需要分开集群部署，便于不同负载的业务进行资源隔离。 集群并发 由于ClickHouse单个SQL会最大化使用每个主机上的CPU/内存/IO资源，对于复杂SQL查询（复杂
subscribe(java.util.Collection<java.lang.String> topics) Topic订阅接口方法。 ConsumerRecords<K,V> poll(final Duration timeout) 请求获取消息接口方法。 父主题： Kafka常用API介绍
equals("female"); } }).keyBy( new UserRecordSelector() ).window( TumblingEventTimeWindows.of(Time
Hive SQL扩展语法说明 Hive SQL支持Hive-3.1.0版本中的所有特性，详情请参见https://cwiki.apache.org/confluence/display/hive/languagemanual。 MRS系统提供的扩展Hive语句如表1所示。 表1 扩展Hive语句
Hive表的HDFS数据目录被误删，但是元数据仍然存在，导致执行任务报错 问题 Hive表HDFS数据目录被误删，但是元数据仍然存在，导致执行任务报错。 回答 这是一种误操作的异常情况，需要手动删除对应表的元数据后重试。 例如： 执行以下命令进入控制台： source ${BIG
jar。add jar所指定的路径可以是本地路径也可以是HDFS上的路径。 场景二： show functions会从外部的Catalog获取当前database中所有的function。SQL中使用function时，JDBCServer会加载该function对应的jar。 若jar不存在
jar。add jar所指定的路径可以是本地路径也可以是HDFS上的路径。 场景二： show functions会从外部的Catalog获取当前database中所有的function。SQL中使用function时，JDBCServer会加载该function对应的jar。 如果jar不存
Hive性能调优 建立Hive表分区提升查询效率 Hive Join数据优化 Hive Group By语句优化 Hive ORC数据存储优化 Hive SQL逻辑优化 使用Hive CBO功能优化查询效率 父主题： 使用Hive
配置Hive Beeline高可靠性 操作场景 在批处理任务运行过程中，beeline客户端由于网络异常等问题断线时，Hive能支持beeline在断线前已经提交的任务继续运行。当再次运行该批处理任务时，已经提交过的任务不再重新执行，直接从下一个任务开始执行。 在批处理任务运行过
配置Hive Beeline高可靠性 操作场景 在批处理任务运行过程中，beeline客户端由于网络异常等问题断线时，Hive能支持beeline在断线前已经提交的任务继续运行。当再次运行该批处理任务时，已经提交过的任务不再重新执行，直接从下一个任务开始执行。 在批处理任务运行过
使用Spark执行Hudi样例程序（Scala） 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieDataSourceExample。 插入数据： def insertData(spark: SparkSession
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
