检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
过滤行转换 概述 “过滤行转换”算子，用于配置逻辑条件过滤掉含触发条件的行。 输入与输出 输入：用来做过滤条件的字段 输出：无 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 条件逻辑连接符 配置条件逻辑连接符，可配置“AND”或“OR”。 enum 是 AND
过滤行转换 概述 “过滤行转换”算子，用于配置逻辑条件过滤掉含触发条件的行。 输入与输出 输入：用来做过滤条件的字段 输出：无 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 条件逻辑连接符 配置条件逻辑连接符，可配置“AND”或“OR”。 enum 是 AND
删除OpenTSDB数据 功能简介 在OpenTSDB的查询接口中增加delete参数，并且设置delete参数为true。 函数genQueryReq()生成删除请求，函数deleteData()把删除请求发送到OpenTSDB服务端。 样例代码 以下代码片段在com.huawei.bigdata
Flink Job Pipeline样例程序（Java） 下面列出的主要逻辑代码作为演示。 完整代码请参阅： com.huawei.bigdata.flink.examples.UserSource。 com.huawei.bigdata.flink.examples.TestPipeline_NettySink。
开发和部署对接HetuEngine的Hive UDF 用户可以自定义一些函数，用于扩展SQL以满足个性化的需求，这类函数称为UDF。 本章节主要介绍开发和应用Hive UDF的具体步骤。 MRS 3.2.1及以后版本，需要基于JDK17.0.4及以上版本开发。本章节以MRS 3.3
集群生命周期管理 MRS支持集群的生命周期管理包括创建集群和删除集群。 创建集群：支持用户定制集群的类型、组件范围、各类型的节点数、虚拟机规格、可用区、VPC网络、认证信息，MRS将为用户自动创建一个符合配置的集群，全程无需用户参与；同时支持用户在集群中运行自定义内容；支持快速创
JDK编译时要求Java代码中的每个函数的长度不能超过64KB。当执行一个很复杂的SQL语句时，例如有多层语句嵌套，且单层语句中对字段有大量的逻辑处理（如多层嵌套的case when语句），这种情况下，通过codegen生成的Java代码中函数的大小就可能会超过64KB，从而导致编译失败。
写入OpenTSDB数据 功能简介 使用OpenTSDB的接口(/api/put)写入数据。 函数genWeatherData()模拟生成的气象数据，函数putData()发送气象数据到OpenTSDB服务端。 样例代码 以下代码片段在com.huawei.bigdata.opentsdb
Oozie应用开发常用概念 流程定义文件 描述业务逻辑的XML文件，包括“workflow.xml”、“coordinator.xml”、“bundle.xml”三类，最终由Oozie引擎解析并执行。 流程属性文件 流程运行期间的参数配置文件，对应文件名为“job.propert
“关联类型”：当“服务”选择“ClickHouse”时，“关联类型”只支持“共享”。 “关联逻辑集群”：如果ClickHouse没有开启逻辑集群，则默认关联default_cluster，如果已经开启逻辑集群，则按需选择需要关联的逻辑集群。 “CPU优先级”：CPU优先级取值范围为-20~19，该值关联
HAVING HAVING与聚合函数和GROUP BY一起使用，来控制选在哪些组。 HAVING能够在分组和聚合计算之后，过滤掉不满足给定条件的组。 例如： SELECT count(*), mktsegment, nationkey, CAST(sum(acctbal) AS bigint)
查询OpenTSDB数据 功能简介 使用OpenTSDB的查询接口(/api/query)读取数据。 函数genQueryReq()生成查询请求，函数queryData()把查询请求发送到OpenTSDB服务端。 样例代码 以下代码片段在com.huawei.bigdata.opentsdb
GRAPHVIZ | JSON } TYPE { LOGICAL | DISTRIBUTED | VALIDATE | IO} 描述 显示一条语句的逻辑的或者分布式的执行计划，也可以用于校验一条SQL语句，或者是分析IO。 参数TYPE DISTRIBUTED用于显示分片后的计划（fragmented
HDFS应用开发简介 HDFS简介 HDFS（Hadoop Distribute FileSystem）是一个适合运行在通用硬件之上，具备高度容错特性，支持高吞吐量数据访问的分布式文件系统，非常适合大规模数据集应用。 HDFS适用于如下场景： 处理海量数据（TB或PB级别以上） 需要很高的吞吐量
Oozie应用开发常用概念 流程定义文件 描述业务逻辑的XML文件，包括“workflow.xml”、“coordinator.xml”、“bundle.xml”三类，最终由Oozie引擎解析并执行。 流程属性文件 流程运行期间的参数配置文件，对应文件名为“job.propert
老化的分区，只打印老化的分区。 dryRun为true时，会根据Hudi表配置的TTL策略去检查当前时刻有哪些老化的分区，并且逻辑删除这些老化的分区。逻辑删除操作会生成一个repalcecommit，等执行clean操作时会自动物理删除老化的分区。 参数描述 参数 描述 是否必填
执行如下命令创建目录，并将已准备好相应的UDF函数包上传到目录路径。 hdfs dfs -mkdir -p /udf/hetuserver hdfs dfs -put ./UDF函数包 /udf/hetuserver 修改UDF函数包权限。 hdfs dfs -chmod 644
ClickHouse应用开发常用概念 基本概念 cluster cluster（集群）在ClickHouse里是一种逻辑的概念，它可以由用户根据需要自由的定义，与通常理解的集群有一定的差异。多个ClickHouse节点之间是一种松耦合的关系，各自独立存在。 shards shar
ClickHouse应用开发常用概念 基本概念 cluster cluster（集群）在ClickHouse里是一种逻辑的概念，它可以由用户根据需要自由的定义，与通常理解的集群有一定的差异。多个ClickHouse节点之间是一种松耦合的关系，各自独立存在。 shards shar
Processing）：可以用来快速处理数据，兼具容错性和可扩展性。 迭代计算（Iterative Computation）：支持迭代计算，有效应对多步的数据处理逻辑。 数据挖掘（Data Mining）：在海量数据基础上进行复杂的挖掘分析，可支持各种数据挖掘和机器学习算法。 流式处理（Streaming
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
