检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Sqlline接口介绍 用户可以直接使用sqlline.py在服务端对HBase进行SQL操作。 Phoenix的sqlline接口与开源社区保持一致。 详情请参见http://phoenix.apache.org/。 此版本不包含开源社区中Phoenix二级索引特性。 父主题：
Hudi SQL使用约束 Hudi支持使用Spark SQL操作Hudi的DDL/DML的语法，使得所有用户（非工程师、分析师等）更容易访问和操作Hudi。 约束 支持在Hudi客户端执行Spark SQL操作Hudi。 支持在Spark2x的JDBCServer中执行Spark
Hive SQL逻辑优化 操作场景 在Hive上执行SQL语句查询时，如果语句中存在“(a&b) or (a&c)”逻辑时，建议将逻辑改为“a & (b or c)”。 样例 假设条件a为“p_partkey = l_partkey”，优化前样例如下所示： select
数据源。 全局元数据：对于非结构化数据源HBase，提供映射表方式将非结构化SCHEMA映射成结构化SCHEMA，实现HetuEngine对HBase的无差别SQL访问；对于数据源信息，提供全局管理。 全局权限控制：数据源的权限均可通过HetuEngine开放给Ranger集中管理，统一控制。
Spark SQL join优化 操作场景 Spark SQL中，当对两个表进行join操作时，利用Broadcast特性（见“使用广播变量”章节），将被广播的表BroadCast到各个节点上，从而转变成非shuffle操作，提高任务执行性能。 这里join操作，只指inner join。
提交SQL语句 功能介绍 在MRS集群中提交并执行一条SQL语句。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/sql-execution 表1 路径参数 参数 是否必选 参数类型
MATCH表示每次匹配只输出一行，ALL ROWS PER MATCH表示每次匹配的每一个事件输出一行。 -AFTER MATCH [可选]：指定从何处开始对下一个模式匹配进行匹配成功后的处理。 -PATTERN： 将匹配模式定义为正则表达式格式。PATTERN子句中可使用以下运算符： 连接运算符，量词运算符(*，+，
SET/RESET 命令功能 此命令用于动态Add，Update，Display或Reset Hudi参数，而无需重新启动driver。 命令格式 Add或Update参数值： SET parameter_name=parameter_value 此命令用于添加或更新“parameter_name”的值。
如何对Hive表大小数据进行监控 问题 如何对Hive中的表大小数据进行监控？ 回答 当用户要对Hive表大小数据进行监控时，可以通过HDFS的精细化监控对指定表目录进行监控，从而到达监控指定表大小数据的目的。 前提条件 Hive、HDFS组件功能正常 HDFS精细化监控功能正常
如何避免对历史数据进行minor compaction？ 问题 如何避免对历史数据进行minor compaction？ 回答 如果要先加载历史数据，后加载增量数据，则以下步骤可避免对历史数据进行minor compaction： 加载所有历史数据。 将major compact
数不支持date字段类型，转换出来的隐式分区显示default的问题 解决Hudi的truncate(col, W)函数，W在建表时可以为负数的问题 解决Hudi分区规则属性包含5个以上的规则应建表失败的问题 父主题： MRS 3.3.1-LTS.1.2补丁说明
如何对Hive表大小数据进行监控 问题 如何对Hive中的表大小数据进行监控？ 回答 当用户要对Hive表大小数据进行监控时，可以通过HDFS的精细化监控对指定表目录进行监控，从而到达监控指定表大小数据的目的。 前提条件 Hive、HDFS组件功能正常 HDFS精细化监控功能正常
配置Spark通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在Spark客户端创建Location为OBS路径的表。 集群安装后使用spark beeline 登录FusionInsight Manager，选择“集群 > 服务 >
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示，客户端与服务端的配置相同。要使用表权限功能，需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明（1） 参数 描述 默认值 spark.sql
此外，这些函数对Unicode代码点进行运算，而不是对用户可见的字符（或字形群集）进行运算。某些语言将多个代码点组合成单个用户感观字符（这是语言书写系统的基本单位），但是函数会将每个代码点视为单独的单位。 lower和upper函数不执行某些语言所需的区域设置相关、上下文相关或一对多映射。
方式访问Hive，使用操作请参考从零开始使用Hive，应用开发请参考Hive应用开发。 元数据存储：Hive将元数据存储在数据库中，如MySQL、Derby。Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 Hive结构 Hi
创建FlinkServer作业写入数据至ClickHouse表 本章节适用于MRS 3.1.2及之后的版本。 操作场景 Flink通过对接ClickHouse的ClickHouseBalancer实例进行读写，有效避免ClickHouse流量分发问题。FlinkSQL与ClickHouse数据类型对应关系如下表所示。
前Kafka实例。 如果当前为滚动重启且当前Topic存在多副本，则对业务无影响。否则重启期间会导致Kafka服务不可用，依赖该服务的上层服务也将受到影响。 查看Kafka配置的数据保存时间配置，根据业务需求和业务量权衡，考虑是否需要调小数据保存时间。 是，执行16。 否，执行17。
不会丢失。 硬盘亚健康检测和故障处理，对业务不造成实际影响。 自动处理文件系统的故障，自动恢复受影响的业务。 自动处理进程和节点的故障，自动恢复受影响的业务。 自动处理网络故障，自动恢复受影响的业务。 数据备份与恢复 为应对数据丢失或损坏对用户业务造成不利影响，在异常情况下快速恢
rank()→ bigint 描述：返回值在一组值中的排名。等级为1加上该行之前与该行不对等的行数。因此，排序中的平局值将在序列中产生缺口。对每个窗口分区执行排名。 SELECT cookieid, createtime, pv, RANK() OVER(PARTITION BY
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
