检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
equals("female"); } }).keyBy( new UserRecordSelector() ).window( TumblingEventTimeWindows.of(Time
equals("female"); } }).keyBy( new UserRecordSelector() ).window( TumblingEventTimeWindows.of(Time
equals("female"); } }).keyBy( new UserRecordSelector() ).window( TumblingEventTimeWindows.of(Time
UDF项目 本样例实现一个HetuEngine UDF,说明见下表。 表1 HetuEngine UDF说明 名称 说明 AddTwo 对输入的数字加2后返回 创建Maven项目,“groupId”配置“com.test.udf”,“artifactId”配置“udf-test”。这个两个值可根据实际情况自定义。
清除的告警。 导出的审计日志文件,包含以下信息列: “编号”:表示MRS Manager已生成的审计日志数量,每增加一条审计日志则编号自动加1。 “操作类型”:表示用户操作的操作类型,分为“告警”、“审计日志”、“备份恢复”、“集群”、“采集日志”、“主机”、“服务”、“多租户”
操作Avro格式数据 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase,本例中将数据以Avro格式存储在HBase中,并从中读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell,进入HBase命令行,使用下面的命令创建样例代码中要使用的HBase表:
ient.tar Core节点的IP地址:/opt/client 使用“root”登录Core节点。 Master节点支持Cloud-Init特性,Cloud-init预配置的用户名“root”,密码为创建集群时设置的密码。 执行以下命令,安装客户端: cd /opt/client
jar。add jar所指定的路径可以是本地路径也可以是HDFS上的路径。 场景二: show functions会从外部的Catalog获取当前database中所有的function。SQL中使用function时,JDBCServer会加载该function对应的jar。 若jar不存在
jar。add jar所指定的路径可以是本地路径也可以是HDFS上的路径。 场景二: show functions会从外部的Catalog获取当前database中所有的function。SQL中使用function时,JDBCServer会加载该function对应的jar。 如果jar不存
“带宽上限”为可选参数,若不填写则为无上限,最大可设置为10000MB/s。 在选择迁移数据表界面,单击“数据库”后的,选择待迁出节点上存在的数据库,在“数据表”处选择待迁移的数据表,数据表下拉列表中展示的是所选数据库中的MergeTree系列引擎的分区表。“节点信息”中展示的为当前迁入节点、迁出节点
在“数据配置”的“数据选择”中,根据业务需要勾选一个或多个需要恢复的已备份数据。 配置约束: 本集群Doris中已存在与所选备份数据原数据库同名的数据库。 备份数据会按备份表的原名称恢复到同名数据库中。 如果存在同名表,须保证两张表的表结构完全一致。表结构包括:表名、列、分区、物化视图等。 在“保持原数据
Spark同步HBase数据到CarbonData(Java) 以下为Spark同步HBase数据到CarbonData的Java示例。 下面代码片段仅为演示。 具体代码参见:com.huawei.spark.examples.HBaseExternalHivetoCarbon。
Spark同步HBase数据到CarbonData(Java) 以下为Spark同步HBase数据到CarbonData的Java示例。 下面代码片段仅为演示。 具体代码参见:com.huawei.spark.examples.HBaseExternalHivetoCarbon。
Presto JDBC使用样例 Presto JDBC使用样例 以下示例为Presto JDBC使用样例。 以下代码片段用于实现JDBC连接Presto TPCDS Catalog。 详情请参考PrestoJDBCExample类。 1 2 3 4 5 6 7 8
创建Bucket索引表调优 Bucket索引常用设置参数: Spark: hoodie.index.type=BUCKET hoodie.bucket.index.num.buckets=5 Flink index.type=BUCKET hoodie.bucket.index.num
HetuEngine物化视图概述 HetuEngine物化视图功能适用于MRS 3.2.0及以后版本。 HetuEngine物化视图背景介绍 HetuEngine具备物化视图能力。在实际运用中,将高频访问的SQL查询和有高耗时的算子(连接, 聚合等算子)的SQL通过建立物化视图进
FusionInsight Manager主机管理界面查看。 执行以下命令,切换至omm用户并登录omm数据库。 su - omm gsql -U omm -W omm数据库密码 -p 20015 执行命令 select * from OM_CLUSTERS;,查看集群信息。 查
表1 ALTER TABLE COMPACTION参数描述 Parameter Description db_name 数据库名。如果未指定,则选择当前数据库。 table_name 表名。 MINOR Minor合并,详见合并Segments。 MAJOR Major合并,详见合并Segments。
算实例的WebUI界面,并对当前用户的SQL有查询和运维的权限。 启用了Ranger鉴权时,如果用户创建后需要继续为用户配置操作数据源的数据库、表、列的管理权限,请参考添加HetuEngine的Ranger访问权限策略。 在使用HetuEngine服务请确保已提前规划并创建HetuEngine用户待关联的租户。
使用Spark执行Hudi样例程序(Python) 使用python写Hudi表 下面代码片段仅为演示,具体代码参见:sparknormal-examples.SparkOnHudiPythonExample.hudi_python_write_example。 插入数据: #insert