检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该字段的map的value需要为double类型,表示score,该字段的map的key表示redis的set中的值。 当data-type为sorted-set,且schema-syntax为array-scores时,除主键字段外,只能有两个非主键字段,且这两个字段的类型需要为array。
(不使用Catalog的场景): 这里的sink表通过创建临时表指向Hudi表路径来写入数据,同时在表参数中配置hive_sync相关参数,实时同步元数据至由DLI提供的元数据服务。(具体参数详见Flink参数一节) 请将作业中sink表的path参数修改为希望保存hudi表的obs路径。
面。 单击需要查看的作业名称,进入“作业详情”页面。 在“运行日志”页签,可以查看运行中作业的JobManager和TaskManager信息。 图4 Flink作业运行日志 JobManager和TaskManager信息每分钟刷新一次,默认展示最近一分钟的运行日志。 如果作业
MRS集群OpenTSDB IP信息”和“图 MRS集群OpenTSDB 端口信息”。若使用经典型跨源,填写经典型跨源返回的连接地址,管理控制台操作请参考《数据湖探索用户指南》。 metric 所创建的dli表对应的OpenTSDB中的指标名称。 tags metric对应的标签,用于归类、过滤、
EOM:End of Marketing,停止该版本的销售。所有新购资源不再支持选择EOM的版本的引擎。 EOS:End of Service & support,停止该版本的服务,建议您在执行作业时选择最新版本的引擎。在该日期之后,不再提供该软件版本的任何技术服务支持。 父主题: 版本支持公告
1.0 0.11.0 如何判断队列支持的计算引擎版本:首先进入DLI的控制台界面,点击左侧菜单栏的”资源管理”-> ”队列管理”。在队列管理的界面筛选并选中需要查询的队列,随后点击窗口底部的窗格,展开隐藏的队列详情页面,在支持版本即可查看可用的计算引擎版本。对于SQL队列,无法切换
String 新建的集群名称,名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 description 否 String 集群的描述信息。 cu_count 是 Integer 与集群绑定的计算单元个数, 同时是计费的单元。可选择16CU,64CU和256CU三
ARCHIVELOG 命令功能 用于根据配置对Timeline上的Instant进行归档,并从Timeline上将已归档的Instant删除,以减少Timeline的操作压力。 命令格式 RUN ARCHIVELOG ON tableIdentifier; RUN ARCHIVELOG
指南》中的“选择依赖资源参数说明”。 通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。 完整示例代码 通过DataFrame API 访问 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险
instant-time]; 参数描述 表1 COMPACTION参数 参数 描述 tableIdentifier 在其中执行删除操作的Hudi表的名称。 tablelocation Hudi表的存储路径 instant-time 执行show compaction命令可以看到instant-time 示例
ava/sql/package-summary.html。 支持的API列表 DLI JDBC Driver支持的API列表如下,对可能与JDBC标准产生歧义的地方加以备注说明。 Connection API支持的常用方法签名: Statement createStatement()
scan.count 每批次读取的数据记录数,默认为100。如果在读取过程中,redis集群中的CPU使用率还有提升空间,可以调大该参数。 iterator.grouping.size 每批次插入的数据记录数,默认为100。如果在插入过程中,redis集群中的CPU使用率还有提升空间,可以调大该参数。
conf' krb5.conf的地址。 'keytab'='./user.keytab' Keytab的地址。 'principal' ='krbtest' 认证用户名。 krb5.conf和keytab文件获取请具体参考开启Kerberos认证时的相关配置文件操作说明。 插入数据
根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka的地址 > 测试)。如果能
1996; 96 M 月份 July; Jul; 07 w 年中的周数 27(该年的第27周) W 月中的周数 2(该月的第2周) D 年中的天数 189(该年的第189天) d 月中的天数 10(该月的第10天) u 星期中的天数 1 = 星期一, ..., 7 = 星期日 a am/pm
也可以设置hoodie.datasource.write.operation的来控制insert语句的写入方式,可选包括bulk_insert、insert、upsert。(注意:会覆盖配置的hoodie.sql.insert.mode的结果) hoodie.datasource.write.operation
DLI跨源分析场景连接外部数据源时,由于数据源的VPC与DLI VPC不同,网络无法连通,导致DLI无法读取数据源数据。DLI提供的增强型跨源连接功能可以实现DLI与数据源的网络连通。 本节操作为您介绍跨VPC的数据源网络连通方案: 创建增强型跨源连接:采用对等连接的方式打通DLI与数据源的VPC网络。 测试
Hudi表的名称 tablelocation Hudi表的存储路径 示例 run clean on h1; run clean on "obs://bucket/path/h1"; 注意事项 对表执行clean操作时需要表的owner才可以执行。 如果需要修改clean默认的参数,需
database_name Database名称,由字母、数字和下划线(_)组成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 constraint_name 约束名称。
SDK获取与安装 Python SDK安装方式 本节操作介绍安装Python SDK的操作指导。 获取DLI SDK 在“DLI SDK DOWNLOAD”页面,单击选择所需的SDK链接,即可获取对应的SDK安装包。 “dli-sdk-python-x.x.x.zip”压缩包,解压后目录结构如下: