检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
name_test", "age+1").show() col 获取指定字段。不同于select,col每次只能获取一个字段,返回类型为Column类型,示例如下: 1 val idCol = jdbcDF.col("id") drop 删除指定字段。传入要删除的字段,返回不包含
'table-name' = 'mysqlTableName' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 说明 connector 是 无 String connector类型,需配置为'mysql-cdc'。 hostname 是 无 String MySQL数据库的IP地址或者Hostname。
Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码。 如图1所示。 图1 获取SDK代码示例
Key)或Token两种认证方式初始化客户端,具体操作请参考初始化DLI客户端 Python SDK列表 表1 Python SDK列表 类型 说明 队列相关 介绍查询所有队列的Python SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询制定资源包、删除资源包的Python
务。 图1 DLI云服务委托 DLI委托 在使用DLI前,为了确保正常使用DLI的功能,建议先进行DLI委托权限设置。 DLI默认提供以下类型的委托:dli_admin_agency、dli_management_agency、dli_data_clean_agency(名称固定
新建的队列名称,名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。长度限制:1~128个字符。 队列名称不区分大小写,系统会自动转换为小写。 类型:队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。 AZ策略、CPU架构、规格:保持默认即可。 企业项目:当前选择为“default”。
Access Key)或Token两种认证方式初始化客户端,具体操作请参考初始化DLI客户端 Java SDK列表 表1 Java SDK列表 类型 说明 OBS授权 介绍将OBS桶的操作权限授权给DLI的Java SDK使用说明。 队列相关 介绍创建队列、获取默认队列、查询所有队列、删除队列的Java
建议您对测试业务场景和生产业务场景分别创建弹性资源池,通过资源物理隔离的方式,保障资源管理的独立性和安全性。 DLI提供的弹性资源池规格如表1所示。 表1 弹性资源池规格 类型 规格 约束限制 适用场景 基础版 16-64CUs规格 不支持高可靠与高可用。 不支持设置队列属性和作业优先级。 不支持对接Notebook实例。
Read 当满足以下条件时,Flink 会自动对 Hive 表进行矢量化读取: 格式:ORC 或 Parquet。 没有复杂数据类型的列,如配置单元类型:List、Map、Struct、Union。 默认情况下,此功能处于启用状态。可以使用以下配置禁用它。 table.exec.hive
mask_hash(string|char|varchar str) →varchar 描述:返回基于str的散列值。散列是一致的,可以用于跨表连接被屏蔽的值。对于非字符串类型,返回NULL。 select mask_hash('panda'); _col0
窗口表值函数(Windowing TVFs)。 在批模式下,窗口表值函数的时间属性字段必须是 TIMESTAMP 或 TIMESTAMP_LTZ 类型的。 -- tables must have time attribute, e.g. `bidtime` in this table Flink
1~65535。 本例中选择TCP协议,端口值不填或者填写为步骤1:获取外部数据源的内网IP、端口和安全组获取的数据源的端口。 类型 IP地址类型。 IPv4 源地址 源地址用于放通来自IP地址或另一安全组内的实例的访问。 本例填写步骤2:获取DLI队列网段获取的队列网段。 描述
group by id。 Flink中支持字段类型范围为:string、tinyint、smallint、int、long、float、double、date、timestamp、decimal以及Array。 其中Array中的数据类型仅支持int、bigint、string、float、double。
ClickHouse结果表不支持删除表数据操作。 Flink中支持字段类型范围为:string、tinyint、smallint、int、long、float、double、date、timestamp、decimal以及Array。 其中Array中的数据类型仅支持int、bigint、string、float、double。
弹性资源池添加的队列名称。 类型 SQL队列:用于运行SQL作业。 通用队列:用于运行Spark作业 、Flink 作业。 执行引擎 如果队列类型选择为“SQL队列”,则可以选择队列引擎是:Spark或者HetuEngine HetuEngine类型的SQL队列最小CU不能小于96CUs。
nkDisToDisExample.java样例。 表1 创建Flink Jar对应的程序包主要参数说明 参数名称 说明 示例 包类型 支持的包类型如下: JAR:用户jar文件 PyFile:用户Python文件 File:用户文件 ModelFile:用户AI模型文件 JAR
1 (2 rows) ZEROIFNULL(value) 如果value为null,返回0,否则返回原值。目前支持数值类型还有varchar类型。 select zeroifnull(a),zeroifnull(b),zeroifnull(c) from (values (null
指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 返回值说明 返回DOUBLE类型的值。 示例代码 示例数据 为便于理解函数的使用方法,本文为您提供源数据,基于源数据提供函数相关示例。创建表salary,并添加数据,命令示例如下:
"error_code": "DLI.0001" } 其中,error_code表示错误码,error_msg表示错误描述信息。 表1 异常响应说明 名称 参数类型 说明 error_code String 错误码,请参见表2。 error_msg String 错误详细信息。 错误码说明 当您调用A
message-column' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 sink的类型,smn表示输出到消息通知服务中 connector.region 是 SMN所在区域 connector.topic-urn 否 SMN