检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
2023-03-21 16:00:00。 示例 该示例是从Kafka数据源中读取数据，并写入Redis到结果表中，其具体步骤如下： 参考增强型跨源连接，根据Redis所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。 设置Redis的安全组，添加入
编辑”，修改作业相关参数后，单击“执行”重新运行该作业即可。 后续指引 如果您想通过Spark Jar作业访问其他数据源，请参考《使用Spark作业跨源访问数据源》。 创建DLI表的语法请参考创建DLI表，创建OBS表的语法请参考创建OBS表。 如果是通过API接口调用提交该作业请参考以下操作说明：
0代表0%至100%。 name 否 String 创建连接时，用户自定义的连接名称。 connection_url 否 String 用于建立跨源关联表时，需要使用到的连接url。 cluster_name 否 String Serverless Spark队列名称。SQL队列模式下建立的跨源连接，该字段为空。
列。例如，原始字段的类型不是 TIMESTAMP(3) 或嵌套在 JSON 字符串中。 注意： 定义在一个数据源表（ source table ）上的计算列会在从数据源读取数据后被计算，它们可以在 SELECT 查询语句中使用。 计算列不可以作为 INSERT 语句的目标，在 INSERT
builder().appName("datasource-rds").getOrCreate(); 通过SQL API 访问 创建DLI跨源访问RDS的关联表，填写连接参数。 1 2 3 4 5 6 7 sparkSession.sql( "CREATE TABLE IF NOT
] } ] } 访问和使用OBS的权限策略 适用场景：DLI Flink作业下载OBS对象、OBS/DWS数据源（外表）、日志转储、使用savepoint、开启checkpoint，DLI Spark作业下载OBS对象、读写OBS外表。 { "Version":
builder().appName("datasource-opentsdb").getOrCreate(); 通过SQL API 访问 创建DLI跨源访问MRS OpenTSDB的关联表，填写连接参数。 1 sparkSession.sql("create table opentsdb_new_test
表生命周期处于公测阶段，如果有需要请联系客服申请开通白名单。 表生命周期功能支持Hive、DataSource语法创建表、多版本表，暂不支持跨源表、Carbon表。 生命周期单位为天，取值为正整数。 生命周期只能在表级别设置，不能在分区级设置。为分区表指定的生命周期，适用于该表所有的分区。
查询增强型跨源授权信息 功能介绍 该API用于查询增强型跨源连接授权的信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v2.0/{project_id}/datasource/enhanced-connections/{connection_id}/privileges
Flink作业不支持使用CAST将“BIGINT”转换为“TIMESTAMP”，可以使用to_timestamp进行转换。 示例二 参考Kafka源表和Print结果表创建flink opensource sql作业，输入以下作业运行脚本，提交运行作业。 注意：创建作业时，在作业编辑界面
创建会话。 1 val sparkSession = SparkSession.builder().getOrCreate() 创建DLI跨源访问 HBase的关联表。 如果对接的HBase集群未开启Kerberos认证，则样例代码参考如下。 1 2 3 4 5 6 7 8 9 sparkSession
MANAGED_TABLE OBS表 ： EXTERNAL_TABLE 视图：VIRTUAL_VIEW datasource-type 否 String 数据源类型。包括如下类型： CloudTable CSS DLI DWS Geomesa HBase JDBC Mongo OBS ODPS OpenTSDB
schema.show.name 用于指定当用户执行show schemas或show databases语句时，Kyuubi引擎如何展示数据源接口的模式名称。 true：表示在展示模式名称时，包含 DLI 的名称作为前缀。 false：表示在展示模式名称时，不包含 DLI 的名称。
->DECIMAL目标类型的整数位必须大于或等于REAL/FLOAT整数位，否则转换报错，小数位不足会截断。 DECIMAL->DECIMAL目标类型整数位的范围必须大于等于源类型，否则转换失败，小数位不足会截断。 VARCHAR->BOOLEAN字符只有 '0'，'1'，'TRUE'，'FALSE' 可转换。 V
'connector.password' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 数据源类型，‘jdbc’表示使用JDBC connector，必须为jdbc connector.url 是 数据库的URL connector.table
java样例代码 开发说明 redis只支持增强型跨源。只能使用包年包月队列。 前提条件 在DLI管理控制台上已完成创建增强跨源连接，并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或
uet.compression = 'zstd')来指定表压缩格式为zstd。 select_statement 否 用于CTAS命令，将源表的select查询结果或某条数据插入到新创建的DLI表中。 示例1：创建DLI非分区表 示例说明：创建名为table1的DLI非分区表，并用STORED
示例 1. 根据订单信息使用kafka作为数据源表，JDBC作为数据结果表统计用户在30秒内的订单数量，并根据窗口的订单id和窗口开启时间作为主键，将结果实时统计到JDBC中： 根据MySQL和kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向
sparkSession = SparkSession.builder().getOrCreate() 通过SQL API访问 创建DLI跨源访问 CSS的关联表。 1 2 3 4 sparkSession.sql("create table css_table(id int, name
t恢复”。 checkpoint间隔设置需在输出文件实时性、文件大小和恢复时长之间进行权衡，比如10分钟。 使用HDFS时需要绑定相应的跨源，并填写相应的主机信息。 使用hdfs时，请配置主NameNode的所在节点信息。 参数说明 表1 参数说明 参数 是否必选 说明 connector
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
