检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
multi.version.trash.dir”即可开启回收站功能。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。 语法格式 1 2 ALTER TABLE [db_name
0/16,单击“确定”完成安全组规则添加。 登录DLI管理控制台,在左侧导航栏单击“跨源管理”,在跨源管理界面,单击“增强型跨源”,单击“创建”。 在增强型跨源创建界面,配置具体的跨源连接参数。具体参考如下。 连接名称:设置具体的增强型跨源名称。本示例输入为:dli_kafka。 弹性资源池:选择步骤1
查找连接中构建表的缓存 TTL(例如 10 分钟)。默认情况下,TTL 为 60 分钟。 该选项仅在查找有界的 hive 表源时有效,如果您使用流式 hive 源作为时态表,请使用 streaming-source.monitor-interval 配置数据更新间隔。 示例 该示例展示了一个经典的业务流水线,维度表来自
同一select里所有聚合函数定义的窗口都必须保持一致。 当前Over窗口只支持前向计算(preceding),不支持following计算。 必须指定ORDER BY 按processing time或event time。 不支持对常量做聚合操作,如sum(2)。 示例 1 2 3 4
同一select里所有聚合函数定义的窗口都必须保持一致。 当前Over窗口只支持前向计算(preceding),不支持following计算。 必须指定ORDER BY 按processing time或event time。 不支持对常量做聚合操作,如sum(2)。 示例 1 2 3 4
JDBC驱动(例如:dli-jdbc-1.1.0-jar-with-dependencies-jdk1.7.jar)。具体操作请参考下载JDBC驱动包。 JDBC认证方式支持AK/SK方式和Token方式,建议采用AK/SK方式。 询问永洪客服,获取永洪SaaS生产环境用户账号和密码。 登入永洪SaaS生产环境,输入用户账号和密码。
avg(col), avg(DISTINCT col) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 col 是 所有数据类型 列值支持所有数据类型,可以转换为DOUBLE类型后参与运算。 返回值说明 返回DOUBLE类型的值。 如果col值为NULL时,该列不参与计算。 示例代码
/*in包括两个值,其中第一个值为布尔型,为true或false,当true时表示插入或更新操作,为false时表示删除操作,若对接的sink端不支持删除等操作,当为false时,可不进行任何操作。第二个值表示实际的数据值*/ public void invoke(Tuple2<Boolean
库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 注意事项 通过OBS转储支持两种中间文件方式: ORC: ORC格式不支持Array数据类型,如果使用ORC格式,需先在DWS中创建外部服务器,具体可参考《数据仓库服务数据库开发指南》中“创建外部服务器”章节。
库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 注意事项 通过OBS转储支持两种中间文件方式: ORC: ORC格式不支持Array数据类型,如果使用ORC格式,需先在DWS中创建外部服务器,具体可参考《数据仓库服务数据库开发指南》中“创建外部服务器”章节。
其中,“=”需要转义为“%3D”,“k1”为标签键1,“v1”为标签值1,“k2”为标签键2,“v2”为标签值2。 注意:当前只支持所有tags值整体的模糊查询,不支持精确查询。 带入query参数的URL示例如下: GET /v1.0/{project_id}/jobs?page-si
是否必选 参数类型 说明 input 是 STRING类型。 要输入的字符串。 endcoding 否 STRING类型。 指定编码格式,支持GBK或UTF-8等标准编码格式,不输入默认为UTF-8。 返回值说明 返回STRING类型的值。 input或encoding值为NULL时,返回NULL。
是否必选 参数类型 说明 input 是 STRING类型。 要输入的字符串。 endcoding 否 STRING类型。 指定编码格式,支持GBK或UTF-8等标准编码格式,不输入默认为UTF-8。 返回值说明 返回STRING类型的值。 input或encoding值为NULL时,返回NULL。
/*in包括两个值,其中第一个值为布尔型,为true或false,当true时表示插入或更新操作,为false时表示删除操作,若对接的sink端不支持删除等操作,当为false时,可不进行任何操作。第二个值表示实际的数据值*/ public void invoke(Tuple2<Boolean
avg(col), avg(DISTINCT col) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 col 是 所有数据类型 列值支持所有数据类型,可以转换为DOUBLE类型后参与运算。 返回值说明 返回DOUBLE类型的值。 如果col值为NULL时,该列不参与计算。 示例代码
是否必选 参数类型 说明 input 是 STRING类型。 要输入的字符串。 endcoding 否 STRING类型。 指定编码格式,支持GBK或UTF-8等标准编码格式,不输入默认为UTF-8。 返回值说明 返回STRING类型的值。 STRING类型UTF-8编码的字符串。
option("driver", driver) \ .load() jdbcDF.show() 操作结果 通过SQL API 访问数据源 创建DLI跨源访问 dws 的关联表。 1 2 3 4 5 6 7 sparkSession.sql( "CREATE TABLE IF NOT
Spark SQL语法参考(即将下线) 批作业SQL常用配置项说明 批作业SQL语法概览 Spark开源命令支持说明 数据库 创建OBS表 创建DLI表 删除表 查看表 修改表 分区表相关 导入数据 插入数据 清空数据 导出查询结果 多版本备份恢复数据 表生命周期管理 跨源连接HBase表
是否必选 参数类型 说明 input 是 STRING类型。 要输入的字符串。 endcoding 否 STRING类型。 指定编码格式,支持GBK或UTF-8等标准编码格式,不输入默认为UTF-8。 返回值说明 返回STRING类型的值。 STRING类型UTF-8编码的字符串。
SQL连接开启SASL_SSL认证的Kafka,请参考Flink SQL语法参考-Kafka源表。 环境准备 已在DLI控制台购买了通用队列。 已购买了Kafka实例,并开启了SASL_SSL认证。 已在DLI创建增强型跨源并绑定队列,确保DLI队列和Kafka连通。 操作须知 连接带SASL_S