检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
me。升序（ ASC ）排列指只保留第一行，而降序排列（ DESC ）则只保留最后一行。 WHERE rownum = 1: Flink 需要 rownum = 1 以确定该查询是否为去重查询。 注意事项 无 示例 根据order_id对数据进行去重，其中proctime为事件时间属性列
典型场景示例：迁移DWS数据至DLI 数据迁移数据类型映射 将其他云服务或业务平台数据迁移到DLI ，或者将DLI数据迁移到其他云服务或业务平台时，涉及到源和目的端数据类型的转换和映射，根据表2可以获取到源和目的端的数据类型映射关系。 表2 数据类型映射表 MySQL Hive DWS Oracle PostgreSQL
本节介绍如何为作业添加标签、修改标签和删除标签。 在DLI管理控制台的左侧导航栏中，单击“作业管理”>“Flink作业”，进入Flink作业管理页面。 单击需要查看的作业名称，进入“作业详情”页面。 单击“标签”页签，显示当前作业的标签信息。 图1 管理作业标签 单击“添加/编辑标签”，弹出“添加/编辑标签”对话框。
file_versions_retained=> '[file_versions_retained]'); 参数描述 表1 参数描述 参数 描述 是否必填 table 需要查询表的表名，支持database.tablename格式 是 clean_policy 清理老版本数据文件的策略，默认KEEP_LATEST_COMMITS
Spark作业未开启高级配置时默认按A类型资源规格配置。 Spark作业中显示计算资源规格的单位为CPU单位，1CU包含1CPU和4GB内存。上述公式中x1代表CPU单位转换为CU单位。 请分别使用内存和CPU核数计算所需的CUs，取两者中的最大值作为Executor 或driver所需的CU数。 图2 查看Spark作业所需CUs数
day_of_week) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 start_date 是 DATE 或 STRING 代表需要处理的日期。 start_date取值为STRING类型格式时，至少要包含yyyy-mm-dd且不含多余的字符串。 格式为： yyyy-mm-dd
regexp_extract('basketball', 'bas(.*?)(ball)',0); 返回99。在DLI上提交正则计算的SQL，需要使用两个"\"作为转义字符。 select regexp_extract('8d99d8', '8d(\\d+)d8'); 返回【你好】。
DCS，文档数据库服务DDS，数据仓库服务GaussDB（DWS），MapReduce服务MRS，云数据库RDS等。使用DLI的跨源能力，需要先创建跨源连接。 管理控制台界面具体操作请参考《数据湖探索用户指南》。 使用Spark作业跨源访问数据源支持使用scala，pyspark和java三种语言进行开发。
merge => '[merge]', limit => [limit]) 参数描述 表1 参数描述 参数 描述 是否必填 table 需要查询表的表名，支持database.tablename格式 是 log_file_path_pattern log file的路径，支持正则匹配
instant_time=>'[instant_time]', limit=>[limit]); 参数描述 表1 参数描述 参数 描述 是否必填 table 需要查询表的表名，支持database.tablename格式 是 instant_time 某次commit对应的时间戳 是 limit 限制返回结果的条数
provided </scope> </dependency> 或使用exclusions标签将其排除关联。 若使用到hdfs的配置文件，则需要将core-site.xml、hdfs-site.xml、yarn-site.xml 修改为mrs-core-site.xml、mrs-hdfs-site
ros类型的认证。建表时通过krb_auth_name关联跨源认证。 MRS Kafka开启Kerberos认证，同时开启了SSL认证时，需要同时创建Kerberos和Kafka_SSL类型的认证。建表时分别通过krb_auth_name和ssl_auth_name关联跨源认证。
postgresql.Driver。 connector.username 否 数据库认证用户名，需要和'connector.password'一起配置 connector.password 否 数据库认证密码，需要和'connector.username'一起配置 connector.read.partition
DLI表不支持在建表时指定多字符的分隔符。 关于分区表的使用说明： 创建分区表时，PARTITONED BY中指定分区列必须是不在表中的列，且需要指定数据类型。分区列支持string, boolean, tinyint, smallint, short, int, bigint, long
表，您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 在线生成SDK代码 【样例】 API Explorer能根据需要动态生成SDK代码功能，降低您使用SDK的难度，推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码。
已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...，field 表“DLI_TEST”中的列值，需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。 num 对查询结果进行限制，num参数仅支持INT类型。
yyyy-mm-dd yyyy-mm-dd hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 datepart 是 STRING 代表需要返回的时间单位。 参数datepart支持扩展的日期格式：年-year、月-month或-mon、日-day和小时-hour。 yyyy代表年份。
连接ID，用于标识跨源连接的UUID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 queues 否 Array of String 需要使用跨源的队列名列表。 elastic_resource_pools 否 Array of Strings 将这些弹性资源池解绑定增强跨源。
', is_sub=>'[is_sub]', sort=>'[sort]'); 参数描述 表1 参数描述 参数 描述 是否必填 path 需要查询的FS的路径 是 is_sub 默认false，false表示统计指定目录的信息，true表示统计指定目录的子目录的信息 否 sort
资源池。 弹性资源池Flink版本只支持1.10及其以上版本，如果准备分配到弹性资源池的作业使用Flink1.7版本可能会出现兼容性问题，需要提前做好Flink版本适配。 约束与限制 弹性资源池和队列均是可用状态。 队列是按需专属队列。 队列和弹性资源池状态正常，资源未被冻结。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
