检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通常用于结构化数据的查询和分析。 Flink作业 Flink作业专为实时数据流处理设计，适用于低时延、需要快速响应的场景。适用于实时监控、在线分析等场景。 Flink OpenSource作业：提交作业时可以使用DLI提供的标准的连接器（connectors）和丰富的API，快速与其他数据系统的集成。
理和更新，如果使用insert overwrite语法可能存在数据丢失风险。 "自读自写"是指在处理数据时能够读取数据，同时根据读取的数据生成新的数据或对数据进行修改。 使用Hive和Datasource（除Hudi外）表在执行数据修改类命令（例如insert into，load
使用跨源密码认证时配置为“true”。 如果在DDS中已存在collection，则建表可以不指定schema信息，DLI会根据collection中的数据自动生成schema信息。 示例 1 2 3 4 5 6 create table 1_datasource_mongo.test_momgo(id
'datagen', 'rows-per-second' = '1', --每秒生成一条数据 'fields.user_id.kind' = 'random', --为字段user_id指定random生成器 'fields.user_id.length' = '3' --限制user_id长度为3
例如：jar包冲突），有时日志不会写到OBS桶中 DLI Flink作业提交或运行失败时，对应生成的作业日志保存方式，包含以下三种情况： 提交失败，只会在submit-client下生成提交日志。 运行失败且在1分钟内的日志，可以直接在管理控制台页面查看，具体如下： 在“作业管理
包。 图9 导出jar包 打包成功后，生成的Jar包会放到target目录下，以备后用。本示例将会生成到：“D:\DLITest\MyUDAF\target”下名为“MyUDAF-1.0-SNAPSHOT.jar”。 登录OBS控制台，将生成的Jar包文件上传到OBS路径下。 J
包。 图9 编译打包 打包成功后，生成的Jar包会放到target目录下，以备后用。本示例将会生成到：“D:\MyUDTF\target”下名为“MyUDTF-1.0-SNAPSHOT.jar”。 图10 生成Jar包 登录OBS控制台，将生成的Jar包文件上传到OBS路径下。
包括位置应用、金融保险、互联网电商等。 数据仓库服务（Data Warehouse Service，简称DWS）是一种基于基础架构和平台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DWS的更多信息，请参见《数据仓库服务管理指南》。 推荐使用DWS服务自研的DWS Connector。
包括位置应用、金融保险、互联网电商等。 数据仓库服务（Data Warehouse Service，简称DWS）是一种基于基础架构和平台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DWS的更多信息，请参见《数据仓库服务管理指南》。 前提条件 创建Flink OpenSource
Key/Secret Key (AK/SK)和Token，其中Token认证仅dli-jdbc-1.x版本支持。推荐使用AK/SK认证方式。 （推荐）生成AK/SK 登录DLI管理控制台。 在页面右上角的用户名的下拉列表中选择“我的凭证”。 在“我的凭证”页面，默认显示“项目列表”，切换到“管理访问密钥”页面。
目前华为云支持以下两种方式创建自定义策略： 可视化视图创建自定义策略：无需了解策略语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。 JSON视图创建自定义策略：可以在选择策略模板后，根据具体需求编辑策略内容；也可以直接在编辑框内编写JSON格式的策略内容。 具体
如上述举例中的car_infos_sink表，是否开启了Checkpoint。如果未开启则需要开启Checkpoint参数，重新运行作业生成OBS数据文件。 开启Checkpoint步骤如下。 到DLI管理控制台，左侧导航栏选择“作业管理 > Flink作业”，在对应的Flink作业所在行，操作列下单击“编辑”。
from testcsvdata2source; 图3 查询结果 在OBS桶的“obs://dli-test-021/data”目录下刷新后查询，生成了csv数据文件，文件内容为insert插入的数据内容。 图4 查询结果 指定的OBS数据目录包含数据文件。 在OBS桶“dli-test
输入为ARRAY数组：将多个ARRAY数组中的所有元素连接在一起，生成一个新的ARRAY数组。 concat(array<T> <a>, array<T> <b>[,...]) 输入为字符串：将多个字符串连接在一起，生成一个新的字符串。 concat(string <str1>, string
Flink作业提交错误，如何定位 在Flink作业管理页面，将鼠标悬停到提交失败的作业状态上，查看失败的简要信息。 常见的失败原因可能包括： CU资源不足：需扩容队列。 生成jar包失败：检查SQL语法及UDF等。 如果信息不足以定位或者是调用栈错误，可以进一步单击作业名称，进入到作业详情页面，选择“提交日志”页签，查看作业提交日志。
Jersey | 7081 | NULL | 225 (10 rows) CUBE 为给定的列生成所有可能的分组，比如 (origin_state, destination_state) 的可能分组为：(origin_state, de
li_management_agency的委托信息。 步骤1：开发Jar包并上传数据至OBS DLI控制台不提供Jar包的开发能力，您需要在线下完成Jar包的开发。Jar包的开发样例请参考Flink Jar开发基础样例。 参考Flink作业样例代码开发Flink Jar作业程序，
connector.key-column 否 table存储模式下可配置，将该字段值作为redis中的ext-key，未配置时，ext-key为生成的uuid。 示例 从Redis中读取数据。 create table redisSource( car_id STRING, car_owner
不生效。 说明： 如果在DDS中已存在collection，则建表可以不指定schema信息，DLI会根据collection中的数据自动生成schema信息。 user 访问DDS集群用户名。 password 访问DDS集群密码。 图1 mongo的链接地址信息 插入数据 sparkSession
data_type 是 String 导入的数据类型（当前支持csv、parquet、orc、json、avro数据类型）。 说明： 不支持导入Hive表生成的avro格式数据。 database_name 是 String 导入表所属的数据库名称。 table_name 是 String 导入表的名称。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
