-
FileSystem结果表 - 数据湖探索 DLI
FileSink 作为输出,需要了解生成的输出文件的命名和生命周期。 Part 文件可以处于以下三种状态中的任意一种: In-progress:当前正在写入的 Part 文件处于 in-progress 状态 Pending:由于指定的滚动策略)关闭 in-progress 状态文件,并且等待提交
-
查询作业状态 - 数据湖探索 DLI
E。 job_mode String 作业执行模式: async:异步 sync:同步 queue_name String 队列名称,用于显示作业是在该队列中提交的。 owner String 提交作业的用户。 start_time Long 作业开始的时间。是单位为“毫秒”的时间戳。
-
FileSystem结果表 - 数据湖探索 DLI
FileSink 作为输出,需要了解生成的输出文件的命名和生命周期。 Part 文件可以处于以下三种状态中的任意一种: In-progress:当前正在写入的 Part 文件处于 in-progress 状态 Pending:由于指定的滚动策略)关闭 in-progress 状态文件,并且等待提交
-
FileSystem结果表 - 数据湖探索 DLI
FileSink 作为输出,需要了解生成的输出文件的命名和生命周期。 Part 文件可以处于以下三种状态中的任意一种: In-progress:当前正在写入的 Part 文件处于 in-progress 状态 Pending:由于指定的滚动策略)关闭 in-progress 状态文件,并且等待提交
-
Kafka源表 - 数据湖探索 DLI
"user_id":"0002", "user_name":"Bob", "area_id":"330110"} 用户可按下述操作查看输出结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
-
Kafka源表 - 数据湖探索 DLI
"user_id":"0002", "user_name":"Bob", "area_id":"330110"} 用户可按下述操作查看输出结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
-
创建Flink Jar作业 - 数据湖探索 DLI
注意事项 创建作业提交任务前,建议先开通云审计服务,用于记录与DLI服务相关的操作事件,便于日后的查询、审计和回溯。云审计服务支持的DLI操作列表详见云审计服务支持的DLI操作列表说明。 关于如何开通云审计服务以及如何查看追踪事件,请参考《云审计服务快速入门》。 创建Flink Jar作业
-
入门指引 - 数据湖探索 DLI
费说明、权限管理等多个方面进行介绍,让您初步了解数据湖探索DLI。 快速入门 DLI服务的快速使用指导,通过一些示例指导您快速完成如何准备账号、准备环境、创建数据库及表、导入数据、运行SQL等操作。 SQL编辑器 您需要在提交作业分析数据前掌握SQL编辑器的使用。 如果您是数据分析师
-
(推荐)创建Flink OpenSource SQL作业 - 数据湖探索 DLI
注意事项 创建作业提交任务前,建议先开通云审计服务,用于记录与DLI服务相关的操作事件,便于日后的查询、审计和回溯。云审计服务支持的DLI操作列表详见云审计服务支持的DLI操作列表说明。 关于如何开通云审计服务以及如何查看追踪事件,请参考《云审计服务快速入门》。 创建Flink OpenSource
-
描述表信息(废弃) - 数据湖探索 DLI
database_name 是 String 待描述的表所在的数据库名称。 table_name 是 String 待描述表的名称。 请求消息 无请求参数。 响应消息 表2 响应参数 参数名称 是否必选 参数类型 说明 is_success 是 Boolean 执行请求是否成功。“true”表示请求执行成功。
-
Raw Format - 数据湖探索 DLI
Chrome/72.0.3626.119 Safari/537.36" "2.75" 按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
-
Maxwell Format - 数据湖探索 DLI
r。Maxwell为changelog提供了统一的格式,而且支持使用JSON对消息进行序列化。 Flink 支持将 Maxwell JSON 消息解释为 INSERT/UPDATE/DELETE 消息到 Flink SQL 系统中。在许多情况下,这对于利用此功能很有用。 例如: 将数据库中的增量数据同步到其他系统
-
Print结果表 - 数据湖探索 DLI
select * from dataGenSource; 该作业提交后,作业状态变成“运行中”,后续您可通过如下操作查看输出结果。 方法一: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列,选择“更多 > FlinkUI”。 在FlinkUI界面,选择“Task
-
查询所有弹性资源池 - 数据湖探索 DLI
表4 elastic_resource_pools参数说明 参数名称 是否必选 参数类型 说明 owner 否 String 创建弹性资源池的账号。 elastic_resource_pool_name 否 String 弹性资源池名称。 description 否 String 弹性资源池描述信息。
-
使用Livy提交Spark Jar作业 - 数据湖探索 DLI
gz,后续版本变化请根据实际情况修改。 单击下载链接,获取DLI Livy工具压缩包。 使用WinSCP工具,将获取的工具压缩包上传到准备好的ECS服务器目录下。 使用root用户登录ECS服务器,执行以下命令安装DLI Livy工具。 执行以下命令创建工具安装路径。 mkdir livy安装路径 例如新建路径/opt/livy:mkdir
-
Canal Format - 数据湖探索 DLI
为变更日志提供了统一的数据格式,并支持使用 JSON 或 protobuf序列化消息(Canal 默认使用 protobuf)。 Flink 支持将 Canal 的 JSON 消息解析为 INSERT / UPDATE / DELETE 消息到 Flink SQL 系统中。在很多情况下,利用这个特性非常的有用,例如
-
类型转换函数 - 数据湖探索 DLI
15:00:00", "case_timestamp_to_date": "2022-04-02 15:00:00"} 查看输出结果: 方法一: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列,选择“更多 > FlinkUI”。 在FlinkUI界面,选择“Task
-
scala样例代码 - 数据湖探索 DLI
Overwrite) .save() 表1 redis操作参数 参数 描述 host 需要连接的redis集群的IP。 获取方式为:登录华为云官网,之后搜索redis,进入“分布式缓存服务”,接着选择“缓存管理”,根据主机名称需要的IP,可选择其中任意一个IP进行复制即可(其中也包含了port信息),请参考图1。
-
购买套餐包 - 数据湖探索 DLI
按需付费的方式继续使用。 购买套餐包 登录DLI管理控制台。 选择“资源管理 > 队列管理”。 在队列管理页面,单击“购买套餐包”。 在“购买套餐包”页面设置相关参数。 表1 参数说明 参数名称 描述 区域 选择所在的区域。不同区域的云服务之间内网互不相通;请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。
-
添加路由 - 数据湖探索 DLI
添加路由信息页的路由是弹性资源池子网关联的路由表中的路由。 数据源子网与弹性资源池所在子网为不同的子网,否则会造成网段冲突。 操作步骤 登录DLI管理控制台。 在左侧导航栏中,选择“跨源管理 > 增强型跨源 ”。 选择待添加路由的增强型跨源连接,并添加路由。 方法一: 选择待添