检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink作业相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化，参考队列相关完成队列创建等操作。 新建SQL作业 DLI提供新建Flink SQL作业的接口。您可以使用该接口新建Flink SQL作业并提交到DLI，示例代码如下：
Spark作业相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化，参考队列相关完成队列创建等操作。 提交批处理作业 DLI提供执行批处理作业的接口。您可以使用该接口执行批处理作业。示例代码如下： 1
exec.mini-batch.allow-latency=xx table.exec.mini-batch.size=xx 使用超高IO本地盘规格机型，加速磁盘操作 group agg单点及数据倾斜调优 按天聚合计算或者group by key不均衡场景下，group聚合计算存
根据kafka和ecs所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka和ecs的地址测试队列连通性（通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka或ecs的地址-->
(1 row) array_join(x, delimiter, null_replacement) → varchar 描述：使用分隔符来连接给定数组x的元素，并用可选字符替换x中的null值。 select array_join(array[1,2,3,null,5,6],'|'
目前DLI配置SparkUI只展示最新的100条作业信息。 QUERY作业和异步DDL作业除上述操作外，还包括： 下载到本地：异步DDL和QUERY语句支持将结果下载到本地。具体操作请见导出作业结果到本地。 查看结果：查看作业运行结果。 导出结果：将作业运行结果导出至用户创建的OBS桶中。 EXPORT作业除上述操作外，还包括：
到该表。 问题根因 已有表但是查询不到时，大概率是因为当前登录的用户没有对该表的查询和操作权限。 解决措施 联系创建该表的用户，让该用户给需要操作该表的其他用户赋予查询和操作的权限。赋权操作如下： 使用创建表的用户账号登录到DLI管理控制台，选择“数据管理 > 库表管理”。 单击
ADD [IF NOT EXISTS] PARTITION partition_specs1 [LOCATION 'obs_path1'] PARTITION partition_specs2 [LOCATION 'obs_path2']; 关键字 IF NOT EX
parquet.utc-timezone 否 false Boolean 使用 UTC 时区或本地时区在纪元时间和 LocalDateTime 之间进行转换。Hive 0.x/1.x/2.x 使用本地时区，但 Hive 3.x 使用 UTC 时区。 数据类型映射 目前，Parquet 格式类型映射与
怎样查看DLI的执行SQL记录？ 场景概述 执行SQL作业过程中需要查看对应的记录。 操作步骤 登录DLI管理控制台。 在左侧导航栏单击“作业管理”>“SQL作业”进入SQL作业管理页面。 输入作业ID或者执行的语句可以筛选所要查看的作业。 父主题： SQL作业开发类
怎样查看DLI的数据扫描量？ 登录DLI管理控制台。 选择“作业管理 > SQL作业”。 筛选执行队列为default队列，查看相应的作业。 单击展开作业，查看已扫描的数据。如图1所示。 图1 查看作业扫描量 父主题： 计费相关问题
Browser+。下载地址请参考《对象存储服务工具指南》。 安装OBS Browser+。安装步骤请参考《对象存储服务工具指南》。 登录OBS Browser+。OBS Browser+支持AK方式登录，以及授权码登录两种登录方式。登录步骤请参考《对象存储服务工具指南》。 通过OBS Browser+上传数据。
语法格式 1 2 SHOW PARTITIONS [db_name.]table_name [PARTITION partition_specs]; 关键字 PARTITIONS：表中的分区。 PARTITION：分区。 参数说明 表1 参数描述 参数 描述 db_name Da
Flink作业怎样设置“异常自动重启”？ 场景概述 DLI Flink作业具有高可用保障能力，通过设置“异常自动重启”功能，可在周边服务短时故障恢复后自动重启。 操作步骤 登录DLI控制台，选择“作业管理”>“Flink作业”。 在Flink作业编辑页面，勾选“异常自动重启”。例如，图1所示。 图1 Flink SQL作业编辑界面
Debezium Format 功能描述 Debezium是一个 CDC（Changelog Data Capture，变更数据捕获）的工具，可以把其他数据库的更改实时流式传输到 Kafka 中。 Debezium 为变更日志提供了统一的格式结构，并支持使用 JSON消息。 Flink
怎样监控DLI队列上的作业异常？ DLI为用户提供了作业失败的topic订阅功能。 登录DLI控制台。 单击左侧“队列管理”，进入队列管理页面。 在队列管理页面，单击左上角“创建消息通知主题”进行配置。详细操作请参考《数据湖探索用户指南》。 父主题： DLI弹性资源池和队列类
Formats在每次创建Checkpoint时进行滚动，并且用户也可以添加基于大小或者时间等的其他条件。更多信息参考文件系统 SQL 连接器 在STREAMING模式下使用FileSink需要开启Checkpoint功能。Part文件只在Checkpoint成功时生成。如果没有
Canal Format 功能描述 Canal是一个 CDC（ChangeLog Data Capture，变更日志数据捕获）工具，可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式，并支持使用 JSON 或 protobuf序列化消息（Canal
已创建DLI的SQL队列。创建队列详细介绍请参考创建队列。 注意：创建队列时，队列类型必须要选择为：SQL队列。 前期准备 创建DLI数据库 登录DLI管理控制台，选择“SQL编辑器”，在SQL编辑器中“执行引擎”选择“spark”，“队列”选择已创建的SQL队列。 在SQL编辑器中
怎样查看套餐包资源的使用情况？ 购买套餐包后，随着套餐包的使用您可以随时查看套餐包使用情况，了解套餐包详情。 操作步骤 登录华为云费用中心。 选择“资源包”。在“资源包列表”页签中单击目标资源包名称/ID，查看套餐包的详细信息。 图1 查看套餐包资源使用情况 父主题： 计费相关问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
