检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表相关 创建DLI表 DLI提供创建DLI表的接口。您可以使用该接口创建数据存储在DLI内部的表。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 def create_dli_tbl(dli_client
lastday lastday函数用于返回date所在月的最后一天,截取到天,时分秒部分为00:00:00。 相似函数:last_day,last_day函数用于返回date所在月份的最后一天。返回值格式为:yyyy-mm-dd。 命令格式 lastday(string date)
CREATE VIEW:基于给定的select语句创建视图,不会将select语句的结果写入磁盘。 OR REPLACE:指定该关键字后,若视图已经存在将不报错,并根据select语句更新视图的定义。 注意事项 所要创建的视图必须是当前数据库下不存在的,否则会报错。当视图存在时,可通过增加OR
DLI跨源分析场景连接外部数据源时,由于数据源的VPC与DLI VPC不同,网络无法连通,导致DLI无法读取数据源数据。DLI提供的增强型跨源连接功能可以实现DLI与数据源的网络连通。 本节操作为您介绍跨VPC的数据源网络连通方案: 创建增强型跨源连接:采用对等连接的方式打通DLI与数据源的VPC网络。 测试
当“checkpoint_enabled”为“true”时,该参数是用户授权保存快照的OBS桶名称。 当“log_enabled” 为“true”时,该参数是用户授权保存作业日志的OBS桶名称。 log_enabled 否 Boolean 是否开启作业的日志上传到用户的OBS功能。默认为“false”。 smn_topic
在管理控制台左侧,单击“数据管理”>“库表管理”。 单击需要设置权限的表所在的数据库名,进入该数据库的“表管理”页面。 单击所选表“操作”栏中的“权限管理”,将显示该表对应的权限信息。 单击表权限管理页面右上角的“授权”按钮。 在弹出的“授权”对话框中选择相应的权限。 单击“确定”,完成表权限设置。 父主题:
在开始页面的“连接”窗格中,选择你想要连接的数据源类型。本例选择Hive类型的数据连接。 配置数据连接信息。 连接:Hive 服务器:Kyuubi主机的IP地址。 端口:连接Kyuubi的端口,Hive Thrift协议对接,默认端口10009。 身份验证:本例选择用户名的认证方式。 用户名:Kyuubi用户名。
授权记录”中查看当前用户的权限。 确认当前用户所属用户组下的权限是否包含OBS写入的权限,比如“OBS OperateAccess”。如果没有OBS写入权限,则给对应的用户组进行授权。 授权完成后,等待5到10分钟等待权限生效。再次运行失败的Flink SQL作业,查看作业运行状态。
project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 auth_info_name 是 String 即将删除的认证信息名。 响应参数 表2 响应参数 参数 参数类型 说明 is_success Boolean 请求执行是否成功。“true”表示请求执行成功。
String 标签的键。 说明: 标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格,不能以_sys_开头。 value 是 String 标签的值。 说明: 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_
下载最新“jobmanager.log”文件,搜索“RUNNING to FAILED”关键字,通过上下文的错误栈,确认失败原因。 如果“jobmanager.log”文件中的信息不足以定位,可以在运行日志中找到对应的“taskmanager.log”日志,搜索“RUNNING to FAILED”关键字,确认失败原因。
project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 batch_id 是 String 批处理作业的ID。具体为创建批处理作业中获取的作业ID。 请求消息 无请求参数。 响应消息 表2 响应参数 参数名称 是否必选 参数类型 说明 msg 否 String
配置DLI读写外部数据源数据的操作流程 DLI执行作业需要读写外部数据源时需要具备两个条件: 打通DLI和外部数据源之间的网络,确保DLI队列与数据源的网络连通。 妥善保存数据源的访问凭证确保数据源认证的安全性,便于DLI安全访问数据源。 本节操作介绍配置DLI读写外部数据源数据操作流程。
project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 auth_info_name 是 String 即将删除的认证信息名。 响应参数 表2 响应参数 参数 参数类型 说明 is_success Boolean 请求执行是否成功。“true”表示请求执行成功。
是 批处理作业的ID。 请求消息 无请求参数。 响应消息 表2 响应参数说明 参数名称 是否必选 参数类型 说明 id 否 String 批处理作业的ID,采用UUID(通用唯一识别码)格式。 state 否 String 批处理作业的状态,请参见创建批处理作业中的表7。 请求示例
UNION返回多个查询结果的并集。 Intersect返回多个查询结果的交集。 Except返回多个查询结果的差集。 注意事项 集合运算是以一定条件将表首尾相接,所以其中每一个SELECT语句返回的列数必须相同,列的类型一定要相同,列名不一定要相同。 UNION默认是去重的,UNION ALL是不去重的。
String 标签的键。 说明: 标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格,不能以_sys_开头。 value 是 String 标签的值。 说明: 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_
UNION返回多个查询结果的并集。 Intersect返回多个查询结果的交集。 Except返回多个查询结果的差集。 注意事项 集合运算是以一定条件将表首尾相接,所以其中每一个SELECT语句返回的列数必须相同,列的类型一定要相同,列名不一定要相同。 UNION默认是去重的,UNION ALL是不去重的。
UNION返回多个查询结果的并集。 Intersect返回多个查询结果的交集。 Except返回多个查询结果的差集。 注意事项 集合运算是以一定条件将表首尾相接,所以其中每一个SELECT语句返回的列数必须相同,列的类型一定要相同,列名不一定要相同。 UNION默认是去重的,UNION ALL是不去重的。
TE BY 1”,可以将多个task生成的多个文件汇总为一个文件。 操作步骤 在管理控制台检查对应SQL作业详情中的“结果条数”是否正确。 检查发现读取的数据量是正确的。 图1 检查读取的数据量 确认客户验证数据量的方式是否正确。客户验证的方式如下: 通过OBS下载数据文件。 通