检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测连通性要求 检测跨源连接的连通性时对IP约束限制如下: IP必须为合法的IP地址,用“.”分隔的4个十进制数,范围是0-255。 测试时IP地址后可选择添加端口,用":"隔开,端口最大限制5位,端口范围:0~65535。 例如192.168.xx.xx或者192.168.xx.xx:8181。
dli_data_clean_agency。 请在设置委托的授权范围时分别对OBS权限和DLI权限授权范围: OBS权限请选择“全局服务资源” DLI权限选择“指定区域项目资源” { "Version": "1.1", "Statement": [
job-id 否 String 根据作业ID查询批作业。 cluster_name 否 String DLI队列名称,不填写则获取当前Project下所有批处理作业(不推荐使用)。 queue_name 否 String DLI队列名称,根据队列查询批作业(推荐使用)。 from 否
插入的数据不能为null;插入的数据相同,会覆盖原数据;插入的数据只有value值不同,也会覆盖原数据。 不支持INSERT OVERWRITE语法。 不建议对同一张表并发插入数据,因为有一定概率发生并发冲突,导致插入失败。 时间戳格式只支持yyyy-MM-dd hh:mm:ss。 示例 1 INSERT
[RESTRICT|CASCADE] 可选参数RESTRICT|CASCADE用于指定删除的模式默认是RESTRICT模式,在这种模式下,数据库必须为空,不包含任何表才能删除,如果是CASCADE模式,表示级联删除,会先删除数据库下面的表 ,再删除数据库,该模式请谨慎使用。 示例 删除schema
>输入kafka的地址-->测试)。若能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource sql作业,选择flink1.12,并提交运行,其代码如下: create table kafkaSource( id bigint, name string
参数配置”中配置如下参数,其中x为优先级取值。 spark.sql.dli.job.priority=x 登录DLI管理控制台。 单击“作业管理 > SQL作业”。 选择待配置的作业,单击操作列下的编辑。 在“ 设置 > 参数配置”中配置spark.sql.dli.job.priority参数。 图1 SQL作业配置样例
string1 NOT LIKE string2 [ ESCAPE char ] BOOLEAN 如果 string1 与 string2 不匹配返回 TRUE; 如果 string1 或 string2 为 NULL 返回 UNKNOWN。 如果需要可以定义转义字符。尚不支持转义字符。
起来。 partition_specs 分区信息,key=value形式,key为分区字段,value为分区值。若分区字段为多个字段,可以不包含所有的字段,会显示匹配上的所有分区信息。 注意事项 所要查看分区的表必须存在且是分区表,否则会出错。 示例 查看student表下面的所有的分区。
REPLACE关键字来避免报错。 视图中包含的表或视图信息不可被更改,如有更改可能会造成查询失败。 如果创建表和创建视图使用的计算引擎不一致,可能会因为varchar类型不兼容,导致视图查询失败。 例如:使用Spark 3.x版本创建的表,建议您使用Spark 2.x创建相应的视图。 示例 先通过对studen
列数据类型。本语法不支持修改列数据类型,这里指定的是创建表时指定的列数据类型。 col_comment 是 修改后的列注释信息。注释内容为长度不超过1024字节的有效字符串。 示例 修改表t1中的c1列的注释信息为“the new comment”。 1 ALTER TABLE t1
"PRODUCTS" } 按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。 进入对应日期的文件夹后,找到
在“Spark参数”中配置如下参数,其中x为优先级取值。 spark.dli.job.priority=x 登录DLI管理控制台。 单击“作业管理 > Spark作业”。 选择待配置的作业,单击操作列下的编辑。 在“Spark参数”中配置spark.dli.job.priority参数。 图1 Spark作业配置样例
正确。 前提条件 无 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 语法格式 create table blackhole_table
STREAMING 模式下支持。 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 数据类型的使用,请参考Format章节。 Hive
dwsSource; 按照如下操作查看taskmanager.out文件中的数据结果。 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。 进入对应日期的文件夹后,找到
其他类型时返回报错。 start_position 否 BIGINT BIGINT类型常量,必须大于0。其他类型或值小于等于0时返回报错。不指定时默认为1,表示从source的第一个字符开始匹配。 返回值说明 返回BIGINT类型的值。 如果没有匹配成功,返回0。 source、
OBS表压缩率较高怎么办? 字符码不一致导致数据乱码怎么办? 删除表后再重新创建同名的表,需要对操作该表的用户和项目重新赋权吗? DLI分区内表导入的文件不包含分区列的数据,导致数据导入完成后查询表数据失败怎么办? 创建OBS外表,由于OBS文件中的某字段存在换行符导致表字段数据错误怎么办? j
、写入程序异常重启等场景。通过设置合理precombine字段值可以保证数据的准确性,老数据不会覆盖新数据,也就是幂等写入能力。该字段可用选择的类型包括:业务表中更新时间戳、数据库的提交时间戳等。precombine字段不能有null值和空值,可以参考以下示例设置precombine字段:
} } 按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。 进入对应日期的文件夹后,找到