检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
101); 执行结果: 表6 执行后数据 facultyNo classNo facultyNo=20 classNo=102 在上述删除条件的框选下,分区记录中第一条数据既满足院系编号,又满足班级编号,第二条数据满足了院系编号,第三条数据满足了班级编号。 因此执行删除分区语句后只剩余1行分区。
否 10000 Long 每秒生成的行数,用以控制数据发出速率。 number-of-rows 否 无 Long 生成数据的总行数。默认条件下,不限制生成数据的总行数。如果有字段生成器类型为序列生成器,则当生成数据的行数达到上限或者序列数字达到结束值时,都不会再生成数据。 fields
参考增强型跨源连接章节,重新配置跨源。参考DLI跨源连接DWS失败进行问题排查。 Q:如果该DWS表在某schema下,则应该如何配置? A:如下示例是使用schema为dbuser2下的表area_info: --创建地址维表 create table area_info ( area_id
其他支持的条件包括如下内容: where子句中的多个条件 别名关系 下标表达式 解引用表达式 强制转换表达式 特定函数调用 目前,只在如下情况下支持多个semi/anti join表达式:第一个表中的列在其直接后续的join表达式中被查询,且不与其它join表达式有关系。 示例如下:
"age", cast(amount as string)) from dataGenSource; 运行结果 单击Flink作业操作列下的“更多 > FlinkUI > Task Managers > Stdout”查看输出结果: 父主题: 函数
"age", cast(amount as string)) from dataGenSource; 运行结果 单击Flink作业操作列下的“更多 > FlinkUI > Task Managers > Stdout”查看输出结果: 父主题: 函数
设置的生命周期时间,只能为正整数,单位为天。 external.table.purge 否 仅OBS表支持配置该参数。 是否需要在删除表或分区时,清除path路径下的数据。默认不删除。 设置'external.table.purge'='true'时: 非分区OBS表配置删除文件后,表目录也会删除。 分区OBS表自定义分区数据也会删除。
所创建的dli表对应的OpenTSDB中的指标名称。 tags metric对应的标签,用于归类、过滤、快速检索等操作,可以是1到8个,以“,”分隔,包括对应metric下的所有tagk的值。 通过SQL API访问 插入数据 1 sparkSession.sql("insert into opentsdb_test
数据目录(Catalog)是元数据管理对象,它可以包含多个数据库。 DLI当前支持DLI数据库和Lakeformation数据目录。 在DLI数据目录库下创建数据库和表请参考在DLI控制台创建数据库和表。 创建并使用Lakeformation元数据请参考创建并使用LakeFormation元数据。
包年/包月+按需计费:假设弹性资源池的规格为64CU,实际使用过程中大部分时间CU数在128CU以上,没有规格变更的场景下64CU部分采用包年包月计费,超出的64CU按弹性资源池CU时计费方式计费。 为了满足该场景下更优惠的计费,则可以通过规格变更的方式,将弹性资源池的规格扩大到128CU,则规格变更成功后
约束与限制 需要在DLI控制台下“全局配置 > 服务授权”开启Tenant Adminstrator(全局服务)。 写入数据到OBS的桶必须为主账号下所创建的OBS桶。 使用Flink1.15版本的计算引擎时,需要用户自行配置委托,否则可能影响作业运行。 详细操作请参考自定义DLI委托权限。
并发冲突,导致导入失败。 导入数据时只能指定一个路径,路径中不能包含逗号。 当OBS桶目录下有文件夹和文件同名时,导入数据会优先指向该路径下的文件而非文件夹。 导入PARQUET、ORC及JSON类型数据时,必须指定DATA_TYPE这一OPTIONS,否则会以默认的“CSV”格
提交日志:跳转到提交日志的聚合展示界面,可以查看任务提交中的日志信息。 Driver日志:跳转到Driver日志的聚合展示界面,从上至下依次展示 spark.log, stderr.log以及stdout.log。 随后进入Driver日志,如果日志还未聚合,请等待几分钟后再次检查。可以在日志底部的stdout
只读权限可控制部分开放的、未鉴权的DLI资源和操作。例如创建全局变量、创建程序包以及程序包组、default队列提交作业、default数据库下建表、创建跨源连接、删除跨源连接等操作。 系统策略 无 Tenant Administrator 租户管理员。 操作权限:具有数据湖探索服务
ms等,默认为ms。 sink.parallelism 否 无 Integer 为 HBase sink operator 定义并行度。 默认情况下,并行度由框架决定,和连接在一起的上游operator一样。 properties.connector.auth.open 否 无 Boolean
格式为mysql://RDS数据库实例的内网地址:RDS数据库端口/RDS创建的数据库名 */ table_name = "tabletest2" /* RDS数据下的表名 */ ); INSERT INTO car_info SELECT 13, 'abc'; 单击“语义校验”确保SQL语义
+ 窗口偏移 Offset 可选参数,可以用来改变窗口的分配。可以是正或者负的区间。默认情况下窗口的偏移是 0。不同的偏移值可以决定记录分配的窗口。 例如:在 10 分钟大小的滚动窗口下,时间戳为 2021-06-30 00:00:04 的数据会被分配到哪个窗口呢? 当 offset
default队列 DLI服务预置了名为“default”的队列,资源的大小是按需分配的。用户在不确定所需队列容量或没有可创建队列空间的情况下,可以使用该队列执行作业。“default”队列只用于用户体验,所有人共用,用户间可能会出现抢占资源的情况,不能保证每次都可以得到资源执行相关操作。
DLI提供的default队列不支持创建跨源连接。 Flink作业访问DIS,OBS和SMN数据源,无需创建跨源连接,可以直接访问。 增强型跨源仅支持包年包月队列、按需计费模式下的专属队列。 权限要求 增强型跨源连接需要使用VPC、子网、路由、对等连接功能,因此需要获得VPC(虚拟私有云)的VPC Administrator权限。
队列不支持切换区域。 创建队列时(非弹性资源池模式的队列),仅支持包年包月队列和按需专属队列选择跨AZ双活,且跨AZ的队列价格为单AZ模式下的2倍。 DLI队列不支持访问公网。 队列扩缩容 16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。 新创建的队列需要运行作业后才可进行扩缩容。