检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表的信息。具体参数请参见表4。 表4 tables参数 参数名称 是否必选 参数类型 说明 create_time 是 Long 表创建时间。是单位为“毫秒”的时间戳。 data_type 否 String 所列OBS表数据的类型,目前支持:parquet、ORC、CSV、JSON、Avro格式。
格式二:jdbc:oracle:thin:@//host:port/service_name;这种方式是Oracle推荐的,对于集群来说,每个节点的SID可能不一致,但ServiceName是一致的,包含所有节点。 driver Oracle驱动类名: oracle.jdbc.driver.OracleDriver
使用DLI分析车联网场景驾驶行为数据 应用场景 在车联网领域,云计算与大数据为企业提供了强大的分析挖掘能力,可以帮助企业和车队管理者更加科学、便捷地进行车辆数据管理与分析。 方案架构 根据已有的某货运公司车辆定时上报的详单数据和货运订单数据,DLI可以完成对该货运公司车辆行驶特点分析、记录明细的查询。
create_time 是 Long 创建时间。 last_access_time 是 Long 最后改动时间。 locations 否 Array of Strings 路径,非DLI表显示,DLI表不显示。 last_ddl_time 否 Long 最后一个ddl语句执行时间,(单位:秒(s))。
enabled true DDL和DCL语句是否异步执行,值为“true”时启用异步执行。 dli.sql.job.timeout - 设置作业运行超时时间,超时取消。单位:秒。 跳转至SparkUI查看SQL语句执行进程 SQL编辑器页面提供了跳转至SparkUI查看SQL语句执行进程的功能。
write.flush.interval 否 0 Duration 刷新数据的时间间隔,单位可以为ms、milli、millisecond/s、sec、second/min、minute等。 为0则表示不根据时间刷新 connector.write.max-retries 否 3 Integer
resources参数 参数名称 是否必选 参数类型 说明 create_time 否 Long 资源包上传的unix时间戳。 update_time 否 Long 更新已上传资源包的unix时间戳。 resource_type 否 String 资源类型。 resource_name 否 String
资源池创建完成后您可以通过管理控制台查看和管理您的弹性资源池。 本节操作介绍在管理控制台如何查看弹性资源池基本信息,包括弹性资源池的VPC网段、IPv6网段、创建时间等信息。 查看弹性资源池的基本信息 登录DLI管理控制台。 选择“资源管理 > 弹性资源池”。 进入弹性资源池列表页面,选择您需要查看的弹性资源池。
需要回滚的Hudi表的commit instant时间戳,必选 示例 call rollback_to_instant(table => 'h1', instant_time=>'20220915113127525'); 注意事项 只能依次回滚最新的commit时间戳,可以通过SHOW_TIME_LINE命令检查最新的instant
buffer-flush.interval 否 1s Duration 刷新数据的时间间隔,单位可以为ms、milli、millisecond/s、sec、second/min、minute等,默认值为1s。设置为0则表示不根据时间刷新。 sink.max-retries 否 3 Integer
Hudi支持对接DLI元数据和Lakeformation元数据(仅Spark 3.3.1及以上版本支持对接Lakeformation元数据),对接方式与Spark一致。 DLI元数据可在数据湖探索管理控制台的“数据管理 > 库表管理”中查看。 Lakeformation元数据可在湖仓构建La
续费概述 续费简介 包年/包月DLI资源到期后会影响资源的正常使用。如果您想继续使用,需要在指定的时间内续费,否则队列、弹性资源池等资源会自动释放,数据丢失且不可恢复。 续费操作仅适用于包年/包月资源,按需计费资源不需要续费,只需要保证账户余额充足即可。DLI的包周期资源包括:队列、弹性资源池。
游戏运营数据分析 异构数据源联邦分析 车企数字化服务转型 面临市场新的竞争压力及出行服务不断变革,车企通过构建车联云平台和车机OS,将互联网应用与用车场景打通,完成车企数字化服务转型,从而为车主提供更好的智联出行体验,增加车企竞争力,促进销量增长。例如:通过对车辆日常指标数据(电池、发
DLI Flink1.7版本停止服务(EOS)公告 公告说明 华为云在2022年12月31 00:00(北京时间)将DLI Flink 1.7版本停止服务(EOS)。 影响 DLI Flink 1.7版本停止服务(EOS)后,不再提供该软件版本相关的任何技术服务支持。建议您在执行
式队列和“队列CU时套餐包”在2024年3月31日 00:00(北京时间)停止销售(EOM)。 DLI“包年/包月”和“按需计费”计费模式队列和“队列CU时套餐包”计划于2025年6月30日 00:00(北京时间)下线(EOL)。 影响 EOM后,不再支持新购队列资源,包括不支持
lifecycle.days),指表(分区)数据从最后一次更新的时间算起,在经过指定的时间后没有变动,则此表(分区)DLI自动回收。这个指定的时间就是生命周期。生命周期管理功能方便您释放存储空间,简化回收数据的流程。同时提供数据备份与恢复功能,避免因误操作丢失数据。
异常重启时使用错误的Checkpoint路径恢复数据,导致恢复失败或数据不一致。 勾选“开启Checkpoint”后配置以下参数开启Checkpoint: Checkpoint间隔:Checkpoint的时间间隔,单位为秒。 Checkpoint模式:选择Checkpoint的模式:
在创建表时通过TBLPROPERTIES指定表的生命周期。 非分区表 如果表是非分区表,根据每张表的最后修改时间,经过生命周期时间后判断是否要回收此表。 分区表 如果是分区表,则根据各分区的最后一次表数据被修改的时间(LAST_ACCESS_TIME)判断该分区是否该被回收。分区表的最后一个分区被回收后,该表不会被删除。
按需计费资源的扣费时间可能会滞后于结算周期,例如:按小时结算的队列在8:30删除资源,但是8:00~9:00期间产生的费用,通常会在10:00左右才进行扣费。在“费用中心 > 账单管理 > 流水和明细账单 > 流水账单”中,“消费时间”即按需产品的实际使用时间。 查看指定队列或弹性资源池的账单
SQL作业模板 Flink OpenSource SQL作业模板 描述 模板的相关描述,且长度为0~512个字符。 创建时间 创建模板的时间。 更新时间 最后修改模板的时间。 操作 “编辑”:对已经创建好的模板进行修改。 “创建作业”:直接在该模板下创建作业,创建完后,系统跳转到“作业管理”下的作业编辑页面。