检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置队列的基础配置，具体参数信息如下。 表4 弹性资源池添加队列基础配置 参数名称 参数说明 配置样例 名称 弹性资源池添加的队列名称。 dli_queue_01 类型 选择创建的队列类型。 执行SQL作业请选择SQL队列。 执行Flink或Spark作业请选择通用队列。 _ 执行引擎 SQL队列可以选择队列引擎为Spark或者HetuEngine。
projectId'='', 'dew.csms.version'='' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 参数说明 dew.endpoint 是 无 String 指定要使用的DEW服务所在的endpoint信息。 获取地区和终端节点。 配置示例：'dew
option("driver", driver) \ .mode("Overwrite") \ .save() mode 有四种保存类型： ErrorIfExis：如果已经存在数据，则抛出异常。 Overwrite：如果已经存在数据，则覆盖原数据。 Append：如果已经存在数据，则追加保存。
作时间表不需要任何额外的配置。使用以下属性配置Hive表缓存的TTL。在缓存过期后，将重新扫描Hive表以加载最新的数据。 参数 默认值 类型 说明 lookup.join.cache.ttl 60 min Duration 查找连接中构建表的缓存 TTL（例如 10 分钟）。默认情况下，TTL
/status 查询作业详细信息 - - GET/v1.0/{project_id}/jobs/{job_id}/detail 查询SQL类型作业 listSQLJobs - - 检查SQL语法 - - POST /v1.0/{project_id}/jobs/check-sql
'dorisUsername', 'password' = 'dorisPassword' ); 参数说明 通用配置项 参数 默认值 是否必选 参数类型说明 fenodes -- Y Doris FE ip地址和port, 多实例之间使用逗号分隔。其中port可登录FusionInsight
spark.dli.job.agency.name=USER_AGENCY_NAME 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 参数说明 spark.hadoop.fs.obs.bucket.USER_BUCKET_NAME.dew.access.key 是 无 String
Array(attrTag1Location, attrTag2Name, attrTimestamp, attrValue) 根据schema的类型构造数据 1 2 val mutableRow: Seq[Any] = Seq("aaa", "abc", 123456L, 30.0) val
option("password", password) .mode(SaveMode.Overwrite) .save() 保存类型：Overwrite、Append、ErrorIfExis、Ignore 四种。 读取mongo上的数据 1 2 3 4 5 6 7 8 val
'dorisUsername', 'password' = 'dorisPassword' ); 参数说明 通用配置项 参数 默认值 是否必选 参数类型说明 fenodes -- 是 Doris FE ip地址和port, 多实例之间使用逗号分隔。其中port可登录FusionInsight
DLI无需数据搬迁，对多数据源进行联邦分析。 数据分级存储：车企需要保留全量历史数据支撑审计类等业务，低频进行访问。温冷数据存放在低成本的对象存储服务OBS上，高频访问的热数据存放在数据引擎（CloudTable和DWS）中，降低整体存储成本。 告警快速敏捷触发服务器弹性伸缩：对
对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。 DLI支持对Flink作业添加标签。如果想对Flink作业添加如项目名称、业务类别、背景信息等相关信息的标识，用户可以通过添加标签来实现。如果用户在其他云服务中使用了标签，建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。
执行结果： 表6 执行后数据 facultyNo classNo facultyNo=20 classNo=102 在上述删除条件的框选下，分区记录中第一条数据既满足院系编号，又满足班级编号，第二条数据满足了院系编号，第三条数据满足了班级编号。 因此执行删除分区语句后只剩余1行分区。 按照方法一，上述执行语句还可以写成：
分区和文件一样，也需要进行提交，通知下游应用可以安全地读取分区内的文件。Filesystem sink提供多种提交配置策略。 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 connector 是 无 String 固定位filesystem。 path 是 无 String OBS路径。 format
执行时间。 或者在“队列管理”页面，查看“规格”大小是否改变来判断是否扩缩容成功。 或者在“作业管理”页面，查看“SCALE_QUEUE”类型作业的状态，如果作业状态为“规格变更中”，表示队列正在扩缩容中。 修改弹性扩缩容定时任务 如果设定的定时任务不再满足业务需求，可以在“弹性
flink.dli.job.agency.name=USER_AGENCY_NAME 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 参数说明 flink.hadoop.fs.obs.bucket.USER_BUCKET_NAME.dew.access.key 是 无 String
监控指标和告警信息。 命名空间 SYS.DLI 监控指标 表1 数据湖探索服务支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期（原始指标） queue_cu_num 队列CU使用量 展示用户队列申请的CU数 ≥0 队列 5分钟 queue_job_launching_num
参数必须引用一个合法的时间属性，且该属性需要指定行的处理时间或事件时间。 对于批处理的 SQL 查询，分组窗口函数的 time_attr 参数必须是一个 TIMESTAMP 类型的属性。 表1 分组函数表 分组窗口函数 说明 TUMBLE(time_attr, interval) 定义一个滚动窗口。滚动窗口把行分配到有固定持续时间（
option("es.nodes", nodes) .mode(SaveMode.Append) .save() SaveMode 有四种保存类型： ErrorIfExis：如果已经存在数据，则抛出异常。 Overwrite：如果已经存在数据，则覆盖原数据。 Append：如果已经存在数据，则追加保存。
请注意避免该场景：如果创建的自定义函数F1指定类C1，程序包名JAR1，创建自定义函数F2也指定类C1，程序包JAR2，因为F2和F1使用相同的类名，导致功能相互冲突，影响作业执行。 如需使用UDF热加载功能请提交工单开通白名单。 关键字 USING <resources>：需要加载的资源。可以是JAR、文件或者URI的列表。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
