-
获取跨源认证列表 - 数据湖探索 DLI
certificate_location String 创建时指定的证书OBS路径。 datasource_type String 数据源的类型。 create_time Int 创建时间戳。 update_time Int 更新时间戳。 krb5_conf String krb5配置文件obs路径。
-
窗口去重 - 数据湖探索 DLI
对于流式查询,与普通去重不同,窗口去重只在窗口的最后返回结果数据,不会产生中间结果。它会清除不需要的中间状态。 因此,窗口去重查询在用户不需要更新结果时,性能较好。通常,窗口去重直接用于窗口表值函数上。另外,它可以用于基于窗口表值函数的操作。比如窗口聚合,窗口TopN和窗口关联。 窗
-
创建程序包 - 数据湖探索 DLI
创建程序包 DLI支持用户通过批处理方式将程序包提交至通用队列中运行。 如果用户需要更新程序包,可以使用相同的程序包或文件上传至DLI的同一个位置(同一个分组),直接覆盖原有的程序包或文件。 前提条件 所使用的程序包需提前上传至OBS服务中保存。 创建程序包步骤 在管理控制台左侧,单击“数据管理”>“程序包管理”。
-
分区相关 - 数据湖探索 DLI
添加分区(只支持OBS表) 重命名分区(只支持OBS表) 删除分区 指定筛选条件删除分区(只支持OBS表) 修改表分区位置(只支持OBS表) 更新表分区信息(只支持OBS表) REFRESH TABLE刷新表元数据 父主题: 表相关
-
云审计服务支持的DLI操作列表说明 - 数据湖探索 DLI
commitUploadJob 创建认证信息并上传证书 authInfo uploadAuthInfo 更新认证信息 authInfo updateAuthInfop 删除认证信息 authInfo deleteAuthInfo 更新配额 quota updateQuota 上传资源包
-
RDS输出流 - 数据湖探索 DLI
primary_key 否 如果想通过主键实时更新表中的数据,需要在创建数据表的时候增加primary_key配置项,如下面例子中的c_timeminute。配置primary_key后,在进行数据写入操作时,如果primary_key存在,则进行更新操作,否则进行插入操作。 示例: CREATE
-
安全 - 数据湖探索 DLI
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书
-
Kafka结果表 - 数据湖探索 DLI
"area_id":"330106"} 示例(适用于Kafka集群已开启SASL_SSL场景) 示例1:DMS集群使用SASL_SSL认证方式。 创建DMS的kafka集群,开启SASL_SSL,并下载SSL证书,将下载的证书client.jks上传到OBS桶中。 CREATE TABLE ordersSource
-
Kafka结果表 - 数据湖探索 DLI
"area_id":"330106"} 示例(适用于Kafka集群已开启SASL_SSL场景) 示例1:DMS集群使用SASL_SSL认证方式。 创建DMS的kafka集群,开启SASL_SSL,并下载SSL证书,将下载的证书client.jks上传到OBS桶中。 CREATE TABLE ordersSource
-
Flink作业相关API - 数据湖探索 DLI
Flink作业相关API 新建SQL作业 更新SQL作业 新建Flink Jar作业 更新Flink Jar作业 批量运行作业 查询作业列表 查询作业详情 查询作业执行计划 批量停止作业 删除作业 批量删除作业 导出Flink作业 导入Flink作业 生成Flink SQL作业的静态流图
-
创建消息通知主题 - 数据湖探索 DLI
主题管理 在对应主题的“操作”列中,单击“添加订阅”,选择“协议”,确定订阅方式。 如果选择“短信”协议,需要在“订阅终端”中填写接收确认短信的手机号码。 如果选择“邮件”协议,需要在“订阅终端”中填写接收确认邮件的邮箱地址。 更多信息,请参考《消息通知服务用户指南》中《添加订阅》章节。
-
CSS Elasticsearch输出流 - 数据湖探索 DLI
跨源认证信息名称。 创建跨源认证请参考跨源认证。 若es集群开启安全模式且开启https,则使用证书进行访问,创建的跨源认证类型需要为“CSS”。 若es集群开启安全模式,但关闭https,则使用证书和账号密码进行访问,创建的跨源认证类型需要为"Password"。 注意事项 当
-
Flink Jar作业运行报错,报错信息为Authentication failed - 数据湖探索 DLI
解决方案 登录DLI管理控制台,选择“全局配置 > 服务授权”。 在服务授权界面,全选委托权限。 图1 委托权限设置 单击“更新委托授权”。界面会提示“委托权限更新成功”,表示修改成功。 委托授权完成后,重新创建跨源连接和运行作业。 父主题: Flink Jar作业相关问题
-
跨源连接运维报错 - 数据湖探索 DLI
Hbase表导入数据,executor报错:RegionTooBusyException 通过DLI跨源写DWS表,非空字段出现空值异常 更新跨源目的端源表后,未同时更新对应跨源表,导致insert作业失败 父主题: 跨源连接相关问题
-
API概览 - 数据湖探索 DLI
包括保存SQL模板、创建作业模板等模板相关API。 Flink作业相关API 包括OBS授权给DLI服务、新建SQL作业、更新SQL作业、新建Flink自定义作业、更新Flink自定义作业、批量运行作业、查询作业列表、查询作业详情、查询作业执行计划、查询作业监控信息、批量停止作业、删除
-
DLI委托概述 - 数据湖探索 DLI
权限名 类型 权限说明 dli_admin_agency 系统默认委托 该委托已废弃,不推荐使用,请尽快更新委托升级至dli_management_agency。 更新委托请参考更新委托权限。 dli_management_agency 系统默认委托 DLI系统委托,用于将操作权限委
-
创建Flink SQL作业 - 数据湖探索 DLI
“从Checkpoint恢复”:需要同时勾选“开启Checkpoint”才可配置该参数。 空闲状态保留时长 用于清除GroupBy或Window经过最大保留时间后仍未更新的中间状态,默认设置为1小时。 脏数据策略 选择处理脏数据的策略。支持如下三种策略:“忽略”,“抛出异常”和“保存”。 说明: “保存”是指将脏数据保存到OBS桶中。
-
上传jar类型分组资源(废弃) - 数据湖探索 DLI
分组资源包的详细信息。具体请参考表4。 create_time 否 Long 模块上传的unix时间戳。 update_time 否 Long 模块更新的unix时间戳。 is_async 否 Boolean 是否使用异步方式上传资源包。默认值为“false”,表示不使用异步方式。推荐使用异步方式上传资源包。
-
SQL模板相关API - 数据湖探索 DLI
SQL模板相关API 保存SQL模板 查看所有SQL模板 更新SQL模板 删除SQL模板
-
Flink作业模板相关API - 数据湖探索 DLI
Flink作业模板相关API 新建模板 更新模板 删除模板 查询模板列表