检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
批量添加资源标签 功能介绍 批量添加资源标签。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v3/{project_id}/{resource_typ
Spark作业运行大批量数据时上报作业运行超时异常错误 当Spark作业运行大批量数据时,如果出现作业运行超时异常错误,通常是由于作业的资源配置不足、数据倾斜、网络问题或任务过多导致的。 解决方案: 设置并发数:通过设置合适的并发数,可以启动多任务并行运行,从而提高作业的处理能力。
批量运行作业 功能介绍 该API用于触发批量运行作业。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project_id}/streaming/jobs/run 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明
批量删除作业 功能介绍 该API可用于批量删除任何状态的作业。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project_id}/streaming/jobs/delete 参数说明 表1 URI参数说明 参数名称 是否必选
批量删除资源标签 功能介绍 为指定实例批量删除标签。 此接口为幂等接口: 删除时,如果删除的标签不存在,默认处理成功。 单次最多支持删除20个标签 删除时不对标签字符集范围做校验。 删除时tags结构体不能缺失,key不能为空,或者空字符串。 调试 您可以在API Explore
批量停止作业 功能介绍 该API用于批量停止正在运行的作业。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project_id}/streaming/jobs/stop 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型
批量删除队列定时扩缩容计划(废弃) 功能介绍 该API用于批量删除队列定时扩缩容计划。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v1/{project_id}/queues/{queue_name}/plans/batch-delete
删除SQL模板 功能介绍 该接口用于批量删除SQL模板。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v1.0/{project_id}/sqls-deletion 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id
isdate isdate函数用于判断一个日期字符串能否根据指定的格式转换为一个日期值。 命令格式 isdate(string date , string format) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 date 是 DATE 或 STRING 代表需要判断的字符串。
OBS。 查询作业日志信息,参考查看DLI SQL日志。 作业日志为日常的服务运维提供了重要保障,包括跟踪资源使用情况、检测作业运行安全性、追踪资源消耗、检测错误等。 父主题: 安全
需要创建一个OBS桶将数据上传到对象存储服务OBS,为后面使用DLI完成数据分析做准备。 OBS的使用涉及以下几项费用: 存储费用:静态网站文件存储在OBS中产生的存储费用。 请求费用:用户访问OBS中存储的静态网站文件时产生的请求费用。 流量费用:用户使用自定义域名通过公网访问OBS时产生的流量费用。 实际产生的
Hudi表必须执行Clean。 对于Hudi的MOR、COW表,都需要开启Clean。 Hudi表在写入数据时会自动判断是否需要执行Clean,因为Clean的开关默认打开(hoodie.clean.automatic默认为true)。 Clean操作并不是每次写数据时都会触发,至少需要满足两个条件: Hud
使用DLI增强型跨源时,弹性资源池/队列的网段与数据源网段不能重合。 访问跨源表需要使用已经创建跨源连接的队列。 跨源表不支持Preview预览功能。 检测连通性要求 检测跨源连接的连通性时对IP约束限制如下: IP必须为合法的IP地址,用“.”分隔的4个十进制数,范围是0-255。 测试时IP地址后
ompaction计划。 执行参数 set hoodie.compact.inline = true; //打开compaction操作 set hoodie.run.compact.only.inline = true; //compa
默认值为false。 flink.dli.job.scale.interval 30 该配置表示检测当前作业是否需要动态扩缩的时间周期,其单位为分钟,默认值为30。例如30表示每隔30分钟进行一次检测,判断是否需要对作业使用资源量进行扩缩。 注意:只有当用户开启动态扩缩时,该配置才有意义。
或订阅、高速队列等场景,提供字符串、哈希、列表、队列、集合结构直接存取,基于内存,可持久化。有关Redis的详细信息,请访问Redis官方网站https://redis.io/。 前提条件 DLI要建立与Redis的增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何
或订阅、高速队列等场景,提供字符串、哈希、列表、队列、集合结构直接存取,基于内存,可持久化。有关Redis的详细信息,请访问Redis官方网站https://redis.io/。 前提条件 DLI要建立与Redis的增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何
或订阅、高速队列等场景,提供字符串、哈希、列表、队列、集合结构直接存取,基于内存,可持久化。有关Redis的详细信息,请访问Redis官方网站https://redis.io/。 前提条件 要建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,
quet文件,大幅提升读取性能。 规则 有数据持续写入的表,24小时内至少执行一次compaction。 对于MOR表,不管是流式写入还是批量写入,需要保证每天至少完成1次Compaction操作。如果长时间不做compaction,Hudi表的log将会越来越大,这必将会出现以下问题:
带有位置属性的动态流数据实时计算处理。 CEP SQL:提供地理位置分析函数对地理空间数据进行实时分析,用户仅需编写SQL便可实现例如偏航检测,电子围栏等地理分析场景。 大数据治理能力:能快速将海量遥感影像数据接入上云,快速完成影像数据切片处理,为分布式批处理计算提供弹性分布式数据集。