检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ource语法的CTAS创建table1_ctas。 此外,本例中table1中OBS表的存储格式为orc,而table1_ctas表的存储格式可以为parquet,即CTAS创建的表存储格式可以不同于原表。 在AS关键字后使用SELECT语句选择需要的数据插入到table1_ctas表中。
OBS输入流 功能描述 创建source流从对象存储服务(OBS)获取数据。DLI从OBS上读取用户存储的数据,作为作业的输入数据。适用于大数据分析、原生云应用程序数据、静态网站托管、备份/活跃归档、深度/冷归档等场景。 对象存储服务(Object Storage Service
OBS输入流 功能描述 创建source流从对象存储服务(OBS)获取数据。DLI从OBS上读取用户存储的数据,作为作业的输入数据。适用于大数据分析、原生云应用程序数据、静态网站托管、备份/活跃归档、深度/冷归档等场景。 对象存储服务(Object Storage Service
1~ 9999-12-31。 是 是 VARCHAR和CHAR在DLI实际存储是STRING型,因此超出长度的字符串不会被截断。 FLOAT类型在DLI实际存储是DOUBLE型。 INT 有符号整数,存储空间为4字节,-2147483648~2147483647,在NULL情况下,默认值为0。
创建sink流将DLI数据输出到对象存储服务(OBS)。DLI可以将作业分析结果输出到OBS上。适用于大数据分析、原生云应用程序数据、静态网站托管、备份/活跃归档、深度/冷归档等场景。 对象存储服务(Object Storage Service,简称OBS)是一个基于对象的海量存储服务,为客户提供海
创建sink流将DLI数据输出到对象存储服务(OBS)。DLI可以将作业分析结果输出到OBS上。适用于大数据分析、原生云应用程序数据、静态网站托管、备份/活跃归档、深度/冷归档等场景。 对象存储服务(Object Storage Service,简称OBS)是一个基于对象的海量存储服务,为客户提供海
常大,在bulk存储设置的数据条数前提前到达了单次batch的总数据量上限,则停止存储数据,以batch.size.bytes为准,提交该批次的数据。 batch.size.bytes 单次batch的总数据量上限,默认为1mb。如果单条数据非常小,在bulk存储到总数据量前提前
有关预定义标签的更多信息,请参见《标签管理服务用户指南》。 如您的组织已经设定DLI的相关标签策略,则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则,则可能会导致资源创建失败,请联系组织管理员了解标签策略详情。 以下介绍如何为队列添加标签、修改标签和删除标签。 在DLI管理控制台的左侧导航栏中,单击“资源管理
标签管理服务(TMS)中创建预定义标签。 如您的组织已经设定DLI的相关标签策略,则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则,则可能会导致资源创建失败,请联系组织管理员了解标签策略详情。 具体请参考《标签管理服务用户指南》。 说明: 最多支持20个标签。 一个“键”只能添加一个“值”。
有关预定义标签的更多信息,请参见《标签管理服务用户指南》。 如您的组织已经设定DLI的相关标签策略,则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则,则可能会导致资源创建失败,请联系组织管理员了解标签策略详情。 以下介绍如何为队列添加标签、修改标签和删除标签。 在DLI管理控制台的左侧导航栏中,单击“资源管理
1~ 9999-12-31。 是 是 VARCHAR和CHAR在DLI实际存储是STRING型,因此超出长度的字符串不会被截断。 FLOAT类型在DLI实际存储是DOUBLE型。 INT 有符号整数,存储空间为4字节,-2147483648~2147483647,在NULL情况下,默认值为0。
Flink作业访问和使用OBS、日志转储(包括桶授权)、开启checkpoint、作业导入导出等,需要获得访问和使用OBS(对象存储服务)的Tenant Administrator权限。 DLI Flink作业所需的AKSK存储在数据加密服务DEW中,如需允许DLI在执行作业时访问DEW数据,需要新建委托将DEW数据
权限管理 权限管理概述 DLI自定义策略 DLI资源 DLI请求条件 常用操作与系统权限关系
有关预定义标签的更多信息,请参见《标签管理服务用户指南》。 如您的组织已经设定DLI的相关标签策略,则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则,则可能会导致资源创建失败,请联系组织管理员了解标签策略详情。 本章节包含如下内容: 管理作业标签 根据标签查找作业 管理作业标签 本
将Spark作业结果存储在MySQL数据库中,缺少pymysql模块,如何使用python脚本访问MySQL数据库? 缺少pymysql模块,可以查看是否有对应的egg包,如果没有,在“程序包管理”页面上传pyFile。具体步骤参考如下: 将egg包上传到指定的OBS桶路径下。 登录DLI管理控制台,单击“数据管理
Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为什么会不一致? 问题描述 Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为不一致 根因分析 该问题的根因是数据库设置的时区不合理,通常该问题出现时F
配置DLI访问其他云服务的委托权限 DLI委托概述 创建DLI自定义委托权限 常见场景的委托权限策略 DLI委托权限配置场景开发指南
见表3。导入CSV及JSON类型数据时可指定。 bad_records_path 否 String 作业执行过程中的bad records存储目录。设置该配置项后,bad records不会导入到目标表。 timestamp_format 否 String 指定特定的时间格式,默认为“yyyy-MM-dd
概述 数据类型是数据的一个基本属性,用于区分不同类型的数据。不同的数据类型所占的存储空间不同,能够进行的操作也不相同。数据库中的数据存储在表中。表中的每一列都定义了数据类型,用户存储数据时,须遵从这些数据类型的属性,否则可能会出错。 DLI当前只支持原生数据类型。 父主题: 数据类型
添加作业运行的队列到弹性资源池。具体内容包括: 设置弹性资源池队列的名称、队列类型等基本信息。 配置当前队列的扩缩容策略,包括队列策略的优先级、时间段、最大最小CU范围等配置。 在弹性资源池中添加队列 调整弹性资源池中队列的扩缩容策略 (可选)步骤三:创建增强型跨源连接 如果运行的作业需要跨源访问其他外部数据源数据