检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
enabled”,值设置为“false”。 图1 参数设置 上述步骤参数设置完成后,则可以进行全表查询,不用查询表的时候要包含分区字段。 父主题: DLI数据库和表类
String 资源包在队列中的名字。 is_async 否 Boolean 是否异步上传资源包。 请求示例 从OBS上传jar包至DLI,并定义分组名称为gatk。 { "paths": [ "https://test.obs.xxx.com/test_dli
动续费。 按需计费资源 对于按需计费模式的资源: 按需计费的弹性资源,若不再使用这些资源且需停止计费,请删除相应资源。 按需计费的数据存储仅在存储DLI表时计费,若不再使用这些资源且需停止计费,请删除相应资源。 按需计费的扫描量仅在使用default队列执行作业时候按扫描量计费,作业执行完成后停止计费。
固定精度型 名称 描述 存储空间 取值范围 字面量 DECIMAL 固定精度的十进制数。精度最高支持到38位,但精度小于18位能保障性能最好。 Decimal有两个输入参数: precision:总位数,默认38 scale:小数部分的位数,默认0 说明: 如果小数位为零,即十进制(38
件的文件。 根据特定条件对符合Clustering条件的文件进行分组。每个组的数据大小应为targetFileSize的倍数。分组是计划中定义的"策略"的一部分。此外还有一个选项可以限制组大小,以改善并行性并避免混排大量数据。 将Clustering计划以avro元数据格式保存到时间线。
是,则执行3。 否,则运行日志不会转储OBS桶,需要先执行2保存作业运行日志。 在作业运行界面勾选“保存作业日志”,在“OBS桶”参数选择存储运行日志的OBS桶。单击“启动”重新运行作业。作业重新运行完成后再执行3及后续步骤。 在Flink作业列表单击对应作业名称,进入作业详情页面,选择“运行日志”页签。
db_name 格式 无。 说明 数据库名称,仅支持字符串类型,名称长度不能超过128字节。 父主题: 标示符
String 资源包在队列中的名字。 is_async 否 Boolean 是否异步上传资源包。 请求示例 从OBS上传python文件至DLI,并定义分组名称为gatk。 { "paths": [ "https://test.obs.xxx.com/dli_tf.py"
参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path OBS存储路径。 注意事项 所要修改位置的表分区必须是已经存在的,否则将报错。 “partition_specs”中的参数默认带有“( )”,例如:PARTITION
String 资源包在队列中的名字。 is_async 否 Boolean 是否异步上传资源包。 请求示例 从OBS上传用户文件至DLI,并定义分组名称为gatk。 { "paths": [ "https: //test.obs.xxx.com/test_dli
逻辑上,每个元素可以应用于一个或多个窗口,这取决于所使用的窗口表值函数的类型。例如:滑动窗口可以把单个元素分配给多个窗口。 窗口表值函数 是 Flink 定义的多态表函数(Polymorphic Table Function,缩写PTF),PTF 是 SQL 2016 标准中的一种特殊的表函数,它可以把表作为一个参数。
在DLI控制台修改数据库所有者 在实际使用过程中,开发人员创建了数据库和表,交给测试人员进行测试,测试人员测试完成后,再交给运维人员进行体验,在这种情况下,可以通过修改数据库的所有者,将数据转移给其他所有者。 修改数据库所有者 修改数据库所有者的入口有两个,分别在“数据管理”和“SQL编辑器”页面。
15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource SQL使用DEW管理访问凭据
时间和日期类型 限制 时间和日期类型目前精确到毫秒。 表1 时间和日期类型 名称 描述 存储空间 DATE 日期和时间。仅支持ISO 8601格式:'2020-01-01' 32位 TIME 不带时区的时间(时、分、秒、毫秒) 例如:TIME '01:02:03.456' 64位
要获得访问和使用DIS(数据接入服务)DIS Administrator权限。 ctable_adm:访问和使用CloudTable(表格存储服务)的CloudTable Administrator权限。 vpc_netadm:使用VPC(虚拟私有云)的VPC Administrator权限。
浮点型 名称 描述 存储空间 取值范围 字面量 REAL 实数 32位 1.40129846432481707e-45 ~3.40282346638528860e+38,正或负 REAL DOUBLE 双精度浮点数,15到17个有效位,具体取决于使用场景,有效位位数并不取决于小数点位置
0/{project_id}/databases/{database_name}/tables/{table_name} 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 database_name 是 String
table schema 去推断反序列化期间的 Avro reader schema 和序列化期间的 Avro writer schema。显式地定义 Avro schema 暂不支持。 Avro Format中描述了 Flink 数据类型和 Avro 类型的对应关系。 除了此处列出的类型之外,Flink
sourcePath, String destinationPath) throws IOException { // 从远程存储复制文件到本地的操作 byte[] fileContent = Files.readAllBytes(Paths.get(sourcePath));
DLI表:删除其数据及相应的元数据信息。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 table_name 表名称。 注意事项 所要删除的表必须是当前数据库下存在的,否则会出错,可以通过添加IF EXISTS来避免出错。