检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
PowerBI、Fine BI、SuperSet、Tableau和Beeline,它们可以通过Kyuubi建立与DLI的连接。Kyuubi是一个分布式SQL查询引擎,提供了标准的SQL接口,使得BI工具能够通过Kyuubi与DLI进行交互,执行数据查询和分析。 BI工具连接DLI的方案中使用了DLI
predicate => "dt = '2021-08-28'", order => 'id'); 注意事项 table与path参数必须存在一个,否则无法判断需要执行clustering的表。 使用由DLI提供的元数据服务时,本命令仅支持配置table参数,不支持配置path参数。
/cluster,默认standalone connector.table-name 否 table存储模式下必配,redis中存储表名。在table存储模式下,数据将以hash类型存储到redis,其中key为:${table-name}:${ext-key},field名为列名。
创建必要的存储桶来存储作业运行过程中产生的临时数据:作业日志、作业结果等。请参考配置DLI作业桶。 配置元数据的访问权限。请参考在DLI控制台配置数据库权限、在DLI控制台配置表权限。 DLI数据导入指引 DLI支持在不迁移数据的情况下,直接对OBS中存储的数据进行查询分析,您只需要将数据上传OBS即可使用DLI进行数据分析。
ID> 输出数据 需要提供前缀打印标识符,即创建Print表时在with参数中指定print-identifier。 parallelism > 1 标识符> 输出数据 需要提供前缀打印标识符,即创建Print表时在with参数中指定print-identifier。 parallelism
DLI请求条件 您可以在创建自定义策略时,通过添加“请求条件”(Condition元素)来控制策略何时生效。请求条件包括条件键和运算符,条件键表示策略语句的 Condition 元素,分为全局级条件键和服务级条件键。全局级条件键(前缀为g:)适用于所有操作,服务级条件键(前缀为服
hashLength) 返回使用SHA-2哈希函数族(SHA-224, SHA-256, SHA-384, or SHA-512)得到的哈希值 第一个参数string表示被哈希的字符串,第二个参数hashLength表示哈希值的长度(224、256、384、512) 若任意参数为null,则返回null
hashLength) 使用 SHA-2 系列散列函数(SHA-224,SHA-256,SHA-384 或 SHA-512)返回散列值。第一个参数字符串是要散列的字符串, 第二个参数 hashLength 是结果的位长(224,256,384 或 512)。如果 string 或
创建了DWS集群。如何创建DWS集群,请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的独享队列上,因此要与DWS集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path OBS存储路径。 注意事项 该命令的主要应用场景是针对分区表,如当手动在OBS上面添加分区目录时,再通过上述命令将该新增的分区信息刷新到元数据库中,通过“SHOW
cluster,默认standalone。 connector.table-name 否 table存储模式下必配,redis中存储表名。在table存储模式下,数据将以hash类型存储到redis,其中key为:${table-name}:${ext-key},field名为列名。
MITER'='\017(^Q)'。 QUOTECHAR:可以在导入命令中指定引号字符。默认值为"。 配置项为OPTIONS('QUOTECHAR'='"') COMMENTCHAR:可以在导入命令中指定注释字符。在导入操作期间,如果在行的开头遇到注释字符,那么该行将被视为注释,并且不会被导入。默认值为#。
作业语义检验时提示DIS通道不存在怎么处理? 处理方法如下: 登录到DIS管理控制台,在左侧菜单栏选择“通道管理”。检查Flink作业SQL语句中的DIS通道是否存在。 如果Flink作业中的DIS通道还未创建,请参见《数据接入服务用户指南》中“开通DIS通道”章节。 确保创建的
ID> 输出数据 需要提供前缀打印标识符,即创建Print表时在with参数中指定print-identifier。 parallelism > 1 标识符> 输出数据 需要提供前缀打印标识符,即创建Print表时在with参数中指定print-identifier。 parallelism
) [, ...] ) CUBE ( column [, ...] ) ROLLUP ( column [, ...] ) 描述 从零个或多个表中检索行数据。 查询stu表的内容。 SELECT id,name FROM stu; 父主题: DQL 语法
lookup.join.cache.ttl(所有分区作为临时表)设置一个相对较大的值。否则,作业容易出现性能问题,避免表更新和重新加载过于频繁。 缓存刷新需加载整个Hive表。无法区分新数据和旧数据。 参数说明 在执行与最新的Hive表的时间关联时,Hive表将被缓存到Slot内存
hashLength) 返回使用SHA-2哈希函数族(SHA-224, SHA-256, SHA-384, or SHA-512)得到的哈希值 第一个参数string表示被哈希的字符串,第二个参数hashLength表示哈希值的长度(224、256、384、512) 若任意参数为null,则返回null
Raw Format将 null 值编码成 byte[] 类型的 null。这样在 upsert-kafka 中使用时可能会有限制,因为 upsert-kafka 将 null 值视为 墓碑消息(在键上删除)。因此,如果该字段可能具有 null 值,我们建议避免使用 upsert-kafka
start_position 否 BIGINT BIGINT类型常量,必须大于0。其他类型或值小于等于0时返回报错。不指定时默认为1,表示从source的第一个字符开始匹配。 返回值说明 返回BIGINT类型的值。 如果没有匹配成功,返回0。 source、pattern值为NULL时,返回NULL。