检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
组列的将被设置为NUll。具有复杂分组语法(GROUPING SETS、CUBE或ROLLUP)的查询只从基础数据源读取一次,而使用UNION ALL的查询将读取基础数据三次。这就是当数据源不具有确定性时,使用UNION ALL的查询可能会产生不一致的结果的原因。 --创建一个航运表
的 catalog 和名为 “db_name” 的数据库一起注册到 metastore 中。使用 db_name.table_name 的表将会被注册到当前执行的 table environment 中的 catalog 且数据库会被命名为 “db_name”;对于 table_name
交记录使其可见。用户控制何时/如何触发具有多个属性的提交。流式写入不支持插入覆盖。有关可用配置的完整列表,请参阅流式处理接收器。Streaming sink 前提条件 该场景作业需要建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数
spark.sql.files.maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。 spark.sql.badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated.scalar.query
具体操作请参考使用DEW管理数据源访问凭证。 使用DEW管理数据源访问凭证时,您还需要创建DLI云服务委托授予DLI访问其他服务(DEW)读取访问凭证。 SQL作业、Flink 1.12版本的跨源访问场景,使用DLI提供的“跨源认证”管理数据源的访问凭证,具体操作请参考使用DLI的跨源认证管理数据源访问凭证。
约束与限制 您能创建的资源的数量与配额有关系,如果您想查看服务配额、扩大配额,具体请参见《如何申请扩大配额》。 更详细的限制请参见具体API的说明。 父主题: API使用前必读
单击需导出数据对应数据库名称,进入该数据库“表管理”页面。 单击目标表“操作”栏中的“更多”,选择“表属性”。 单击“预览”页签,即可预览该表数据。 在“SQL编辑器”页面预览数据。 在管理控制台左侧,单击“SQL编辑器”。 在“SQL编辑器”页面的左侧导航栏中,选择“数据库”页签。 鼠
"template_id": 2, "name": "updatetest", "desc": "快速上手示例", "create_time": 1578748092000, "update_time":
参数描述 表1 CREATE TABLE AS SELECT参数描述 参数 描述 database_name Database名称,由字母、数字和下划线(_)组成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 bucket_name obs桶名称。
SQLContext sqlContext = new SQLContext(javaSparkContext); 通过DataFrame API 访问 读取json数据为DataFrame 1 2 3 4 JavaRDD<String> javaRDD = javaSparkContext.parallelize(Arrays
BasicCredentials。 仅支持获取AK、SK、SecurityToken。 获取到AK、SK、SecurityToken后,请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Spark3.3.1版本(Spark通用队列场景)使用委托授权访问临时凭证: 在创建作业时,请配置作业使用Spark3
constraint_name 参数描述 表1 DROP CONSTRAINT参数描述 参数 描述 database_name Database名称,由字母、数字和下划线(_)组成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 bucket_name obs桶名称。
Forbidden 解决方案 Spark程序访问OBS数据时,需要通过配置AK、SK的访问进行访问。 具体访问方式可以参考:通用队列操作OBS表如何设置AK/SK。 父主题: Spark作业运维类
boolExpression] 参数描述 表1 UPDATE参数 参数 描述 database_name Database名称,由字母、数字和下划线(_)组成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 bucket_name obs桶名称。
STRING 返回hash值。 max_pt max_pt(<table_full_name>) STRING 返回分区表的一级分区中有数据的分区的最大值,按字母排序,且读取该分区下对应的数据。 ordinal ordinal(bigint <nth>, <var1>, <var2>[,.
enable指定为false。 指定为false将导致新写入的分区无法同步到Hive Metastore中。由于缺失新写入的分区信息,查询引擎读取该时会丢数。 禁止指定Hudi的索引类型为INMEMORY类型。 该索引仅是为了测试使用。生产环境上使用该索引将导致数据重复。 建表示例 create
from [database_name.]table_name|DELTA.`obs://bucket_name/tbl_path` [ WHERE boolExpression] 参数描述 表1 DELETE参数 参数 描述 database_name Database名称,由字母、数字和下划线(_)组成。
t成功时生成。如果没有开启Checkpoint功能,文件将永远停留在in-progress或者pending的状态,并且下游系统将不能安全读取该文件数据。 sink end算子的接受记录数为checkpoint的个数,非实际的发送数据,实际发送数据量请参考streaming-wr
t成功时生成。如果没有开启Checkpoint功能,文件将永远停留在in-progress或者pending的状态,并且下游系统将不能安全读取该文件数据。 sink end算子的接受记录数为checkpoint的个数,非实际的发送数据,实际发送数据量请参考streaming-wr
0/{project_id}/databases/{database_name}/tables/{table_name} 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 database_name 是 String