检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
partition_col_value partition_specs property_name property_value regex_expression result_expression row_format select_statement separator serde_name sql_containing_cte_name
object HudiDemoScala { def main(args: Array[String]): Unit = { val spark = SparkSession .builder() .enableHiveSupport()
注意:如果使用SASL_PLAINTEXT类型,且使用Kerberos认证,则需要同时配置'properties.sasl.mechanism' = 'GSSAPI'和'properties.security.protocol' = 'SASL_PLAINTEXT' 示例 该示例是从
注意:如果使用SASL_PLAINTEXT类型,且使用Kerberos认证,则需要同时配置'properties.sasl.mechanism' = 'GSSAPI'和'properties.security.protocol' = 'SASL_PLAINTEXT' 示例 从Kafka
Spark2.4.x: 以Asia/Shanghai时区的 1900-01-01 00:00:00 为例,返回值为 -2209017600。
\"\",\n \"description\" : \"Source: TableSourceScan(table=[[default_catalog, default_database, orders]], fields=[name, num])\",\n \"chain_operators_id
g:DomainName 全局级 String 当前登录的Domain。 g:ResourceTag 全局级 StringEquals 资源标签键值。
Hudi表满足hoodie.cleaner.commits.retained设置的阈值。如果是Flink写hudi,则至少提交的checkpoint要超过这个阈值;如果是批写Hudi,则批写次数要超过这个阈值。
表的insert overwrite TABLENAME select Y N 表的alter Y N 表的select Y Y 表的delete Y N 表的drop Y N 表的desc/describe TABLENAME Y Y 表的comment Y N 表的explain
DataArts Studio上运行DLI SQL脚本,执行结果报org.apache.hadoop.fs.obs.OBSIOException错误 使用CDM迁移数据到DLI,迁移作业日志上报UQUERY_CONNECTOR_0001:Invoke DLI service api failed
TM已使用的内存segments的个数 flink_taskmanager_Status_Shuffle_Netty_TotalMemorySegments TM分配的内存segments的个数 flink_taskmanager_Status_Shuffle_Netty_AvailableMemory
detail 是 String SQL查询的相关列信息的Json字符串。 statement 是 String 作业执行的SQL语句。 message 否 String 系统提示信息。 end_time 否 Long 作业结束的时间。是单位为“毫秒”的时间戳。
ai:表示使用DLI提供的AI镜像。 spark_version String 作业使用Spark组件的版本号。 如果当前Spark组件版本为2.3.2,则不填写该参数。 如果当前Spark组件版本为2.3.3,则在“feature”为“basic”或“ai”时填写。
port,kafkaIp:port,kafkaIp:port', 'properties.group.id' = 'GroupId', 'scan.startup.mode' = 'latest-offset', 'format' = 'json' ); CREATE
ogg-json.map-null-key.mode 否 'FAIL' String 指定处理 Map 中 key 值为空的方法. 当前支持的值有 'FAIL', 'DROP' 和 'LITERAL': Option 'FAIL' 将抛出异常。
PROT,KafkaIP:PROT,KafkaIP:PROT', 'properties.group.id' = 'GroupId', 'scan.startup.mode' = 'latest-offset', 'format' = 'json' ); create
该值需要大于hoodie.cleaner.commits.retained设置的值,需要根据具体业务调整。 随后保持上述配置按顺序调度执行以下SQL: run compaction on <database name>.
resource_detail 是 Object 资源详情。该字段属于扩展字段,默认为空。 tags 是 List<resource_tag> 标签列表,没有标签默认为空数组。 请参考表8。
select count(userid) as num ,dept as aaa from salary group by dept having aaa='d1'; 报错如下: Query 20210630_085136_00024_wc8n9@default@HetuEngine failed
1508143955000, "cu_count": 16, "description": "test", "owner": "tenant1", "cluster_name": "cluster1", "status": "AVAILABLE