检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
result_expression row_format select_statement separator serde_name sql_containing_cte_name sub_query table_comment table_name table_properties table_reference
需要配置为 snapshot(snapshot同时也是默认值,因此可以缺省)。 object HudiDemoScala { def main(args: Array[String]): Unit = { val spark = SparkSession .builder()
sasl.mechanism' = 'GSSAPI或者PLAIN'、'properties.sasl.jaas.config' = 'org.apache.kafka.common.security.plain.PlainLoginModule required username=\"xxx\"
sasl.mechanism' = 'GSSAPI或者PLAIN'、'properties.sasl.jaas.config' = 'org.apache.kafka.common.security.plain.PlainLoginModule required username=\"xxx\"
对于Asia/Shanghai时区,小于1900-01-01 08:05:43的值。 Spark2.4.x: 以Asia/Shanghai时区的 1900-01-01 00:00:00 为例,返回值为 -2209017600。 Spark3.3.x: 以Asia/Shanghai时区的 1900-01-01
atalog.default_database.sink_table], fields=[name, num])\",\n \"chain_operators_id\" : [ \"0a448493b4782967b150582570326227\" ],\n \"inputs\"
按量计费:真正的按使用量(扫描量/CU时)计费,不运行作业时0费用。 自动扩缩容:根据业务负载,对计算资源进行预估和自动扩缩容。 如何访问DLI 云服务平台提供了Web化的服务管理平台,既可以通过管理控制台和基于HTTPS请求的API(Application programming interface)管理
表的delete Y N 表的drop Y N 表的desc/describe TABLENAME Y Y 表的comment Y N 表的explain Y Y 表的show columns Y Y 表的select column Y Y 视图的create view Y N 视图的create
OBSIOException错误 使用CDM迁移数据到DLI,迁移作业日志上报UQUERY_CONNECTOR_0001:Invoke DLI service api failed错误 SQL作业访问报错:File not Found SQL作业访问报错:DLI.0003: AccessControlException
loaded TaskManager自JVM启动以来卸载的类的总数 flink_taskmanager_Status_Network_AvailableMemorySegments TaskManager未使用的内存segments的个数 flink_taskmanager_St
本章节介绍创建IAM用户并授权使用DLI的方法,操作流程如图1所示。 前提条件 给用户组授权之前,请您先了解用户组可以添加的DLI权限,并结合实际需求进行选择。DLI支持的系统权限,请参见:DLI系统权限。 示例流程 图1 给用户授权DLI权限流程 创建用户组并授权 在IAM控制台创建用
status 是 String 此作业的当前状态,包含提交(LAUNCHING)、运行中(RUNNING)、完成(FINISHED)、失败(FAILED)、取消(CANCELLED)。 input_row_count 否 Long Insert作业执行过程中扫描的记录条数。 bad_row_count
k镜像。 ai:表示使用DLI提供的AI镜像。 spark_version String 作业使用Spark组件的版本号。 如果当前Spark组件版本为2.3.2,则不填写该参数。 如果当前Spark组件版本为2.3.3,则在“feature”为“basic”或“ai”时填写。若
select * from parquet_mngd; 注意事项 为了更好的加载数据性能,CTAS使用bulk insert作为写入方式。 权限需求 由DLI提供的元数据服务 SQL权限: database table CREATE_TABLE 来源表:SELECT 细粒度权限:dli:table:createTable
OpenSource SQL1.15语法概览。 Flink 1.15需要配置租户面自定义委托,并在作业中配置委托信息。委托的权限需要根据作业具体的业务场景需求进行配置。详情操作请参考DLI自定义委托。 Flink 1.15作业管理凭据的方法: Flink OpenSource SQL中推荐使用D
= 'kafka-topic', 'properties.bootstrap.servers' = 'kafkaIp:port,kafkaIp:port,kafkaIp:port', 'properties.group.id' = 'GroupId', 'scan.startup
ogg-json.map-null-key.mode 否 'FAIL' String 指定处理 Map 中 key 值为空的方法. 当前支持的值有 'FAIL', 'DROP' 和 'LITERAL': Option 'FAIL' 将抛出异常。 Option 'DROP' 将丢弃 Map
'topic' = 'TOPIC', 'properties.bootstrap.servers' = 'KafkaIP:PROT,KafkaIP:PROT,KafkaIP:PROT', 'properties.group.id' = 'GroupId', 'scan.startup
resource字段数据结构说明 名称 是否必选 参数类型 说明 resource_id 是 String 资源ID。 resource_detail 是 Object 资源详情。该字段属于扩展字段,默认为空。 tags 是 List<resource_tag> 标签列表,没有标签默认为空数组。
影响 EOM后,不再支持新购队列资源,包括不支持新购“包年/包月”和“按需计费”计费模式队列和“队列CU时套餐包”。 为了满足部分业务的使用需求,在2024年6月30日 00:00:00(北京时间)前,您可以最大续订1年队列或者变更队列。 2024年6月30日 00:00:00(北京时间)之后将无法续订、变更队列。