检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择“跨源管理 > 增强型跨源”。 进入增强型跨源连接列表页面,选择您需要查看的增强型跨源连接。 在列表页面的右上方单击可以自定义显示列,并设置表格内容显示规则、操作列显示规则。 在列表页面上方的搜索区域,您可以名称和标签筛选需要的增强型跨源连接。 单击查看增强型跨源连接详细信息。
automatic默认为true)。 Archive操作并不是每次写数据时都会触发,至少需要满足以下两个条件: Hudi表满足hoodie.keep.max.commits设置的阈值。如果是Flink写hudi至少提交的checkpoint要超过这个阈值;如果是Spark写hudi,写Hudi的次数要超过这个阈值。
优先级 当前弹性资源池中的优先级数字越大表示优先级越高。本例设置一条扩缩容策略,默认优先级为1。 1 时间段 首条扩缩容策略是默认策略,不能删除和修改时间段配置。 即设置00-24点的扩缩容策略。 00-24 最小CU 设置扩缩容策略支持的最小CU数。 16 最大CU 当前扩缩容策略支持的最大CU数。
scala样例代码 开发说明 支持对接CloudTable的OpenTSDB和MRS的OpenTSDB。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件
file_format为csv时,options参数可以参考表3。 注意事项 通过配置“spark.sql.shuffle.partitions”参数可以设置非DLI表在OBS桶中插入的文件个数,同时,为了避免数据倾斜,在INSERT语句后可加上“distribute by rand()”,可以增加处理作业的并发量。例如:
DISTINCT] query ALL和DISTINCT表示是否返回包含重复的行。ALL返回所有的行;DISTINCT返回只包含唯一的行。如果未设置,默认为DISTINCT。 INTERSECT query INTERSECT [DISTINCT] query INTERSECT仅返回
jar包冲突。用户提交的flink jar 与 DLI 集群中的hdfs jar包存在冲突。 处理步骤 1. 将用户pom文件中的的hadoop-hdfs设置为: <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>h
Flink目前支持两种SQL 方言: default 和 hive。您需要先切换到Hive 方言,然后才能使用Hive语法编写。下面介绍如何使用SQL设置方言。 您可以为执行的每个语句动态切换方言。无需重新启动会话即可使用其他方言。 语法格式 SQL 方言可以通过 table.sql-dialect
下划线开头,且不能超过128字符。 var_value 是 String 全局变量值。 is_sensitive 否 Boolean 是否设置为敏感变量。默认为“false”。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 Boolean
storage_path 指定目录的完整FS绝对路径 space_consumed 返回文件/目录在集群中占用的实际空间,即它考虑了为集群设置的复制因子 quota 名称配额(名称配额是对当前目录树中的文件和目录名称数量的硬性限制) space_quota 空间配额(空间配额是对
在列名列表中的每一列,其值会设置为null。 如果没有指定列名列表,则query语句产生的列必须与将要插入的列完全匹配。 使用insert into时,会往表中追加数据,而使用insert overwrite时,如果表属性“auto.purge”被设置为“true”,直接删除原表数据,再写入新的数据。
登录DLI管理控制台,在左侧导航栏单击“跨源管理”,在跨源管理界面,单击“增强型跨源”,单击“创建”。 在增强型跨源创建界面,配置具体的跨源连接参数。具体参考如下。 连接名称:设置具体的增强型跨源名称。 弹性资源池:选择DLI的队列。(未添加至资源池的队列,请直接选择队列名称。) 虚拟私有云:选择步骤1:获取外部数据
作为key的列类型保持不变,其余所有的列是STRING类型。 拆分成的行数以个数多的数组为准,不足的补NULL。 示例代码 为便于理解函数的使用方法,本文为您提供源数据,基于源数据提供函数相关示例。创建表salary,并添加数据,命令示例如下: CREATE EXTERNAL TABLE
语法格式 1 2 SHOW PARTITIONS [db_name.]table_name [PARTITION partition_specs]; 关键字 PARTITIONS:表中的分区。 PARTITION:分区。 参数说明 表1 参数描述 参数 描述 db_name Da
RESTORE TABLE [db_name.]table_name TO initial layout; 关键字 SET TBLPROPERTIES:设置表属性,开启多版本功能。 UNSET TBLPROPERTIES:取消表属性,关闭多版本功能。 参数说明 表1 参数描述 参数 描述 db_name
orderkey, orderstatus, totalprice / 4 AS quarter FROM orders 创建一个视图的同时设置表属性: create or replace view view1 comment 'the first view' TBLPROPER
跳转至“Spark作业编辑”页面,可根据需要修改参数,执行作业。 查找作业 在“Spark作业”页面,选择“状态”或“队列”。系统将根据设置的过滤条件,在作业列表显示符合对应条件的作业。 终止作业 在“Spark作业”页面,单击对应作业“操作”列中的“更多”>“终止作业”,可停止启动中和运行中的作业。
2 可以为负数,使值的小数点左边的 integer2 位变为零。 此函数也可以传入只有一个 numeric1 参数且不设置 Integer2 以使用。 如果未设置 Integer2 则 Integer2 为 0。 例如 42.324.truncate(2) 为 42.32,42.324
开通自动续费”。 批量资源开通自动续费:选择需要开通自动续费的资源,单击列表左上角的“更多 > 开通自动续费”。 选择续费时长,并根据需要设置自动续费次数,单击“开通”。 图3 开通自动续费 父主题: 续费
执行请求是否成功。“true”表示请求执行成功。 message 否 String 消息内容。 请求示例 运行ID为131、130、138、137的作业,且设置作业支持从最近创建的保存点恢复。 { "job_ids": [131,130,138,137], "resume_savepoint":