检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
WHERE:隐式连接利用WHERE条件实现类似JOIN...ON...的连接,返回匹配的记录。语法格式中仅给出等式条件下的WHERE条件过滤,同时也支持不等式WHERE条件过滤。 注意事项 所要进行JOIN连接的表必须是已经存在的表,否则会出错。 隐式JOIN的命令中不含有JOIN...ON...关键词,
OUTER JOIN:返回右表的所有记录,没有匹配值的记录将返回NULL。 注意事项 所要进行JOIN连接的表必须是已经存在的表,否则会出错。 示例 右外连接和左外连接相似,但是会将右边表(这里的course_info)中的所有记录返回,没有匹配值的左表记录将返回NULL。 1 2
–-file中提交上来的文件的本地路径,即:SparkFiles.get("上传的文件名")。 Driver中的文件路径与Executor中获取的路径位置是不一致的,所以不能将Driver中获取到的路径作为参数传给Executor去执行。 Executor获取文件路径的时候,仍然需要使用SparkFiles
Development Kit)是对DLI服务提供的REST API进行的作业提交的封装,以简化用户的开发工作。用户直接调用DLI SDK提供的接口函数即可实现使用提交DLI SQL和DLI Spark作业。 DLI支持的SDK分为SDK V3和DLI服务自行开发的SDK。 (推荐)DLI SDK
rtrim rtrim函数用于从str的右端去除字符: 如果未指定trimChars,则默认去除空格字符。 如果指定了trimChars,则以trimChars中包含的字符作为一个集合,从str的右端去除尽可能长的所有字符都在集合trimChars中的子串。 相似函数: ltrim,l
DECIMAL 'xxxxxxx.yyyyyyy' 语法来定义 DECIMAL 类型的字面量。 DECIMAL 类型的字面量精度将等于字面量(包括尾随零和前导零)的位数。范围将等于小数部分(包括尾随零)的位数。 示例字面量 数据类型 DECIMAL '0' DECIMAL(1) DECIMAL
布尔类型 “真”值的有效文本值是:TRUE、't'、'true'、'1'。 “假”值的有效文本值是:FALSE、'f'、'false'、'0'。 使用TRUE和FALSE是比较规范的用法(也是SQL兼容的用法)。 示例: select BOOLEAN '0'; _col0 -------
欠费说明 用户在使用DLI服务时,账户的可用额度小于待结算的账单,即被判定为账户欠费。欠费后,可能会影响云服务资源的正常运行,请及时充值。 欠费原因 已购买套餐包,但使用量超出套餐包额度,进而产生按需费用,同时账户中的余额不足以抵扣产生的按需费用。请参考已购买套餐包,为什么仍然产
DLI支持在队列创建完成后设置队列的属性。 当前支持设置队列的Spark driver的相关参数:通过设置队列的Spark driver,以提升队列资源的调度效率。 本节操作介绍在管理控制台设置队列属性的操作步骤。 约束与限制 仅Spark引擎的SQL队列支持配置队列属性。 仅在队列创建完成后支持设置队列属性。
在实际作业运行中,由于作业的重要程度以及紧急程度不同,需要重点保障重要和紧急的作业正常运行,因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能,可以对每个Flink作业设置作业优先级,当资源不充足时,可以优先满足优先级较高的作业的计算资源。 Flink 1.
DLI允许用户提交编译为Jar包的Flink作业,提供了更高的灵活性和自定义能力,适合需要进行复杂数据处理的场景。 当社区版Flink提供的Connector不能满足特定需求时,用户可以通过Jar作业来实现自定义的Connector或数据处理逻辑。 适合需要实现UDF(用户定义函数)或特定库集成的场景,用
指定表名。必须对表有读权限。 返回值说明 返回STRING类型的值。 返回最大的一级分区的值。 如果只是用alter table的方式新加了一个分区,但是此分区中并无任何数据,则此分区不会做为返回值。 示例代码 例如 table1 是分区表,该表对应的分区为20120801和20120802,且都
from_utc_timestamp from_utc_timestamp函数用于计算将UTC的时间戳转化为timezone所对应的UNIX格式的时间戳。 命令格式 from_utc_timestamp(string timestamp, string timezone) 参数说明
返回x的以2为底的对数 select log2(4);-- 2.0 log10(x) → double 返回x的以10为底的对数 select log10(1000);-- 3.0 log(b, x) → double 返回x的以b为底的对数 select log(3,81); -- 4.0 mod(n
INSERT INTO关键字说明 参数 描述 TABLE_NAME 所关联的OpenTSDB表名。 DLI_TABLE 创建的DLI表名称。 注意事项 插入的数据不能为null;插入的数据相同,会覆盖原数据;插入的数据只有value值不同,也会覆盖原数据。 不支持INSERT OVERWRITE语法。
模板中进行修改,来实现实际的作业逻辑需求,节约编辑SQL语句的时间。 当前云平台尚未提供预置的Spark模板,但支持用户自定义Spark作业模板,本节操作介绍在Spark管理页面创建Spark模板的操作方法。 新建Spark作业模板 Spark作业模板的创建方法是在创建Spark
(即num_keys等于所有列的个数),则只返回一行。 cols 是 STRING类型。 要转为行的数组,keys之后的所有列视为要转置的数组,必须为STRING类型。 返回值说明 参数的数据类型。 返回转置后的行,新的列名由as指定。 作为key的列类型保持不变,其余所有的列是STRING类型。
配额是指云平台预先设定的资源使用限制,包括资源数量和容量等。设置配额是为了确保资源合理的分配和使用,避免资源过度集中和资源浪费。 如果资源配额限制满足不了用户的使用需求,可以通过工单系统来提交您的申请,并告知您申请提高配额的理由。 在通过审理之后,系统会更新您的配额并进行通知。关于配额的具体操作说明,请参见关于配额。
关键字 FULL OUTER JOIN:根据左表与右表的所有记录进行匹配,没有匹配值的记录返回NULL。 注意事项 所要进行JOIN连接的表必须是已经存在的表,否则会出错。 示例 利用全外连接可以将两张表中的所有记录返回,没有匹配值的左表及右表记录将返回NULL。 1 2 SELECT
DLI增强型跨源连接创建对等连接的主要原因是为了实现DLI与不同VPC中的数据源之间的网络连通。 当DLI需要访问外部数据源,而这些数据源位于不同的VPC中时,由于网络隔离,DLI默认无法直接读取这些数据源的数据。通过创建增强型跨源连接,可以采用对等连接的方式打通DLI与数据源的VPC网络,从而实现数据的互通和跨源分析。