检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
concat函数用于拼接数组或字符串。 命令格式 输入为ARRAY数组:将多个ARRAY数组中的所有元素连接在一起,生成一个新的ARRAY数组。 concat(array<T> <a>, array<T> <b>[,...]) 输入为字符串:将多个字符串连接在一起,生成一个新的字符串。 concat(string
自定义函数 概述 DLI支持三种自定义函数: UDF:自定义函数,支持一个或多个输入参数,返回一个结果值。 UDTF:自定义表值函数,支持一个或多个输入参数,可返回多行多列。 UDAF:自定义聚合函数,将多条记录聚合成一个值。 暂不支持通过python写UDF、UDTF、UDAF自定义函数。
[FIELDS TERMINATED BY char [ESCAPED BY char]] [COLLECTION ITEMS TERMINATED BY char] [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char]
配置DLI读写外部数据源数据的操作流程 DLI执行作业需要读写外部数据源时需要具备两个条件: 打通DLI和外部数据源之间的网络,确保DLI队列与数据源的网络连通。 妥善保存数据源的访问凭证确保数据源认证的安全性,便于DLI安全访问数据源。 本节操作介绍配置DLI读写外部数据源数据操作流程。
Marketing,停止该功能销售。 EOL:End of life,停止所有销售、服务活动。 常见问题 DLI经典型跨源连接EOM和EOL后,正在使用该功能的作业有哪些影响? 如果您正在使用DLI经典型跨源连接的功能,请尽快更换使用增强型跨源连接。 否则使用经典型跨源连接操作过程中出现的错误,不再提供该功能的任何技术服务支持。
弹性资源池 64-112CUs 队列A 16-32CUS 队列B 16-56CUS 已使用CUs:已经被作业或任务占用的CU资源。这些资源可能正在执行计算任务,暂时不可用。 HetuEngine已使用CUs和实际CU一致。 CU范围:CU设置主要是为了控制弹性资源池扩缩容的最大最小CU范围,避免无限制的资源扩容风险。
查看计划 功能描述 执行该语句将返回该SQL语句的逻辑计划与物理执行计划。 语法格式 1 EXPLAIN [EXTENDED | CODEGEN] statement; 关键字 EXTENDED:指定该关键字后,会同时输出逻辑计划与物理执行计划。 CODEGEN:指定该关键字后
starting String 批处理作业正在启动。 running String 批处理作业正在执行任务。 dead String 批处理作业已退出。 success String 批处理作业执行成功。 recovering String 批处理作业正在恢复。 请求示例 创建Spark作业,作业的Spark主类为“org
参考修改主机信息修改主机信息。 如果MapReduce服务集群存在多个IP,创建跨源连接时填写其中任意一个业务IP即可。 方法二:通过MRS节点的“/etc/hosts”信息获取MRS主机信息 以root用户登录MRS的任意一个主机节点。 执行以下命令获取MRS对应主机节点的hosts信息,复制保存。
表2 响应参数 参数 是否必选 参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 请求示例 无 响应示例 { "is_success": true
--将fruit表中的数据行加载到fruit_copy 表中,执行后表中有5条记录 insert into fruit_copy select * from fruit; --先清空fruit_copy表,再将fruit 中的数据加载到表中,执行之后表中有2条记录。 insert overwrite
典型场景示例:配置弹性资源池队列扩缩容策略 场景介绍 一个企业有多个部门,多个部门不同业务数据分析的时间段可能有所差异,具体场景如下: A部门:在00:00-09:00时间段内资源请求量大,其他时间段有短时间的资源请求量不大的任务运行。 B部门:在10:00-22:00时间段内资
给OBS分区表插入对应的分区数据,数据插入成功后OBS表才会生成分区元数据信息,后续则可以根据对应分区列进行查询等操作。 手工拷贝分区目录和数据到OBS分区表路径下,执行本章节介绍的分区添加命令生成分区元数据信息,后续即可根据对应分区列进行查询等操作。 本章节重点介绍使用ALTER TABLE命令添加分区的基本操作和使用说明。
nal table还是external table,如果ADD PARTITION时指定了分区保存路径,那么在DROP PARTITION执行后,分区所在文件夹和数据不会被删除。如果ADD PARTITION时未指定分区保存路径,分区目录将从OBS上删除,数据会移到.Trash/Current文件夹。
type表示一个fragment如何被执行以及数据在不同fragment之间怎样分布。 SINGLE Fragment会在单个节点上执行。 HASH Fragment会在固定数量的节点上执行,输入数据通过哈希函数进行分布。 ROUND_ROBIN Fragment会在固定数量的节点上执行,片段在固定数量
/opt/kafkaclient 执行以下命令配置环境变量。 source bigdata_env 因为当前集群启用了Kerberos认证,则需要执行以下命令进行安全认证。认证用户为2中创建的用户。 kinit 2中创建的用户名 例如,kinit testuser2 执行以下命令创建名字为kafkatopic的Kafka
SHOW_COMMIT_FILES 命令功能 查看指定的instant一共更新或者插入了多个文件。 命令格式 call show_commit_files(table=>'[table]', instant_time=>'[instant_time]', limit=>[limit]);
如果语法校验失败,请参考《数据湖探索SQL语法参考》检查SQL语句准确性。 如果语法校验通过,单击“执行”,阅读并同意隐私协议,单击“确定”后执行SQL语句。 SQL语句执行成功后,在SQL作业编辑窗口下方会显示执行结果。 查看作业执行结果。 在查看结果页签,单击以图形形式呈现查询结果。再单击切换回表格形式。
响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 请求示例 删除ID为3和4的扩缩容计划。 { "plan_ids":
弹性资源池的实际CUs、已使用CUs、CU范围、规格(包周期CU) 实际CUs:弹性资源池当前分配的可用CUs。 已使用CUs:已经被作业或任务占用的CU资源。这些资源可能正在执行计算任务,暂时不可用。 HetuEngine已使用CUs和实际CU一致。 CU范围:CU设置主要是为了控制弹性资源池扩缩容的最大最小CU范围,避免无限制的资源扩容风险。