检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : +-@,但首尾不能含有空格,不能以_sys_开头。 value 是 String 值。 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : +-@,但首尾不能含有空格。 响应参数 无
请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 without_any_tag 否 Boolean 是否不包含任意一个标签。默认值false。 true:不包含任意一个标签。 false:指定标签。 tags 否 Array of objects 包含标签。请参考tags。
hoodie.tableName.consume.end.timestamp=20210308212318 // 指定增量拉取结束commit,如果不指定的话采用最新的commit 随后执行SQL select * from tableName where `_hoodie_commit_
标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格,不能以_sys_开头。 value 是 String 说明: 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格。 响应消息
作业结果总条数。 input_size 否 long 作业执行过程中扫描的数据量。 schema 否 Array of Map 作业结果列名称和类型。 rows 否 Array of Objects 作业结果集。 请求示例 无 响应示例 { "is_success": true,
说明:对此规则或建议进行的解释。 示例:对此规则或建议从正、反两个方面给出。 适用范围 基于DLI-Hudi进行数据存储、数据加工作业的设计、开发、测试和维护。 该设计开发规范是基于Spark 3.3.1,Hudi 0.11.0版本。 父主题: DLI Hudi开发规范
tb_avro STORED AS AVRO AS SELECT 1”则会报schema解析异常。 此问题的原因是如果不指定列名,则会把SELECT后的内容同时作为列名和插入值,而AVRO格式的表不支持列名为数字,所以会报解析schema异常错误。 您可以通过“CREATE TABLE
“Spark模板”,页面跳转至Spark作业页面。 参考创建Spark作业配置作业参数。 作业编辑完成后,单击“设为模板”。 输入模板名称和描述信息。 设置模板的分组信息。便于模板的统一管理。 单击“确定”,完成Spark模板的创建。 父主题: 使用DLI提交Spark作业
最新动态 本文介绍了数据湖探索DLI各特性版本的功能发布和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验。 2020年8月 序号 功能名称 功能描述 阶段 相关文档 1 集成TPC-H测试套件 用户可以通过DLI内置的TPC-H测试套件进行简单高效的交互式查
天到end_time的数据(end_time最大不能大于当前时间30天)。 查询当前时间点前15天到当前时间点的数据(start_time和end_time同时为空)。 end_time 否 Long end_time用于查询扩缩容历史的结束时间,该时间点不能小于开始时间,不能大
UDTF支持CROSS JOIN和LEFT JOIN,在使用UDTF时需要带上 LATERAL 和TABLE 两个关键字。 CROSS JOIN:对于左表的每一行数据,假设UDTF不产生输出,则这一行不进行输出。 LEFT JOIN:对于左表的每一行数据,假设UDTF不产生输出,这一行仍会输出,UDTF相关字段用null填充。
pkg_saa_out_bound_monitor_p_saa_outbound_order_cust_sum 这个函数里面有delete 和 insert SAA_OUTBOUND_ORDER_CUST_SUM的操作。 处理步骤 修改作业逻辑,避免对同一张表并发执行insert overwrite操作。
// SASL_SSL相关配置项。设置jaas账号和密码,username和password为创建Kafka实例过程中开启SASL_SSL时填入的用户名和密码, // 或者创建SASL_SSL用户时设置的用户名和密码。格式如下, // org.apache
true || Null(BOOLEAN) 返回 TRUE。 boolean1 AND boolean2 BOOLEAN 如果 boolean1 和 boolean2 都为 TRUE 返回 TRUE。支持三值逻辑。 例如 true && Null(BOOLEAN) 返回 UNKNOWN。
isBlindAppend 是否追加数据 operationMetrics 操作的度量(例如,修改的文件数、行数、字节数等信息) engineInfo Spark和Delta版本信息 父主题: Delta Time Travel
及线下数据库的异构数据进行探索。 您可以使用本文档提供API对数据湖探索进行相关操作,包括队列、SQL作业、Flink作业、Spark作业和跨源连接等等。支持的全部操作请参见API概览。 在调用数据湖探索API之前,请确保已经充分了解数据湖探索相关概念。详细信息请参见产品介绍。 父主题:
标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格,不能以_sys_开头。 value 是 String 标签的值。 说明: 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格。
队列扩缩容计划的起始分钟时间。 repeat_day 是 Array of strings 定时扩缩容计划的重复周期,可以选择周一到周日的某一天、某几天、或者不选择。如果不选择,则会在当前时间后的start_hour:start_minute时间点执行扩缩容计划。例如: "repeat_day": ["MONDAY"
(算子总并行数 / 单TM Slot数) * 单TM所占CU数 例如:CU数量为9CU,管理单元为1CU,最大并行数为16,则计算单元为8CU。 如果不手动配置TaskManager资源,则单TM所占CU数默认为1,单TM slot数显示值为0,但实际上,单TM slot数值依据上述公式计算结果为2。
Multi-INSERT语句查询性能提升。 切换至新版本对DLI资源价格是否有影响? DLI按作业运行所需的计算资源和存储资源计费,与计算引擎版本无关。 如何升级到DLI Spark 3.1.1版本? 在DLI管理控制台,购买弹性资源池和队列资源,用于提供执行作业所需的计算资源。 单击“作业管理 > Spark作业”,新建Spark作业。