检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Location: obs://bucket/user/hive/warehouse/fruit Table Type:
mode=>'query'); call clean_file(table => 'h1', mode=>'undo', backup_path=>'obs://bucket/hudi/h1/.hoodie/.cleanbackup/hoodie_repair_backup_20230527');
默认true,true表示根据storage_size排序结果,false表示根据文件数量排序结果 否 示例 call show_fs_path_detail(path=>'obs://bucket/path/hudi_mor/dt=2021-08-28', is_sub=>false, sort=>true); 返回结果
在估算存储费用时,请特别注意,DLI采用压缩存储,通常能压缩到原文件大小的 1/5 。DLI存储按照压缩后的大小计费。 如果数据存储在OBS服务中,则DLI服务不收取存储费用,对应的费用由OBS服务收取。 扫描量计费 按照用户每个作业的数据扫描量(单位为“GB”)收取计算费用。 当前仅适用于在默认def
SQL执行计划。 SQL执行计划需在SQL作业执行完毕才可以查看。 仅状态为“已成功”的SQL作业支持查看SQL执行计划。 请确保已授权OBS桶的操作权限给DLI服务,用于保存用户作业的SQL执行计划。 SQL执行计划保存在DLI作业桶中付费存储,系统不会主动删除,建议您配置桶生
values_row 想要插入到表中的值,列与列之间用逗号分隔。 注意事项 DLI表必须已经存在。 在“创建表关联HBase”章节创建的表中,OPTIONS里的Cols指定的列族如果不存在,insert into执行时会报错。 如果插入的(rowkey, 列族, 列)已存在,则执行插入操作
据源的VPC网络,实现数据互通。 本节操作介绍适用增强型跨源连接配置DLI与内网数据源的网络联通的操作指导。 创建增强型跨源连接网络不通的问题,可以根据本指导的整体流程和步骤进行排查验证。 整体流程 图1 增强型跨源连接配置流程 前提条件 已创建DLI队列。创建队列详见创建DLI队列操作指导。
如果index> 0,则此函数提供与SQL标准下标运算符([])相同的功能,但在访问大于数组长度的索引时该函数返回NULL,且下标运算符在这种情况下将失败。 如果index <0,则element_at从最后到第一个访问元素。 select element_at(array['a','b'
对象。 JSON数组可以具有混合元素类型,JSON Map可以有混合值类型。这使得在某些情况下无法将其转换为SQL数组和Map。为了解决该问题,HetuEngine支持对数组和Map进行部分转换: SELECT CAST(JSON'[[1, 23], 456]'AS ARRAY(JSON));--
2021-03-25 12:02:02,60.0,60.0,2021-03-25 12:03:00,0002,Bob,330110) 常见问题 无 父主题: 创建源表
miniAppShop 2021-03-25 12:02:02 60 60 2021-03-25 12:03:00 0002 Bob 330110 常见问题 无 父主题: 创建结果表
支持独立Spark实例运行SQL作业,减少作业间相互影响。 自动弹性(暂未实现,后续版本支持) 基于队列负载和优先级实时自动更新队列配额。 弹性资源池解决方案主要解决了以下问题和挑战。 维度 原有队列,无弹性资源池时 弹性资源池 扩容时长 手工扩容时间长,扩容时长在分钟级别 不需要手工干预,秒级动态扩容。 资源利用率
ON NULL INPUT SYMBOL com.test.udf.hetuengine.functions.repeat URI obs://bucket/user/hetuserver/udf/data/hetu_udf/udf-test-0.0.1-SNAPSHOT.jar
Hudi支持对接DLI元数据和Lakeformation元数据(仅Spark 3.3.1及以上版本支持对接Lakeformation元数据),对接方式与Spark一致。 DLI元数据可在数据湖探索管理控制台的“数据管理 > 库表管理”中查看。 Lakeformation元数据可在湖仓构建
2021-03-24 10:00:00,100.00,100.00,2021-03-24 10:02:03,0001,Alice,330106) 常见问题 Q:Flink作业运行失败,作业运行日志中如下报错信息,应该怎么解决? java.lang.IllegalArgumentException:
2021-03-24 10:00:00,100.00,100.00,2021-03-24 10:02:03,0001,Alice,330106) 常见问题 Q:Flink作业运行失败,作业运行日志中如下报错信息,应该怎么解决? java.lang.IllegalArgumentException:
miniAppShop,2021-03-2512:02:02,60.0,60.0,2021-03-2512:03:00,0002,Bob,330110) 常见问题 无 父主题: 创建源表
12:03:00", "user_id":"0002", "user_name":"Bob", "area_id":"330110"} 常见问题 无 父主题: 创建结果表
简介 数据类型隐式转换指用户通过客户端访问HetuEngine资源时,当查询的数据类型和表的数据类型不匹配时,HetuEngine能自动进行数据类型转换,避免用户在使用时因强数据类型校验带来的不便。当前在插入数据(Insert)、条件判断(Where)、运算操作(+、-、*、/)以及函数调用(连接操作
LI提交作业访问共享VPC中的资源。此时需要建立DLI与共享VPC中资源的网络连接。 例如:账号A为企业IT管理账号,是VPC资源的所有者,创建VPC、子网。并将VPC、子网共享给企业业务账号B。 账号B为企业业务账号,使用共享的VPC和子网创建资源,并使用DLI访问资源。 前提条件