检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 DROP TABLE IF EXISTS db0.delta_table0; 系统响应 执行成功,元数据中表将被删除,无法通过show和describe查询该表。 父主题: Delta DDL语法说明
细粒度权限:dli:table:select 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL COMMAND语法说明
问题原因 因为账号没有在全局配置中配置服务授权,导致该账号在创建跨源连接访问外部数据时因为权限不足而导致跨源访问失败。 解决方案 登录DLI管理控制台,选择“全局配置 > 服务授权”。 在委托设置页面,按需选择所需的委托权限。 其中“DLI Datasource Connections
结果行数,范围: [1, 1000]。默认值为:1000。 queue-name 否 String 指定获取作业结果的执行队列名称。若不指定则使用默认的系统队列。 带入query参数的URL示例如下: GET /v1.0/{project_id}/jobs/{job_id}/preview?p
where id = 1; update h0 set price = price *2, name = 'a2' where id = 2; 系统响应 可以确认任务状态成功,运行QUERY语句查看表中数据已被更新。 父主题: Hudi DML语法说明
COLUMNS。 修改列名后自动同步到列comment中,comment的形式为:rename oldName to newName。 系统响应 通过运行DESCRIBE命令查看表列修改。 父主题: Schema演进语法说明
jar作业的场景需要手动配置由LakeFormation提供元数据服务的Hudi锁实现类,请参照 Hudi锁配置说明。 登录DLI管理控制台,选择“作业管理 > Spark作业”,进入到Spark作业的界面。 提交Hudi相关的Spark jar作业需要选择Spark版本为3.3.1,且使用的通用队列需要支持Hudi。
在设置中配置需要保留的commit数量等参数,参见Hudi常见配置参数。 使用由DLI提供的元数据服务时,本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功,查看任务日志确认有无异常。 父主题: Hudi DML语法说明
细粒度权限:dli:database:displayAllTables 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 可以直接在提交任务界面查看任务结果,或者在SQL作业界面,点击对应任务右侧的”更多”->”查看结果”检查任务结果。 父主题: Hudi
TABLE table1 DROP COLUMNS a.b.c, x, y a.b.c 表示嵌套列全路径,嵌套列具体规则见ADD COLUMNS。 系统响应 通过运行DESCRIBE命令,可查看删除列。 父主题: Schema演进语法说明
contact DLI service. [ERROR] Error message:Execution Timeout 问题原因 default队列是系统预置的默认公共队列,主要用来体验产品功能。当多个用户通过该队列提交作业时,容易发生流控,从而导致作业提交失败。 解决方案 建议不要使用de
4或以上集群版本,创建CSS安全集群,并下载安全集群证书(CloudSearchService.cer)。 登录云搜索服务控制台,单击“集群管理”,选择需要建立跨源连接的集群,如图1所示: 图1 CSS集群管理 单击“安全模式”中的“下载证书”下载安全证书。 使用keytool工具生成keystore和truststore文件。
创建所需要的DIS通道,具体流程可参开通DIS通道。 在DIS控制台,打开“App管理 > 创建App”,填写App名称,App名称对应的是代码中的groupId。 图1 创建App 创建Flink Jar对应的程序包。 在DLI控制台,打开“数据管理 > 程序包管理”,单击“创建程序包”,创建Flink Jar对
已创建DLI的SQL队列。创建队列详细介绍请参考创建队列。 注意:创建队列时,队列类型必须要选择为:SQL队列。 前期准备 创建DLI数据库 登录DLI管理控制台,选择“SQL编辑器”,在SQL编辑器中“执行引擎”选择“spark”,“队列”选择已创建的SQL队列。 在SQL编辑器中输入以下语
队列中的运行作业网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率、等待作业数等信息。还可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 关于DLI支持的监控指标请参见数据湖探索监控指标说明及查看指导。 父主题:
DLI表与OBS表有什么区别? DLI表表示数据存储在本服务内部,用户不感知数据存储路径。 OBS表表示数据存储在用户自己账户的OBS桶中,源数据文件由用户自己管理。 DLI表相较于OBS表提供了更多权限控制和缓存加速的功能,性能相较于外表性能更好,但是会收取存储费用。 父主题: DLI产品咨询类
column11 from sourceTable2 where column1 = 'xxx'); 示例5: delete from h0; 系统响应 可以确认任务状态成功,运行QUERY语句查看表中对应数据已被删除。 父主题: Hudi DML语法说明
细粒度权限:dli:table:dropTable 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 Table将被删除。 父主题: Hudi DDL语法说明
参数 参数类型 说明 is_success Boolean 执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 请求示例 无 响应示例 { "is_success": true, "message": "Deleted"
的IP地址: 登录MRS管理控制台,选择“集群名称 > 组件管理 > ClickHouse > 实例”,获取ClickHouseBalancer实例的业务IP。 ClickHouseBalancer端口: 登录MRS管理控制台,选择“集群名称 > 组件管理 > ClickHouse