检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
项目，将分布在不同区域的资源按照企业项目进行统一管理，同时可以为每个企业项目设置拥有不同权限的用户组和用户。 DLI支持在创建队列时选择企业项目，本节操作为您介绍DLI队列资源如何绑定、修改企业项目。 当前仅支持对未加入弹性资源池的队列资源修改企业项目。 前提条件 在绑定企业项目
table_name Database中的表名，由字母、数字和下划线（_）组成。 bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 num 保留期时长 所需权限 SQL权限 表2 VACUUM所需权限列表 权限描述 表的UPDATE权限 细粒度权限：dli:table:update。
上传jar类型分组资源（废弃） 功能介绍 该API用于在project下上传jar类型分组资源。 上传同名资源模块时，新模块将会覆盖旧模块。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式： POST /v2.0/{proj
ambiguous, could be: t.id, t.id.; 出现这个提示，表示进行join操作的两个表中包含相同的字段，但是在执行命令时，没有指定该字段的归属。 例如：在表tb1和tb2中都包含字段“id”。 错误的命令： select id from tb1 join tb2; 正确的命令：
包或文件。 前提条件 所使用的程序包需提前上传至OBS服务中保存。 创建程序包步骤 在管理控制台左侧，单击“数据管理”>“程序包管理”。 在“程序包管理”页面，单击右上角“创建”可创建程序包。 在“创建程序包”对话框，参见表1设置相关参数。 图1 创建程序包 表1 参数说明 参数名称
由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 ALTER TABLE table1 RENAME TO table2 系统响应 通过运行SHOW TABLES查看新的表名。 父主题： Schema演进语法说明
新建模板 功能介绍 该API在DLI服务中新建一个用户模板，最多100个。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project_id}/streaming/job-templates 参数说明 表1 URI参数说明 参数名称
写作业未停止情况下，禁止手动执行run schedule命令生成compaction计划。 错误示例： run schedule on dsrTable 如果还有别的任务在写这张表，执行该操作会导致数据丢失。 执行run compaction命令时，禁止将hoodie.run.compact.only.inli
怎样查看DLI队列负载？ 场景概述 如果需要确认DLI队列的运行状态，决定是否运行更多的作业时需要查看队列负载。 操作步骤 在控制台搜索“云监控服务 CES”。 图1 搜索CES 进入CES后，在页面左侧“云服务监控”列表中，单击“数据湖探索”。 图2 云服务监控 选择队列进行查看。 图3 查看队列负载
客户作业存在并发操作，同时对一张表执行两个insert overwrite操作。 一个cn在执行： TRUNCATE TABLE BI_MONITOR.SAA_OUTBOUND_ORDER_CUST_SUM 另外一个cn在执行： call bi_monitor.pkg_saa_out_bound
TABLE table1 DROP COLUMNS a.b.c, x, y a.b.c 表示嵌套列全路径，嵌套列具体规则见ADD COLUMNS。 系统响应 通过运行DESCRIBE命令，可查看删除列。 父主题： Schema演进语法说明
Delta常见配置参数 提交DLI Spark SQL作业时，在“SQL编辑器”界面右上角的“设置 > 参数设置”中配置Delta参数。 表1 Delta常见配置项 参数 描述 默认值 spark.databricks.delta.retentionDurationCheck.enabled
SQL举例演示。 在DLI管理控制台，单击“作业管理 > Flink作业”，在Flink作业管理界面，单击“创建作业”。 在创建作业界面，类型选择“Flink SQL”，名称填写为：testFlinkSqlJob。单击“确定”，跳转到Flink作业编辑界面。 在Flink SQL作业编辑界面，配置如下参数。
获取账号ID 在调用接口的时候，部分URL中需要填入账号ID（domain-id），所以需要先在管理控制台上获取到账号ID。账号ID获取步骤如下： 登录管理控制台。 鼠标指向界面右上角的登录用户名，在下拉列表中单击“我的凭证”。 在“API凭证”页面查看账号ID。 图1 获取账号ID
一致。 non-strict模式，对主键表采用insert处理。 upsert模式，对于主键表的重复值进行更新操作。 在提交Spark SQL作业时，用户可以在设置中配置以下参数，切换bulk insert作为Insert语句的写入方式。 hoodie.sql.bulk.insert
计算精确百分位数，适用于小数据量。先对指定列升序排列，然后取精确的第p位百分数。p必须在0和1之间。 percentlie_approx percentile_approx (colname,DOUBLE p) DOUBLE或ARRAY 计算近似百分位数，适用于大数据量。先对指定列升序排列，然后取第p位百分数对应的值。
relation applied windowing TVF WHERE rownum <= N [AND conditions] 注意事项 Flink只支持在滚动，滑动和累计窗口表值函数后进行窗口 Top-N。 示例 在窗口聚合后进行窗口 Top-N 下面的示例展示了在10分钟的滚动窗口上计算销售额位列前三的供应商。
25'); 注意事项 只能依次回滚最新的commit时间戳，可以通过SHOW_TIME_LINE命令检查最新的instant time。 系统响应 可以检查任务状态是否成功，查看任务结果，查看任务日志确认有无异常。 父主题： Hudi CALL COMMAND语法说明
细粒度权限：dli:table:select 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功，查看任务结果，查看任务日志确认有无异常。 父主题： Hudi CALL COMMAND语法说明
locate locate函数用于在str中查找substr的位置。您可以通过start_pos指定开始查找的位置，从1开始计数。 命令格式 locate(string <substr>, string <str>[, bigint <start_pos>]) 参数说明 表1 参数说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
