检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行SQL查询语句报错:DLI.0003: Permission denied for resource.... 问题现象 执行SQL查询语句,提示没有对应资源查询权限。 报错信息:DLI.0003: Permission denied for resource 'databases
描述 是否必填 table 需要查询表的表名,支持database.tablename格式 是 log_file_path_pattern log file的路径,支持正则匹配 否 merge 执行show_logfile_records时,通过merge控制是否将多个log file中的record合并在一起返回
SELECT format('%,.2f',1234567.89);-- '1,234,567.89' SELECT format('%-7s,%7s','hello','world');-- 'hello , world' SELECT format('%2$s %3$s %1$s'
for (String s: str.split(split)) { Row row=new Row(2); row.setField(0, s); row.setField(1, s.length());
"lakeformation:database:create", "lakeformation:database:drop", "lakeformation:database:describe",
如果target未包含指定分隔符,则返回目标字符串。 separator VARCHAR 指定的分隔符,当前仅支持单字符分隔。 示例 准备测试输入数据 表2 测试源表disSource数据和分隔符 target(STRING) separator (VARCHAR) test-flink - flink
table_name 需要查询的表的表名,支持database.tablename格式 示例 call show_hoodie_properties(table => "hudi_table5"); 权限需求 由DLI提供的元数据服务 SQL权限: database table 无 SELECT
driver数量。包含预先启动的spark driver和运行作业的spark driver。 当队列为16CUs时范围:2 当队列大于16CUs时范围:2-(CU数/16) 队列最小CUs小于16CUs时,该配置项不生效。 最大预拉起spark driver实例数 队列预先启动的最大spark
)在下拉列表中选择“DLI"。 持续时间:选择“永久”。 描述:非必选,可以填写“拥有OBS OperateAccess权限的委托”。 图2 创建委托 配置完委托的基本信息后,单击“下一步”。 授予当前委托所需的权限策略,单击“新建策略”。 配置策略信息。 输入策略名称,本例:dli-obs-agency。
项目编号,用于资源隔离。获取方式请参考获取项目ID。 job_id 是 String 作业ID。可通过提交SQL作业(推荐)获取。 请求消息 无请求参数。 响应消息 表2 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message
for (String s: str.split(split)) { Row row=new Row(2); row.setField(0, s); row.setField(1, s.length());
regexp_extract('1a 2b 14m','(\d+)([a-z]+)',2);-- 'a' regexp_like(string, pattern) → boolean 描述:验证字符串是否包含满足正则表达式的子串,如果有,返回true。 SELECT regexp_like('1a 2b 14m'
mRecordsOut Task发出的记录总数 flink_taskmanager_job_task_numRecordsOutPerSecond Task每秒发出的记录总数 flink_taskmanager_job_task_operator_numRecordsIn Operator收到的记录总数
引,按照规范去优化对应的配置参数即可。 基于Bucket索引的表,按照单个Bucket 2GB数据量进行设计。 为了规避单个Bucket过大,建议单个Bucket的数据量不要超过2GB(该2GB是指数据内容大小,不是指数据行数也不是parquet的数据文件大小),目的是将对应的桶
选择需要缩容的弹性资源池,单击“操作”列“更多”中的“包周期CU变更”。 在“包周期CU变更”页面,“变更方式”选择“缩容”,变更数量选择要缩容的CU数量。 图2 弹性资源池规格缩容 确定费用后,单击“提交”。 缩容任务提交后,可以选择“作业管理 > SQL作业”,查看“SCALE_POOL”类型SQL作业的状态。
Spark作业使用咨询 DLI Spark作业是否支持定时周期任务作业 DLI Spark不支持作业调度,用户可以通过其他服务,例如数据湖管理治理中心DataArts Studio服务进行调度,或者通过API/SDK等方式对作业进行自定义调度 。 使用DataArts Studi
di表的性能,通常建议: hoodie.cleaner.commits.retained = compaction所需要的commit数的2倍 hoodie.keep.min.commits = hoodie.cleaner.commits.retained + 1 hoodie
位置修改参照列,例如:AFTER column_name的语义是要将待修改列放到参照列column_name之后。 所需权限 SQL权限 表2 ALTER TABLE所需权限列表 权限描述 表的ALTER权限 细粒度权限:dli:table:alter。 由LakeFormatio
col_type:新增列类型,必须指定。 nullable:新增列是否可以为空,可以缺省。 comment:新增列comment,可以缺省。 所需权限 SQL权限 表2 ALTER TABLE所需权限列表 权限描述 表的ALTER权限 细粒度权限:dli:table:alter。 由LakeFormatio
class-name需要为全限定类名。 示例 create table userDefinedSource ( attr1 int, attr2 int ) with ( 'connector.type' = 'user-defined', 'connector.class-name'