检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用技巧等说明。 Spark SQL作业管理 提供Spark SQL作业管理界面功能介绍。 Spark SQL模板管理 DLI支持定制模板或将正在使用的SQL语句保存为模板,便捷快速的执行SQL操作。 开发指导 Spark SQL语法参考 提供Spark SQL数据库、表、分区、导
选择待删除的队列,单击“操作”列的“删除”删除。 图1 删除队列 如果“操作”列的“删除”为灰色,表示当前用户没有删除队列的权限。您可以向管理员申请删除队列的权限。 在弹出的确认对话框中,单击“是”。 父主题: 管理队列
如果当前配额不能满足业务要求,请参考后续操作,申请扩大配额。 如何申请扩大配额? 登录管理控制台。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图2 我的配额 单击“申请扩大配额”。 在“新建工单”页面,根据您的需求,填写相关参数。 其中,“问题描述”项请填写需要调整的内容和申请原因。 填写完毕后,勾选协议并单击“提交”。
如果当前配额不能满足业务要求,请参考后续操作,申请扩大配额。 如何申请扩大配额? 登录管理控制台。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图2 我的配额 单击“申请扩大配额”。 在“新建工单”页面,根据您的需求,填写相关参数。 其中,“问题描述”项请填写需要调整的内容和申请原因。 填写完毕后,勾选协议并单击“提交”。
设置实例的登录密码。 - 管理员账号 root root 管理员密码 设置管理员密码。 - 参数模板 数据库参数模板就像是数据库引擎配置值的容器,参数模板中的参数可应用于一个或多个相同类型的数据库实例。 系统默认模板:Default-MySQL-5.7 表名大小写 配置表名不区分大小写。 不区分大小写
_JVM_Memory_Mapped_Count JobManager中mapped缓冲池中的缓冲区个数 flink_jobmanager_Status_JVM_Memory_Mapped_MemoryUsed JobManager中JVM用于mapped缓冲池的内存量 flin
getBatchJobLog - GET /v2.0/{project_id}/batches/{batch_id}/log Flink作业模板相关 表7 Flink作业模板相关API&SDK的对应关系表 Class Java Method Python Method API Template c
ARRAY WRAPPER) -- Scalars must be wrapped to be returned -- NULL JSON_QUERY(1, '$') -- '[1]' JSON_QUERY(1, '$' WITH CONDITIONAL ARRAY WRAPPER)
+I(202303251202020001,miniAppShop,2023-03-2512:02:02,60.0,60.0,2023-03-2512:03:00,0002,Bob,330110) +I(202303251505050001,appshop,2023-03-25 15:05:05
driver) \ .mode("Append") \ .save() mode 有四种保存类型: ErrorIfExis:如果已经存在数据,则抛出异常。 Overwrite:如果已经存在数据,则覆盖原数据。 Append:如果已经存在数据,则追加保存。 I
作业名称。长度限制:1-57个字符。 desc 否 String 作业描述。长度限制:0-512个字符。 template_id 否 Integer 模板ID。 如果“template_id”和“sql_body”都不为空,优先选择“sql_body”的内容;如果“template_id”不
据文件,更新表/分区的LAST_ACCESS_TIME,耗时与分区数和文件数相关。 约束限制 表生命周期处于公测阶段,如果有需要请联系客服申请开通白名单。 表生命周期功能支持Hive、DataSource语法创建表、多版本表,暂不支持跨源表、Carbon表。 生命周期单位为天,取值为正整数。
计费样例 计费场景 某公司用户A申请了256CUs的弹性资源池,并将1TB数据存放在DLI表中。该公司想要了解采用哪种计费模式才是性价比最优的方式。 数据湖探索服务目前支持三种作业:SQL作业,Flink作业和Spark作业。SQL作业的计费包括存储计费和计算计费,Flink作业和Spark作业的计费只有计算计费。
202103251505050001,appShop,2021-03-25 15:05:05,500.00,400.00,2021-03-25 15:10:00,0003,Cindy,330108 202103241606060001,appShop,2021-03-24 16:06:06
message 否 String 系统提示信息,执行成功时,信息可能为空。 job_mapping 否 Array of Objects 导入作业的信息。具体请参考表4。 表4 job_mapping参数说明 参数名称 是否必选 参数类型 说明 old_job_id 否 Long
regexp_position('I have 23 apples, 5 pears and 13 oranges', '\b\d+\b', 5); -- 8 SELECT regexp_position('I have 23 apples, 5 pears and 13 oranges'
STRING 将字符串从application/x-www-form-urlencoded MIME格式转为常规字符。 url_encode url_encode(string <input>[, string <encoding>]) STRING 将字符串编码为application
avro.codec 否 (none) String 仅用于FileSystem,avro 压缩编解码器。默认 snappy 压缩。目前支持:null, deflate、snappy、bzip2、xz。 数据类型映射 目前,Avro schema 通常是从 table schema 中推导而来。尚不支持显式定义
无请求参数。 响应消息 表2 响应参数 参数名称 是否必选 参数类型 说明 id 否 String 批处理作业的id。 appId 否 String 批处理作业的后台app id。 name 否 String 批处理作业名称。 owner 否 String 批处理作业所属用户。 proxyUser
DOUBLE 返回数值区域的百分比数值点。0<=P<=1,否则返回NULL,不支持浮点型数值。 percentile_approx percentile_approx(DOUBLE col, p [, B]) DOUBLE 返回组内数字列近似的第p位百分数(包括浮点数),p值在[0