检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是 String 提交作业的用户。 start_time 是 Long 作业开始的时间。是单位为“毫秒”的时间戳。 duration 是 Long 作业执行的时间间隔,单位毫秒。 export_mode 否 String 导出数据或保存查询结果时,指定的导出模式。 范围为“Err
database_name 是 String 查看表所在的数据库名称。 表2 query参数 参数名称 是否必选 参数类型 说明 keyword 否 String 过滤表名称的关键词。 with-detail 否 Boolean 是否获取表的详细信息(所有者,size等)。默认值为“false”。
每页显示的返回信息的个数,默认值为100。 offset 否 Integer 偏移量。 filter 否 String 筛选条件,目前只支持“=”条件筛选,例如:name=name1,表示筛选出分区中name=name1的数据,name为分区列名称,name1为分区列的值。key和value不区分大小写。
GROUPING SETS 的每个子列表可以是空的,多列或表达式,它们的解释方式和直接使用 GROUP BY 子句是一样的。一个空的 Grouping Sets 表示所有行都聚合在一个分组下,即使没有数据,也会输出结果。 对于 Grouping Sets 中的空子列表,结果数据中的分组或表达式列会用NULL代替。例如,上例中的
people; --在表people中增加名为zip的列: ALTER TABLE people ADD COLUMN zip varchar; --从表people中删除名为zip的列: ALTER TABLE people DROP COLUMN zip; --将表people中列名id更改为user_id:
单击“提交”完成弹性资源池的创建。 在弹性资源池的列表页,选择要操作的弹性资源池,单击操作列的“添加队列”。 配置队列的基础配置,具体参数信息如下。 表4 弹性资源池添加队列基础配置 参数名称 参数说明 配置样例 名称 弹性资源池添加的队列名称。 dli_queue_01 类型 选择创建的队列类型。
son数据类型的数据,输出到日志文件中。 参考增强型跨源连接,根据Kafka所在的虚拟私有云和子网创建相应的增强型跨源,并绑定所要使用的Flink弹性资源池。 设置Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Kafka的地址测试队列连通性
String 模板分组名称。 description 否 String 模板描述信息。 language 否 String 语言。 响应参数 表3 响应参数 参数 参数类型 说明 id String 模板ID。 请求示例 创建一个SQL类型的作业模板,模板内容为“test sql”
此处设置keystore.jks文件的位置以及进入这个文件的密钥。在准备工作中生成的keystore.jks文件需要先放到OBS桶中,然后填入ak和sk以及jks文件的具体位置。最后在“es.net.ssl.keystore.pass”填入进入文件的密钥。 .option("es.net
行失败时,用于显示执行失败的原因。 请求示例 更新SQL模板的信息,包括模板的SQL语句、模板名称、模板的描述信息和分组信息。 { "sql": "select * from t1", "sql_name": "sql1", "description": "use to
ppy压缩、gzip压缩的parquet数据。 CSV:DLI支持读取不压缩、gzip压缩的csv数据。 ORC:DLI支持读取不压缩、snappy压缩的orc数据。 JSON:DLI支持读取不压缩、gzip压缩的json数据。 Avro:DLI支持读取不压缩的avro数据。 CSV
GO语言深入之道 介绍几个Go语言及相关开源框架的插件机制 跟唐老师学习云网络 唐老师将自己对网络的理解分享给大家 智能客服 您好!我是有问必答知识渊博的的智能问答机器人,有问题欢迎随时求助哦! 社区求助 华为云社区是华为云用户的聚集地。这里有来自数据湖探索的技术牛人,为您解决技术难题。
配置”应用程序”,路径指向上一步上传至OBS的Spark jar包。 配置委托。选择提交DLI作业所需的委托。自定义委托请参考创建DLI自定义委托 。 配置”主类(--class)”,为上一步中所写的,包含需要执行的main函数的类的全名。 在”Spark参数(--conf)“处
说明 create_time 是 Long 创建集群的时间。 description 否 String 集群的描述信息。 cu_count 是 Integer 与集群绑定的计算单元个数。 owner 是 String 创建集群的用户。 cluster_name 是 String 集群名称。
delta_table0; 系统响应 返回表的详细信息或统计信息。 表2 结果参数描述 参数名 参数含义 format 表的格式,在这里是delta id 表的唯一id name 在metaserver中定义的表名 description 关于表的说明 location 表的存储路径 createdAt
名称 是否必选 参数类型 说明 sql 是 String 新增的SQL模板。 sql_name 是 String 新增SQL模板名称,该名称在当前工程下必须唯一。 description 否 String 新增SQL模板的描述信息,可以为空字符串。 group 否 String SQL模板分组名称。
窗口偏移 Offset 可选参数,可以用来改变窗口的分配。可以是正或者负的区间。默认情况下窗口的偏移是 0。不同的偏移值可以决定记录分配的窗口。 例如:在 10 分钟大小的滚动窗口下,时间戳为 2021-06-30 00:00:04 的数据会被分配到哪个窗口呢? 当 offset 为
API概览 本章节介绍了目前DLI所提供的API列表。 表1 DLI API列表 类型 说明 权限相关API 包括队列赋权、查看队列的使用者、数据赋权、查看数据库的使用者、查看表的使用者、查看表的用户权限和查看赋权对象使用者权限信息。 全局变量相关API 包括创建全局变量、删除全
message 否 String 系统提示信息,执行成功时,信息可能为空。 请求示例 修改弹性资源池的描述信息、最大CU、最小CU。修改后的最小CU为78,修改后的最大CU为990。 { "description" : "test_update", "min_cu" : 78, "max_cu"
定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 代码实现 导入依赖。 涉及到的mvn依赖库 1 2 3 4 5 <dependency>