正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path OBS存储路径。 注意事项 该命令的主要应用场景是针对分区表,如当手动在OBS上面添加分区目录时,再通过上述命令将该新增的分区信息刷新到元数据库中,通过“SHOW PARTITIONS
实现队列到和公网的网络打通。 Spark SQL作业开发 使用Spark SQL作业分析OBS数据 介绍使用Spark SQL作业创建OBS表、导入OBS表数据、插入和查询OBS表数据等操作。 Flink OpenSource SQL作业开发 从Kafka读取数据写入到RDS 介绍使用Flink
重命名分区(只支持OBS表) 功能描述 重命名分区。 语法格式 1 2 3 ALTER TABLE table_name PARTITION partition_specs RENAME TO PARTITION partition_specs; 关键字 PARTITION:分区。
DLI表与OBS表的区别 DLI表表示数据存储在本服务内部,用户不感知数据存储路径。 OBS表表示数据存储在用户自己账户的OBS桶中,源数据文件由用户自己管理。 DLI表相较于OBS表提供了更多权限控制和缓存加速的功能,性能相较于外表性能更好,但是会收取存储费用。 父主题: 使用咨询
SE。 A <> B BOOLEAN 若A与B不相等,则返回TRUE,否则返回FALSE。若A或B为NULL,则返回NULL,该种运算符为标准SQL语法。 A != B BOOLEAN 与<>逻辑操作符相同,该种运算符为SQL Server语法。 A < B BOOLEAN 若A
SE。 A <> B BOOLEAN 若A与B不相等,则返回TRUE,否则返回FALSE。若A或B为NULL,则返回NULL,该种运算符为标准SQL语法。 A != B BOOLEAN 与<>逻辑操作符相同,该种运算符为SQL Server语法。 A < B BOOLEAN 若A
如何处理作业的OBS Bucket没有授权? DLI更新委托后,将原有的dli_admin_agency升级为dli_management_agency。 dli_management_agency包含跨源操作、消息通知、用户授权操作所需的权限,除此之外的其他委托权限需求,都需自定义DLI委托。
分区字段。 obs_path OBS存储路径。 注意事项 所要修改位置的表分区必须是已经存在的,否则将报错。 “partition_specs”中的参数默认带有“( )”,例如:PARTITION (dt='2009-09-09',city='xxx')。 所指定的新的OBS路径必须是已经存在的绝对路径,否则将报错。
Spark如何将数据写入到DLI表中 使用Spark将数据写入到DLI表中,主要设置如下参数: fs.obs.access.key fs.obs.secret.key fs.obs.impl fs.obs.endpoint 示例如下: import logging from operator import
GenericUDTF”,实现initialize,process,close三个方法。 UDTF首先会调用initialize方法,此方法返回UDTF的返回行的信息,如,返回个数,类型等。 初始化完成后,会调用process方法,真正处理在process函数中,在process中,每一次forward()调用产生一行。
DLI是否支持导入其他租户共享OBS桶的数据? 在DLI中,同一个租户下子账户共享OBS桶中的数据是支持导入的,但是租户级别共享OBS桶中的数据无法导入。 父主题: 使用咨询
已经配置DLI作业桶,且完成Flink桶授权后在提交作业时仍然提示桶未授权怎么办? 根因分析 使用DLI作业桶需要确保已完成DLI作业桶的权限配置。 您需要在OBS管理控制台中检查DLI作业桶的桶策略,确保策略中包含了允许DLI服务进行必要操作的授权信息。 确保没有任何策略明确拒绝了DLI服务对桶的访
导出数据(废弃) 功能介绍 该API用于从DLI表中导出数据到文件。 该API为异步操作。 目前只支持从DLI表导出数据到OBS中,且导出的路径必须指定到文件夹级别。OBS路径中不支持逗号,且其中的桶名不能以正则格式“.[0-9]+(.*)”结尾,即,若桶名包含“.”, 则最后一个“.”不可以数字开头(例如:**
DWS输出流(通过JDBC方式转储) DWS输出流(通过OBS方式转储) 自定义作业交互 MapReduce服务 MRS MRS Kafka输入流 MRS Kafka输出流 MRS HBase输出流 自定义作业交互 对象存储服务 OBS OBS输入流 OBS输出流 - 关系型数据库 RDS - RDS输出流
被赋权用户所在用户组的所属区域需具有Tenant Guest权限。 赋权给项目时,只可以赋权给相同租户下的相同区域的项目。 关于Tenant Guest权限的介绍和开通方法,详细参见权限策略和《统一身份认证服务 用户指南》中的创建用户组。 调试 您可以在API Explorer中调试该接口。 URI URI格式:
Key),需要具备访问OBS对应桶的权限。 spark.hadoop.fs.obs.security.provider 是 无 String OBS AKSK认证机制,使用DEW服务中的CSMS凭证管理,获取OBS的AK、SK。 默认取值为com.dli.provider.UserObsBasicCredentialProvider
保存到OBS。 勾选“保存作业日志”参数后,需配置“OBS桶”参数,选择OBS桶用于保存用户作业日志信息。如果选择的OBS桶是未授权状态,需要单击“OBS授权”。 日志信息的保存路径为:“桶名/jobs/logs/作业id开头的目录”。其中,“桶名”可以自定义。“/jobs/logs/作业id开头的目录”为固定格式。
关联OBS桶中嵌套的JSON格式数据如何创建表 DLI支持关联OBS桶中嵌套的JSON格式数据,使用异步模式建表即可。 建表语句如下: create table tb1 using json options(path 'obs://....') 父主题: 作业开发
如果有子作业在运行中,则展示该子作业的运行进度,progress的计算方法为:子作业已经完成的task数除以子作业总的task数。此时progress表示子作业的运行进度,sub_job_id展示。 sub_jobs 否 Array of Object 正在运行作业的子作业的详细信息
modification-time TIMESTAMP_LTZ(3) NOT NULL 文件的修改时间。 示例 从obs表作为数据源读取数据,输出到print connector。 CREATE TABLE obs_source( name string, num INT, `file