正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
version.enable"); 开启多版本功能后,在执行insert overwrite或者truncate操作时会自动在OBS存储路径下存储多版本数据。关闭多版本功能后,需要通过如下命令把多版本数据目录回收。 RESTORE TABLE [db_name.]table_name
作业开发 如何合并小文件 DLI如何访问OBS桶中的数据 创建OBS表时正确指定OBS路径 关联OBS桶中嵌套的JSON格式数据如何创建表 count函数如何进行聚合 如何将一个区域中的DLI表数据同步到另一个区域中? SQL作业如何指定表的部分字段进行表数据的插入 怎样删除表数据?
勾选该参数后,Flink jar作业还需要选择“Checkpoint路径”。 “Checkpoint路径”:选择checkpoint保存路径。必须和应用程序中配置的Checkpoint地址相对应。且不同作业的路径不可一致,否则无法获取准确的Checkpoint。 父主题: 使用DLI提交Flink作业
); 关键字 TBLPROPERTIES:表的属性,增加表的生命周期功能。 OPTIONS:新建表的路径,适用于DataSource语法创建OBS表。 LOCATION:新建表的路径,适用于Hive语法创建OBS表。 参数说明 表1 参数说明 参数名称 是否必选 参数说明 table_name
); 关键字 TBLPROPERTIES:表的属性,增加表的生命周期功能。 OPTIONS:新建表的路径,适用于DataSource语法创建OBS表。 LOCATION:新建表的路径,适用于Hive语法创建OBS表。 参数说明 表1 参数说明 参数名称 是否必选 参数说明 table_name
指定了多字符分隔的表不支持INSERT、IMPORT等写数语句。如需添加数据,请将数据文件直接放到表对应的OBS路径下即可,例如示例7:创建表并设置多字符的分割符中,将数据文件放到obs://bucketName/filePath下。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12
登录DLI管理控制台,单击“作业管理 > Spark作业”。 选择待查询的Spark作业,单击操作列的“更多 > 归档日志”。 系统自动跳转至DLI作业桶日志路径下。 选择需要查看的日期,单击“更多 > 下载”下载Spark日志到本地。 图3 下载Spark作业日志 父主题: 使用DLI提交Spark作业
登录DLI管理控制台,单击“作业管理 > SQL作业”。 选择待查询的SQL作业,单击操作列的“更多 > 归档日志”。 系统自动跳转至DLI作业桶日志路径下。 选择需要查看的日期,单击“更多 > 下载”下载SQL日志到本地。 图3 下载SQL作业日志 父主题: 使用DLI提交SQL作业
限。 分区表还具有以下权限: 添加分区:在分区表中添加新的分区。 删除分区:删除分区表中的任意分区。 设置分区的路径:将分区表中的某个分区路径设置为用户指定的OBS路径。 重命名表分区:对分区表中的分区重新命名。 恢复表分区:从文件系统中导出分区信息保存到元数据中。 显示所有分区:显示分区表中的所有分区。
指定了多字符分隔的表不支持INSERT、IMPORT等写数语句。如需添加数据,请将数据文件直接放到表对应的OBS路径下即可,例如示例7:创建表并设置多字符的分割符中,将数据文件放到obs://bucketName/filePath下。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12
point恢复作业。 勾选该参数后,还需要选择“Checkpoint路径”。 “Checkpoint路径”:选择checkpoint保存路径。必须和应用程序中配置的Checkpoint地址相对应。且不同作业的路径不可一致,否则无法获取准确的Checkpoint。 单击右上角“保存”,保存作业和相关参数。
用户已上传到DLI资源管理系统的类型为jar的程序包名。也支持指定OBS路径,例如:obs://桶名/包名。 pyFiles Array of Strings 用户已上传到DLI资源管理系统的类型为pyFile的资源包名。也支持指定OBS路径,例如:obs://桶名/包名。 files Array
ource-pools/{elastic_resource_pool_name}/queues/{queue_name} 参数说明 表1 路径参数 参数 是否必选 参数类型 描述 elastic_resource_pool_name 是 String 弹性资源池名称。 project_id
JAR:用户jar文件 PyFile:用户Python文件 File:用户文件 ModelFile:用户AI模型文件 OBS路径 选择对应程序包的OBS路径。 说明: 程序包需提前上传至OBS服务中保存。 只支持选择文件。 分组设置 可选择“已有分组”,“创建新分组”或“不分组”。
eCall”,调用这类API将抛出“SQLFeatureNotSupportedException”异常。API详情请参考JDBC官网https://docs.oracle.com/javase/8/docs/api/java/sql/package-summary.html。 支持的API列表
resolve host address, 如何解决? 首先使用ping命令测试dli.xxx是否可以访问。 如果dli.xxx可以正常访问,建议下DNS解析是否配置正确。 DLI 不支持跨区域服务,需在一个区域内进行访问。 父主题: 使用SDK相关问题
string) stored as parquet location 'obs://obs-sink/car-infos'; 从关联OBS路径中恢复分区信息。 1 alter table car_infos recover partitions; 父主题: Flink SQL作业相关问题
/v3/{project_id}/elastic-resource-pools/{elastic_resource_pool_name} 参数说明 表1 路径参数 参数 是否必选 参数类型 描述 elastic_resource_pool_name 是 String 弹性资源池名称。 project_id
参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path OBS存储路径。 注意事项 该命令的主要应用场景是针对分区表,如当手动在OBS上面添加分区目录时,再通过上述命令将该新增的分区信息刷新到元数据库中,通过“SHOW
scope参数定义了Token的作用域,下面示例中IAM获取的Token仅能访问project下的资源。您还可以设置Token的作用域为某个账号下所有资源或账号的某个project下的资源,详细定义请参见IAM获取用户Token。 1 2 3 4 5 6 7 8