检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
value2 ...]) 参数描述 表1 MERGE INTO参数 参数 描述 database_name Database名称,由字母、数字和下划线(_)组成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 bucket_name obs桶名称。
DLI SQL队列对接DLI元数据方法: 在DLI管理控制台的SQL编辑器页面的“数据目录”中选择“dli”。 在“数据库”选项中选择要对接的DLI元数据中的数据库,即可对接到DLI元数据。 DLI通用队列对接DLI元数据方法: 请参考使用Spark作业访问DLI元数据。 DLI
<activeProfile>MyProfile</activeProfile> </activeProfiles> 以非华为镜像源作为主仓库(例如用户自定义镜像源)使用“HuaweiCloud SDK”: 使用maven构建时,settings.xml文件需要修改为如下内容: <settings
21-08-28'); 注意事项 使用由DLI提供的元数据服务时,不支持本命令。 权限需求 由DLI提供的元数据服务 SQL权限: database table 无 SELECT 细粒度权限:dli:table:select 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。
或任务过多导致的。 解决方案: 设置并发数:通过设置合适的并发数,可以启动多任务并行运行,从而提高作业的处理能力。 例如访问DWS大批量数据库数据时设置并发数,启动多任务的方式运行,避免作业运行超时。 具体并发设置可以参考对接DWS样例代码中的partitionColumn和nu
db' = 'default', //同步元数据的database 'hive_sync.table' = 'hudi_sink_table',
增强型跨源连接的优势: 网络连通性:直接打通DLI与目的数据源的VPC网络实现数据互通。 支持多种数据源:支持DLI与多种数据源的网络连通,例如DWS,RDS,CSS,DCS等数据源。 父主题: 增强型跨源连接类
hive.NonPartitionedExtractor"). option("hoodie.datasource.hive_sync.database", databaseName). option("hoodie.datasource.hive_sync.table", tableName)
更新模板 功能介绍 该API用于对DLI服务中已有的模板进行更新。 调试 您可以在API Explorer中调试该接口。 URI URI格式 PUT /v1.0/{project_id}/streaming/job-templates/{template_id} 参数说明 表1 URI参数说明
请确保在DLI队列host文件中添加MRS集群master节点的“/etc/hosts”信息。 如何添加IP域名映射,请参见《数据湖探索用户指南》中增强型跨源连接章节。 该语法不支持安全集群。 语法格式 单个RowKey 1 2 3 4 5 6 7 8 9 CREATE TABLE
unixdate, from_unixtime(unixdate) as timestamp_from_unixtime from database_t; 输出: +------------------+------------------------------+ | unixdate
关键字 CHANGE COLUMN:修改列 COMMENT:列描述。 参数说明 表1 参数描述 参数 是否必选 描述 db_name 否 Database名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。 table_name 是 表名称。 col_name 是
如下脚本中的加粗参数请根据实际环境修改。 CREATE CATALOG myhive WITH ( 'type' = 'hive' , 'default-database' = 'demo', 'hive-conf-dir' = '/opt/flink/conf' ); USE CATALOG
保存SQL模板 功能介绍 该接口用于存储指定的SQL语句,后续可以重复使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v1.0/{project_id}/sqls 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id
CLEANARCHIVE 命令功能 用于对Hudi表的归档文件进行清理,以减少Hudi表的数据存储及读写压力。 命令格式 按文件容量进行清理,需要配置参数: hoodie.archive.file.cleaner.policy = KEEP_ARCHIVED_FILES_BY_SIZE;
EOL后,将无法使用“包年/包月”和“按需计费”计费模式队列执行作业。 请您务必在EOL前完成将“包年/包月”和“按需计费”计费模式队列上执行的作业迁移至弹性资源池队列。即用户重新购买弹性资源池,使用新购的弹性资源池队列执行作业。 DLI“包年/包月”和“按需计费”计费模式队列在EOM和EOL后,可以使用哪个功能替换?
生成compaction计划(op指定为“schedule”),或者执行已经生成的compaction计划(op指定为“run”) 是 table 需要查询表的表名,支持database.tablename格式 table,path须选填其中之一 path 需要查询表的路径 table,path须选填其中之一 timestamp
avro-confluent.basic-auth.user-info 否 无 String Schema Registry的基本身份验证用户信息。 avro-confluent.bearer-auth.credentials-source 否 无 String Schema Registry的承载身份验证凭据源。
'[file_versions_retained]'); 参数描述 表1 参数描述 参数 描述 是否必填 table 需要查询表的表名,支持database.tablename格式 是 clean_policy 清理老版本数据文件的策略,默认KEEP_LATEST_COMMITS 否 retain_commits
path=>'[path]', limit=>[limit]); 参数描述 表1 参数描述 参数 描述 是否必填 table 需要查询的表的表名,支持database.tablename格式 table,path须选填其中之一 path 需要查询的表的路径 table,path须选填其中之一 predicate