检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
et格式存储。存储成本较高。 跨源作业可将数据存储在对应的服务中,目前支持CloudTable,CSS,DCS,DDS,DWS,MRS,RDS等。 DLI表与OBS表有什么区别? DLI表表示数据存储在本服务内部,用户不感知数据存储路径。 OBS表表示数据存储在用户自己账户的OBS桶中,源数据文件由用户自己管理。
约束限制 服务授权需要主账号或者用户组admin中的子账号进行操作。 DLI服务授权需要区分项目,请在每个需要新委托的项目分别执行更新委托操作,即切换至对应项目后,再按照本节的操作更新委托权限。 更新DLI委托权限(dli_management_agency) 在DLI控制台左侧导航栏中单击“全局配置
db' = 'default', //同步元数据的database 'hive_sync.table' = 'hudi_sink_table',
空格和_ . : =+-@ ,但首尾不能含有空格。 表4 各服务URL获取方式 服务名称 URL获取方式 Cloud Table HBase OpenTSDB DWS RDS CSS MRS 响应消息 表5 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean
value2 ...]) 参数描述 表1 MERGE INTO参数 参数 描述 database_name Database名称,由字母、数字和下划线(_)组成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 bucket_name obs桶名称。
关键字 CHANGE COLUMN:修改列 COMMENT:列描述。 参数说明 表1 参数描述 参数 是否必选 描述 db_name 否 Database名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。 table_name 是 表名称。 col_name 是
REVOKE_PRIVILEGE:权限回收 SHOW_PRIVILEGES:查看其它用户具备的权限 RESTART:重启队列 SCALE_QUEUE:规格变更 说明: 若需更新的权限列表为空,则表示回收用户在该队列的所有权限。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success
”队列管理”。在队列管理的界面筛选并选中需要查询的队列,随后点击窗口底部的窗格,展开隐藏的队列详情页面,在支持版本即可查看可用的计算引擎版本。对于SQL队列,无法切换版本,查看默认版本即可判断当前使用的计算引擎版本。 父主题: Hudi表概述
'[file_versions_retained]'); 参数描述 表1 参数描述 参数 描述 是否必填 table 需要查询表的表名,支持database.tablename格式 是 clean_policy 清理老版本数据文件的策略,默认KEEP_LATEST_COMMITS 否 retain_commits
scala样例代码 开发说明 支持对接CloudTable的HBase和MRS的HBase。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
path=>'[path]', limit=>[limit]); 参数描述 表1 参数描述 参数 描述 是否必填 table 需要查询的表的表名,支持database.tablename格式 table,path须选填其中之一 path 需要查询的表的路径 table,path须选填其中之一 predicate
但不能回收该队列所有者的权限。 查看其他用户具备的权限:当前用户可查看其他用户具备的该队列的权限。 重启队列权限:重启此队列的权限。 规格变更:修改队列规格的权限。 为已有权限的用户赋予权限或回收权限。 在对应队列“权限信息”区域的用户列表中,选择需要修改权限的用户,在“操作”列单击“权限设置”。
Table Information Database: default
PARTITION:分区。 参数说明 表1 参数描述 参数 描述 db_name Database名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。 table_name Database中的表名,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。匹配规则为:^(
方法复制资源名称。 图1 查找资源名称 根据资源ID在云服务的控制台查找资源并删除。 在控制台中选择“大数据 > 数据湖探索 DLI”,并切换选择资源所在区域。 选择“资源管理 > 队列管理”或“资源管理 > 弹性资源池”。 在搜索框中输入资源名称,单击图标即可查找到该资源。 图2
DLI服务在Stream SQL中支持与其他服务的连通。用户可以直接使用SQL从这些服务中读写数据,如DIS、OBS、CloudTable、MRS、RDS、SMN、DCS等。 开源生态 通过对等连接建立与其他VPC的网络连接后,用户可以在DLI的租户独享集群中访问所有Flink和Spark支
生成compaction计划(op指定为“schedule”),或者执行已经生成的compaction计划(op指定为“run”) 是 table 需要查询表的表名,支持database.tablename格式 table,path须选填其中之一 path 需要查询表的路径 table,path须选填其中之一 timestamp
tableNamePattern, String types[]) 该方法不采纳Catalog参数,schemaPattern对应DLI服务的database的概念。 ResultSet getTableTypes() ResultSet getSchemas() ResultSet getSchemas(String
"v1"为V1表;"v2"则为V2表。 如需修改V1表为V2表请提交工单联系客户支持获取操作帮助。 升级示例 升级Spark引擎和修改数据表时,如新建队列时切换了计算资源类型可能会导致计费资源的费用变化。 如果原队列使用的是弹性资源池类型的计算资源,那么新建队列不涉及计算资源的费用变化。 如果原队
(推荐)生成AK/SK 登录DLI管理控制台。 在页面右上角的用户名的下拉列表中选择“我的凭证”。 在“我的凭证”页面,默认显示“项目列表”,切换到“管理访问密钥”页面。 单击左侧“新增访问密钥”按钮,输入“登录密码”和“短息验证码”。 单击“确定”,下载证书。 下载成功后,在cre