检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该目录的Size（KB） storage_path 指定目录的完整FS绝对路径 space_consumed 返回文件/目录在集群中占用的实际空间，即它考虑了为集群设置的复制因子 quota 名称配额（名称配额是对当前目录树中的文件和目录名称数量的硬性限制） space_quota 空
增强型跨源连接相关API（废弃） 模板相关API（废弃） 表相关API（废弃） SQL作业相关API（废弃） 上传数据相关API（废弃） 集群相关API（废弃） Flink作业相关API（废弃） 经典型跨源连接相关API（废弃） IEF相关API（废弃）
Hbase HBase连接器支持读取和写入HBase集群。本文档介绍如何使用HBase连接器基于HBase进行SQL查询。 HBase连接器在upsert模式下运行，可以使用 DDL 中定义的主键与外部系统交换更新操作消息。但是主键只能基于HBase的rowkey字段定义。如果没
请务必确保您的账户下已在数据仓库服务（DWS）里创建了DWS集群。 如何创建DWS集群，请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的独享队列上，因此要与DWS集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。
南》中“安全组”章节。 如果使用MRS Doris，请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 集群未启用Kerberos认证（普通模式） 使用admin用户连接Doris后，创建具有管理员权限的角色并绑定给用户。
请务必确保您的账户下已在数据仓库服务（DWS）里创建了DWS集群。 如何创建DWS集群，请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的独享队列上，因此要与DWS集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。
"中同时指定了collection，则"url"中的collection不生效。 user （已废弃）访问DDS集群用户名。 password （已废弃）访问DDS集群密码 passwdauth 跨源密码认证名称。跨源认证信息创建方式请参考《数据湖探索用户指南》>《跨源认证》。 encryption
表4 auth_infos参数说明 名称 参数类型 说明 auth_info_name String 用户安全集群的登录用户名。 user_name String 用户安全集群的登录密码。 certificate_location String 创建时指定的证书OBS路径。 datasource_type
南》中“安全组”章节。 如果使用MRS Doris，请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 集群未启用Kerberos认证（普通模式）。 使用admin用户连接Doris后，创建具有管理员权限的角色并绑定给用户。
3及以上版本支持使用Hive语法的CTAS语句创建分区表。 关于创建表时设置多字符的分隔符： 只有指定ROW FORMAT SERDE为org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe时，字段分隔符才支持设置为多字符。 只有Hive OBS表
timeout（单位是秒）参数配置超时时间。 DLI支撑本地测试Spark作业吗? DLI暂不支持本地测试Spark作业，您可以安装DLI Livy工具，通过Livy工具提供的交互式会话能力调测Spark作业。 推荐使用使用Livy提交Spark Jar作业。 DLI 表(OBS表 / DLI 表 )数据支持删除某行数据吗？
表4 auth_infos参数说明 名称 参数类型 说明 auth_info_name String 用户安全集群的登录用户名。 user_name String 用户安全集群的登录密码。 certificate_location String 创建时指定的证书OBS路径。 datasource_type
南》中“安全组”章节。 如果使用MRS Doris，请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 集群未启用Kerberos认证（普通模式） 使用admin用户连接Doris后，创建具有管理员权限的角色并绑定给用户。
新建队列，运行作业时会重新拉集群，大概需要10分钟左右才能拉好集群，在集群创建好之前单击SparkUI会导致缓存空的projectID，从而导致无法查看SparkUI。建议使用专属队列，集群不会被释放，就不会有该问题，或者提交作业后等一段时间再查看SparkUI，确保集群已经拉好了，不要立即单击SparkUI。
跨源已经绑定成功；否则表示未成功。 购买ecs集群，并下载5.5.2版本的confluent（https://packages.confluent.io/archive/5.5/）和jdk1.8.0_232，并上传到购买的ecs集群中，然后使用下述命令解压（假设解压目录分别为confluent-5
“图 RDS集群信息”。 说明： 经典型跨源的连接地址默认格式为："协议头://访问地址:访问端口" 例如：jdbc:mysql://to-rds-1174405119-oLRHAGE7.datasource.com:3306 如果想要访问RDS的postgre集群，需要将连接地
standalone String redis集群的部署模式，支持standalone、master-replica、cluster，默认standalone。 该值可参考redis集群的实例类型介绍。 retry-count 否 5 Integer 连接redis集群的尝试次数。 connection-timeout-millis
operationParameters 操作参数 job 运行该操作的作业的详细信息 notebook 运行操作的笔记的详细信息 clusterId 集群id readVersion 为执行写操作而读取的表的版本 isolationLevel 隔离级别 isBlindAppend 是否追加数据
表1 创建表参数 参数 说明 ZKHost HBase集群的ZK连接地址。 获取ZK连接地址需要先创建跨源连接。具体操作请参考《数据湖探索用户指南》。 访问CloudTable集群，填写ZK连接地址（内网）。 访问MRS集群，填写ZK所在节点IP与ZK对外端口，格式为："ZK_IP1:ZK_PORT1
格详情。 弹性资源池 弹性资源池后端采用CCE集群的架构，支持异构，对资源进行统一的管理和调度。详细内容可以参考用户指南的弹性资源池。 图1 弹性资源池架构图 弹性资源池的优势主要体现在以下几个方面： 统一资源管理 统一管理内部多集群和调度作业，规模可以到百万核级别。 多AZ部署，支持跨AZ高可用。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
