检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DWS集群连接地址：请参见获取集群连接地址进行获取。如果通过公网地址连接，请指定为集群“公网访问地址”或“公网访问域名”，如果通过内网地址连接，请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接，请指定为“弹性负载均衡地址”。 dbadmin：创建集群时设置的默认管理员用户名。
name_test", "age+1").show() col 获取指定字段。不同于select，col每次只能获取一个字段，返回类型为Column类型，示例如下： 1 val idCol = jdbcDF.col("id") drop 删除指定字段。传入要删除的字段，返回不包含此字段的Data
TABLE testDB.testTable1 ALTER COLUMN age COMMENT "new comment"; 不支持 支持 替换指定列 ALTER TABLE testDB.testTable1 REPLACE COLUMNS (name string, ID int COMMENT
ean_agency。 请在设置委托的授权范围时分别对OBS权限和DLI权限授权范围： OBS权限请选择“全局服务资源” DLI权限选择“指定区域项目资源” { "Version": "1.1", "Statement": [ {
企业项目ID，“0”表示default，即默认的企业项目。关于如何设置企业项目请参考《企业管理用户指南》。 说明： 开通了企业管理服务的用户可设置该参数绑定指定的项目。 resource_id 是 String 资源ID。 请求示例 无 响应示例 { "is_success": true,
成功，可以在Spark作业管理页面查看提交的作业的状态和日志。 如果选择spark版本为2.3.2（即将下线）或2.4.5提交作业时，需要指定Module模块，名称为：sys.datasource.rds。 如果选择Spark版本为3.1.1时，无需选择Module模块， 需在 'Spark参数（--conf)'
在的catalog，如图2所示，或在SQL命令中指定catalogName。catalogName是DLI控制台的数据目录映射名。 图2 在SQL编辑器页面选择数据目录 对接LakeFormation实例场景，在创建数据库时需要指定数据库存储的OBS路径。 对接LakeForma
DWS集群连接地址：请参见获取集群连接地址进行获取。如果通过公网地址连接，请指定为集群“公网访问地址”或“公网访问域名”，如果通过内网地址连接，请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接，请指定为“弹性负载均衡地址”。 dbadmin：创建集群时设置的默认管理员用户名。
增强型跨源连接”，相关API信息请参考创建增强型跨源连接。 RowKey 指定作为rowkey的dli关联表字段，支持单rowkey与组合rowkey。单rowkey支持数值与String类型，不需要指定长度。组合rowkey仅支持String类型定长数据，格式为：属性名1:长度
Kafka Upsert Kafka 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 （none） String 指定使用格式，这里应该是'avro'。 avro.codec 否 （none） String 仅用于文件系统，avro 压缩编解码器。默认不压
Datasource Connections Agency Access、DLI Notification Agency Access授权范围是指定区域项目资源： 仅在勾选该权限且更新DLI委托权限后的项目生效。未勾选该权限的项目不具备跨源场景所需权限、和SMN发送通知消息的权限。 示
Kafka FileSystem 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 （none） String 指定使用格式，这里应该是'avro'。 avro.codec 否 （none） String 仅用于FileSystem，avro 压缩编解码器。默认
'rows-per-second' = '1', --每秒生成一条数据 'fields.name.kind' = 'random', --为字段user_id指定random生成器 'fields.name.length' = '7', --限制user_id长度为7 'fields.classNo
API操作请参考《数据湖探索API参考》>《创建批处理作业》。 如果选择spark版本为2.3.2（即将下线）或2.4.5提交作业时，需要指定Module模块，名称为：sys.datasource.redis。 如果选择Spark版本为3.1.1时，无需选择Module模块， 需在
Access，具备访问和使用VPC、子网、路由、对等连接的权限。详细操作请参考配置DLI云服务委托权限。 作为资源所有者的账号A已创建共享VPC和子网，并指定资源使用者为账号B。 创建共享的详细操作，请参见创建共享。 建立DLI与共享VPC下资源的网络连通 账号A创建增强型跨源连接。 账号A登录DLI管理控制台。
REPEATABLE_READ SERIALIZABLE 默认值为“READ_UNCOMMITTED”。 注意事项 创建RDS关联表时，不需要指定关联表的Schema。DLI会自动获取RDS中对应参数"dbtable"中的表的Schema。 示例 访问MySQL 1 2 3 4 5 6
API操作请参考《数据湖探索API参考》>《创建批处理作业》。 如果选择spark版本为2.3.2（即将下线）或2.4.5提交作业时，需要指定Module模块，名称为：sys.datasource.opentsdb。 如果选择Spark版本为3.1.1时，无需选择Module模块，
方式一：使用Maven中央库来添加JDBC驱动 Maven中央库是Apache Maven项目的一部分，提供了Java库和框架。 在不指定JDBC获取方式的情况下，默认使用Maven中央库的方式来添加JDBC驱动。 使用maven构加入huaweicloud-dli-jdbc
'rows-per-second' = '1', --每秒生成一条数据 'fields.user_id.kind' = 'random', --为字段user_id指定random生成器 'fields.user_id.length' = '3' --限制user_id长度为3 ); create table
添加数据源的相关配置，请参见图1。 驱动：上传下载的DLI JDBC驱动。 URL：后面填写DLI jdbc的URL，URL的格式见表2，属性配置项说明见表3。 指定数据库： “表结构模式”可填写需访问的数据库名称，如果填写，后续创建数据集时，刷新表，页面上只可见该数据库下的表。如果不填写，后续创建数据
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
