检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据销毁机制 用户删除DLI队列后，存储在集群上的用户个人敏感数据会随之删除。 用户在控制台上删除填写的手机号、邮箱，并关闭消息通知功能后，数据库中会同步删除用户的手机号、邮箱信息。 数据传输安全 用户个人敏感数据将通过TLS 1.2、TLS1.3进行传输中加密，所有华为云DLI服务的API调用都支持
Already too many clients, active/non-active/reserved: 5/508/3 原因分析 当前访问的DWS数据库连接已经超过了最大连接数。错误信息中，non-active的个数表示空闲连接数，例如，non-active为508，说明当前有大量的空闲连接。
String jdbc连接驱动，默认为: org.postgresql.Driver。 使用gsjdbc4驱动连接时，加载的数据库驱动类为：org.postgresql.Driver。 使用gsjdbc200驱动连接时，加载的数据库驱动类为：com.huawei.gauss200.jdbc
“username”为创建的mongo（DDS）数据库用户名。 “pwd”为创建的mongo（DDS）数据库用户名对应的密码。 “host”为创建的mongo（DDS）数据库实例IP。 “db”为创建的mongo（DDS）数据库名称。 mongo（DDS）数据库用户创建详见：创建DDS数据库账户。 database
192.168.5.134:8635/test?authSource=admin" database DDS的数据库名，如果在"url"中同时指定了数据库名，则"url"中的数据库名不生效。 collection DDS中的collection名，如果在"url"中同时指定了colle
OR REPLACE：指定该关键字后，若视图已经存在将不报错，并根据select语句更新视图的定义。 注意事项 所要创建的视图必须是当前数据库下不存在的，否则会报错。当视图存在时，可通过增加OR REPLACE关键字来避免报错。 视图中包含的表或视图信息不可被更改，如有更改可能会造成查询失败。
pyspark样例代码 开发说明 mongo只支持增强型跨源。只能使用包年包月队列。 DDS即文档数据库服务，兼容MongoDB协议。 前提条件 在DLI管理控制台上已完成创建增强跨源连接，并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编
java样例代码 开发说明 mongo只支持增强型跨源。只能使用包年包月队列。 DDS即文档数据库服务，兼容MongoDB协议。 前提条件 在DLI管理控制台上已完成创建增强跨源连接，并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代
DLI SQL队列对接DLI元数据方法： 在DLI管理控制台的SQL编辑器页面的“数据目录”中选择“dli”。 在“数据库”选项中选择要对接的DLI元数据中的数据库，即可对接到DLI元数据。 DLI通用队列对接DLI元数据方法： 请参考使用Spark作业访问DLI元数据。 DLI
ws。 数据库服务器 单击输入框旁边的“选择”按钮，选择当前已创建的DWS集群名称。 端口 DWS数据库的端口，默认为：8000。 数据库名称 当前需要迁移的DWS数据库名称。当前示例为DWS集群上创建数据库和表中创建的数据库“testdwsdb”。 用户名 待连接数据库的用户。
跨源连接RDS表 创建DLI表关联RDS 插入数据至RDS表 查询RDS表 父主题： 跨源连接相关
connector.url 是 数据库的URL connector.table 是 读取数据库中的数据所在的表名 connector.driver 否 连接数据库所需要的驱动。若未配置，则会自动通过URL提取 connector.username 否 数据库认证用户名，需要和'connector
弹性资源池并在弹性资源池中添加队列请参考创建弹性资源池并添加队列。 用户首次使用子账号创建队列时，需要先使用主账号登录控制台，在DLI的数据库中保持记录，才能创建队列。 新队列第一次运行作业时，需要一定的时间，通常为6~10分钟。 按需队列创建完成后，如果在1小时内未运行作业，系统将进行释放。
示例数据。如果是迁移已有的Hive数据库和表数据，则可以通过以下命令获取Hive的数据库和表信息。 在Hive客户端执行如下命令获取数据库信息 show databases 切换到需要迁移的Hive数据库 use Hive数据库名 显示当前数据库下所有的表信息 show tables
appName("datasource-rds").getOrCreate(); 通过SQL API 访问 创建DLI跨源访问RDS的关联表，填写连接参数。 1 2 3 4 5 6 7 sparkSession.sql( "CREATE TABLE IF NOT EXISTS dli_to_rds USING
fault”，“数据库”选择“default”，单击“执行”。 SQL作业编辑窗口下方“查看结果”页签查看查询结果。 本示例使用系统预置的“default”队列和数据库进行演示，也可以在自建的队列和数据库下执行。 创建队列请参考创建队列。创建数据库请参考创建数据库。 后续指引 完
jdbc连接地址，格式为：jdbc:postgresql://${ip}:${port}/${dbName} 。 connector.table 是 读取数据库中的数据所在的表名 connector.driver 否 jdbc连接驱动，默认为: org.postgresql.Driver。 connector
GRANT_PRIVILEGE 数据库的赋权 √ × √ √ REVOKE_PRIVILEGE 数据库权限的回收 √ × √ √ SHOW_PRIVILEGES 查看其他用户具备的数据库权限 √ × √ √ DISPLAY_ALL_TABLES 显示数据库中的表 √ √ √ √ DISPLAY_DATABASE
本示例演示的操作需要跨源连接RDS外部数据源，所以需要创建跨源连接。如果作业不需要连接外部数据源，则该步骤可以跳过。 登录RDS控制台，创建RDS数据库实例。 具体操作请参见购买RDS for MySQL实例。 登录RDS实例后，单击“新建数据库”，创建名称为“test2”的数据库。 在“tes
常用数据源语法兼容性 语法 Hive Hudi 数据库的show schemas Y Y 数据库的create schema Y Y 数据库的alter schema Y N 数据库的drop schema Y Y 表的show tables/show create table/show
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
