检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“username”为创建的mongo(DDS)数据库用户名。 “pwd”为创建的mongo(DDS)数据库用户名对应的密码。 “host”为创建的mongo(DDS)数据库实例IP。 “db”为创建的mongo(DDS)数据库名称。 mongo(DDS)数据库用户创建详见:创建DDS数据库账户。 database
随之删除。 用户在控制台上删除填写的手机号、邮箱,并关闭消息通知功能后,数据库中会同步删除用户的手机号、邮箱信息。 数据传输安全 用户个人敏感数据将通过TLS 1.2、TLS1.3进行传输中加密,所有华为云DLI服务的API调用都支持 HTTPS 来对传输中的数据进行加密。 Spark作业传输通信加密
String 要监视的 MySQL 服务器的数据库名称。 数据库名称还支持正则表达式,以监视多个与正则表达式匹配的表。 前缀匹配:^(test).* 匹配前缀为test的数据库名,例如test1、test2等。 后缀匹配:.*[p$] 匹配后缀为p的数据库名,例如cdcp、edcp等。 特定匹配:txc
计费。 数据库 数据库即按照数据结构来组织、存储和管理数据的仓库。DLI服务管理权限的基础单元是数据库,赋权以数据库为单位。 在DLI中,表和数据库是定义底层数据的元数据容器。表中的元数据让DLI知道数据所在的位置,并指定了数据的结构,例如列名称、数据类型和表名称。数据库是表的逻辑分组。
、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 功能介绍 DLI用户可以通过可视化界面、Restful API、JDBC、Beeline等多种接入方式对云上CloudTable、RDS和
heckpoint文件恢复内部状态和消费位点,保证数据不丢失及聚合算子等内部状态的精确一致语义。同时,为了保证数据不重复,建议使用带主键数据库或者文件系统作为目标数据源,否则下游处理业务需要加上去重逻辑(最新成功Checkpoint记录位点到异常时间段内的数据会重复消费)。 图1
OR REPLACE:指定该关键字后,若视图已经存在将不报错,并根据select语句更新视图的定义。 注意事项 所要创建的视图必须是当前数据库下不存在的,否则会报错。当视图存在时,可通过增加OR REPLACE关键字来避免报错。 视图中包含的表或视图信息不可被更改,如有更改可能会造成查询失败。
(val1 [, val2, ...]) 关键字 表1 INSERT关键字说明 参数 描述 db_name 需要执行INSERT命令的表所在数据库的名称。 table_name 需要执行INSERT命令的表的名称。 part_spec 指定详细的分区信息。若分区字段为多个字段,需要包
192.168.5.134:8635/test?authSource=admin" database DDS的数据库名,如果在"url"中同时指定了数据库名,则"url"中的数据库名不生效。 collection DDS中的collection名,如果在"url"中同时指定了colle
操作场景 在创建Spark作业时,您可以在已有的Spark样例模板中进行修改,来实现实际的作业逻辑需求,节约编辑SQL语句的时间。 当前云平台尚未提供预置的Spark模板,但支持用户自定义Spark作业模板,本节操作介绍在Spark管理页面创建Spark模板的操作方法。 新建Spark作业模板
什么是用户配额? 配额是指云平台预先设定的资源使用限制,包括资源数量和容量等。设置配额是为了确保资源合理的分配和使用,避免资源过度集中和资源浪费。 如果资源配额限制满足不了用户的使用需求,可以通过工单系统来提交您的申请,并告知您申请提高配额的理由。 在通过审理之后,系统会更新您的
使用gsjdbc200驱动连接时,加载的数据库驱动类为:com.huawei.gauss200.jdbc.Driver。 username 否 无 String 数据库认证用户名,需要和'password'一起配置。 password 否 无 String 数据库认证密码,需要和'username'一起配置。
java样例代码 开发说明 mongo只支持增强型跨源。只能使用包年包月队列。 DDS即文档数据库服务,兼容MongoDB协议。 前提条件 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代
pyspark样例代码 开发说明 mongo只支持增强型跨源。只能使用包年包月队列。 DDS即文档数据库服务,兼容MongoDB协议。 前提条件 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编
ws。 数据库服务器 单击输入框旁边的“选择”按钮,选择当前已创建的DWS集群名称。 端口 DWS数据库的端口,默认为:8000。 数据库名称 当前需要迁移的DWS数据库名称。当前示例为DWS集群上创建数据库和表中创建的数据库“testdwsdb”。 用户名 待连接数据库的用户。
监控安全风险 云监控服务为用户的云上资源提供了立体化监控平台。通过云监控您可以全面了解云上的资源使用情况、业务的运行状况,并及时收到异常告警做出反应,保证业务顺畅运行。 DLI服务提供基于云监控服务CES的资源监控能力 DLI已对接云监控服务,提供基于云监控服务的资源监控能力,帮
华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另外,华为云还提供了以
DLI元数据是SQL作业、Spark作业场景开发的基础。在执行作业前您需要根据业务场景定义数据库和表。 Flink支持动态数据类型,可以在运行时定义数据结构,不需要事先定义元数据。 定义您的数据结构,包括数据目录、数据库、表。请参考创建数据库和表。 创建必要的存储桶来存储作业运行过程中产生的临时数据:作业
程序包管理概述 在执行DLI作业前需要将UDF Jar包或Jar作业程序包上传到云平台进行统一的管理和维护。 有以下两种方式管理程序包: (推荐使用)上传至OBS管理程序包:提前将对应的jar包上传至OBS桶中,在作业配置时选择对应的OBS路径。 (DLI程序包功能即将停用)上传
示例数据。如果是迁移已有的Hive数据库和表数据,则可以通过以下命令获取Hive的数据库和表信息。 在Hive客户端执行如下命令获取数据库信息 show databases 切换到需要迁移的Hive数据库 use Hive数据库名 显示当前数据库下所有的表信息 show tables