检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
cdc的avro格式需要在Kafka上游的业务程序中引入GDS-Kafka-common和GDS-Kafka-source的maven依赖,然后在代码中创建并填充Record对象,一个Record对象表示一条表记录,最后将Record对象序列化为byte[]数组生产至Kafka供下游的GDS-Kafka使用。
py文件中的集群公网访问地址、集群端口号、数据库名称、数据库用户名、数据库密码。 PyGreSQL接口不提供重试连接的能力,您需要在业务代码中实现重试处理。 1 2 3 4 5 conn = pgdb.connect(host='10.154.70.231',
集群不支持跨区域访问OBS桶数据。 <Access_Key_Id>和<Secret_Access_Key>替换为实际值,在准备工作获取。 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 创建外表如果提示“ERROR: schema
record 备注:pg_get_keywords返回一组关于描述服务器识别SQL关键字的记录。word列包含关键字。catcode列包含一个分类代码:U表示通用的,C表示列名,T表示类型或函数名,或R表示保留。catdesc列包含了一个可能本地化描述分类的字符串。 pg_get_ruledef(rule_oid)
输入:INSERT FIRST 图10 输出:INSERT FIRST INSERT(使用表别名) Oracle表别名通过为查询中的表分配名称或代码,用于声明和提高可读性。INSERT with Alias可与INSERT INTO语句一起使用。DSC可迁移含有表别名的INSERT INTO语句。
开发指南>GUC参数> 连接和认证> 通信库参数 审计日志增强(8.2.1.100),增加object对象名、字段名、操作类型、返回记录数、错误代码记录列。 新增GUC参数audit_object_details控制审计日志中是否记录object_details字段,该字段为审计语句中的表名、列名以及列使用的类型
配置Oracle数据源连接 数据从Oracle迁移到GaussDB(DWS),首先要配置Oracle数据源连接。 操作步骤 在CDM管理控制台的“集群管理”页面,单击集群操作列的“作业管理”,选择“连接管理 > 驱动管理”。 单击“ORACLE”右侧的“上传”,选择Oracle驱
数据库管理 关系型数据库包含一组表,这些表可以依照数据关系模型来操作。关系型数据库包含一组数据对象,用于存储、管理和访问数据对象,包括表、视图、索引、函数等。 创建数据库 在“对象浏览器”窗格中右键单击“数据库”组,选择“创建数据库”。 弹出“创建数据库”对话框,提示您提供创建数据库所需信息。
py文件中的集群公网访问地址、集群端口号、数据库名称、数据库用户名、数据库密码。 psycopg2接口不提供重试连接的能力,您需要在业务代码中实现重试处理。 1 2 3 4 5 conn = psycopg2.connect(host='10.154.70.231'
"dws:openAPITag:getResourceTag", 支持: 项目(Project) 企业项目(Enterprise Project) 编辑标签 "dws:tag:edit" "dws:*:get*", "dws:*:list*", "dws:openAPITag:update"
配置DWS数据源连接 参见创建CDM集群先完成CDM集群创建并绑定弹性IP。 确保CDM集群与DWS集群在同一个区域、虚拟私有云下,以保证网络互通。 在CDM管理控制台的“集群管理”页面,单击集群操作列的“作业管理”,选择“连接管理 > 新建连接”。 连接器类型选择“数据仓库服务(DWS)”,单击“下一步”。
清除资源 当完成本教程的示例后,如果您不再需要使用本示例中创建的资源,您可以删除这些资源,以免资源浪费或占用您的配额。 删除外表和目标表 (可选)如果执行了导入数据后查询数据,请执行以下命令,删除目标表。 1 DROP TABLE product_info; 执行以下命令,删除外表。
与其他云服务的关系 与统一身份认证服务的关系 数据仓库服务使用统一身份认证服务(Identity and Access Management,简称IAM)实现认证和鉴权功能。 需要拥有DWS Administrator权限的用户才能完整使用数据仓库服务。如需开通该权限,请联系拥有Security
性能统计 在数据库的运行过程中,会涉及到锁的访问、磁盘IO操作、无效消息的处理,这些操作都可能是数据库的性能瓶颈,通过GaussDB(DWS)提供的性能统计方法,可以方便定位性能问题。 输出性能统计日志 参数说明:对每条查询,以下4个选项控制在服务器日志里记录相应模块的性能统计数据,具体含义如下:
性能统计 在数据库的运行过程中,会涉及到锁的访问、磁盘IO操作、无效消息的处理,这些操作都可能是数据库的性能瓶颈,通过GaussDB(DWS)提供的性能统计方法,可以方便定位性能问题。 输出性能统计日志 参数说明:对每条查询,以下4个选项控制在服务器日志里记录相应模块的性能统计数据,具体含义如下:
创建外表 在GaussDB(DWS)数据库中创建一个Hadoop外表,用来访问存储在MRS HDFS文件系统上的Hadoop结构化数据。Hadoop外表是只读的,只能用于查询操作,可直接使用SELECT查询其数据。 前提条件 已创建MRS集群,并将数据导入Hive/Spark数据库中的ORC表。
创建外部服务器 创建HDFS外部服务器的操作步骤如下: 手动创建外部服务器 使用数据库管理员通过GaussDB(DWS)提供的数据库客户端连接默认数据库postgres。 例如:通过gsql客户端登录数据库的用户可以使用以下两种方法中的一种进行连接: 可以通过以下两种方法中的一种进行连接:
OBS / HDFS / DLI GS_138110058 错误码: Invalid option %s. 解决方案:此上下文中的有效选项为:%s。 level: ERROR GS_138110072 错误码: Need type option for the server. 解决方案:此处的有效选项为:%s。
系统管理函数 配置设置函数 通用文件访问函数 服务器信号函数 快照同步函数 咨询锁函数 复制函数 资源管理函数 内存管理函数 其它函数 父主题: 函数和操作符
清除资源 当完成本教程的示例后,如果不再需要使用本示例中创建的资源,可以删除这些资源,以免资源浪费或占用配额。步骤如下: 删除外表和目标表 删除创建的外部服务器 删除数据库及其所属的用户 如果您执行了(可选)新建用户及数据库并授予外表权限中的步骤,请删除数据库及其所属的用户。 删除外表和目标表