检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
订阅实时数仓Binlog Binlog使用介绍 当用户需要捕获数据库事件用于数据增量导出Flink等第三方组件，并协同完成数据加工等任务时，DWS实时数仓中的HStore表提供了Binlog功能，通过消费Binlog数据来实现上下游的数据同步，提高数据加工的效率。 传统的数据比如
S价格详情。 快照服务依赖及部署说明： 快照管理功能依赖于OBS、NFS的备份介质。 备份设备为NFS的备份介质时，使用挂载盘的方式，依赖云上SFS-Tubor服务。具体配置步骤请参见11.1.3.2-自动快照策略配置备份介质。 当前快照恢复到新集群时仅支持OBS介质。 Gaus
在集群列表中，单击指定集群名称进入“集群详情”页面，在集群详情界面查看集群所在VPC与子网网段。 登录虚拟私有云管理控制台，在左侧导航栏选择“我的VPC”，找到需要建立对等连接的VPC。 在虚拟私有云左侧导航栏下选择“对等连接”，在页面右上角单击“创建对等连接”。 在弹出页面中选择“本端VPC”
准备环境 已创建DWS集群，需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内，确保集群网络互通。 创建MRS分析集群 登录华为云控制台，选择“大数据 > MapReduce服务”，单击“购买集群”，选择“自定义购买”，填写软件配置参数，单击“下一步”。 表1 软件配置
通过，通过后可进行下一步变更操作，详情请参见查看巡检。 在“节点规格”中可以选择一个当前集群支持调整的规格。调整后的集群与原集群的虚拟私有云、子网和安全组相同。 在“调整到”中可以设置新集群的节点数量。 如果集群规格磁盘大小可选择，还可以选择磁盘存储类型，以及每节点可用磁盘存储容量。
参考。 准备环境 已创建3.0 DWS集群，需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内，确保集群网络互通。 已获取华为云账户的AK和SK。 约束与限制 目前仅支持对接EXTERNAL SCHEMA对应的Hive端数据库的表进行SELECT、INSERT和INSERT
折扣套餐GaussDB(DWS)资源在到期前15、7、3、1天，系统将向用户推送到期预警消息。预警消息将通过邮件、短信和站内信的方式通知到华为云账号的创建者。 到期后影响 当您的折扣套餐GaussDB(DWS)资源到期未续费，将自动转为按需计费模式，集群不会被自动释放。 父主题： 计费模式
创建集群时默认不绑定弹性IP，即不启用公网访问集群。集群创建成功后，如果用户想通过公网访问集群，可以先为集群绑定弹性IP再创建公网域名。 默认情况下，只有华为云账号或拥有Security Administrator权限的用户才具备查询委托和创建委托的权限。账号中的IAM用户，默认没有查询委托和创建委
指定子网ID，用于集群网络配置。 security_group_id 是 String 指定安全组ID，用于集群网络配置。 vpc_id 是 String 指定虚拟私有云ID，用于集群网络配置。 availability_zone 否 String 配置集群可用区。集群可用区选择详情请参见地区和终端节点。 说明：
Flink作业将分布式消息服务Kafka的消费数据实时同步至DWS数据仓库，实现Kafka实时入库到DWS的过程。 本实践预计时长90分钟，实践用到的云服务包括虚拟私有云VPC及子网、弹性负载均衡ELB、弹性云服务器ECS、对象存储服务OBS、分布式消息服务Kafka、数据湖探索DLI和数据仓库服务DWS 调优表
其他策略存在相同的规则配置。 bandwidth Integer 绑定状态： 0：未绑定 1：已绑定 vpc_id String 虚拟私有云ID。 请求示例 GET https://{Endpoint}/v2/4cf650fd46704908aa071b4df2453e1e/cl
当前多AZ集群只支持选择3个AZ。 tags 否 Array of Tags objects 标签。 vpc_id 是 String 指定虚拟私有云ID，用于集群网络配置。 subnet_id 是 String 指定子网ID，用于集群网络配置。 security_group_id 否 String
如果集群绑定了弹性IP，在删除集群时请勾选“释放与集群绑定的弹性IP”释放弹性IP，释放后公网IP即可停止计费。如果不释放弹性IP，弹性IP将仍然按照虚拟私有云（VPC）服务的弹性公网IP计费规则进行计费。 弹性负载均衡 ELB（可选） 如果集群绑定了ELB，删除集群时不会同步删除ELB，用户需去E
源的官网价。 优惠金额 用户使用云服务享受折扣优惠如商务折扣、伙伴授予折扣以及促销优惠等减免的金额。基于官网价的优惠金额。 抹零金额 华为云产品定价精度为小数点后8位（单位：元），因此在计费过程中会产生小数点后8位的资源使用费用。而在实际扣费时，仅扣除到小数点后2位，小数点后第3
t存储表导入ORC存储表。 创建MRS数据源连接。 创建外部服务器。 创建外表。 通过外表导入DWS本地表。 创建MRS分析集群 登录华为云控制台，选择“大数据 > MapReduce服务”，单击“购买集群”，选择“自定义购买”，填写软件配置参数，单击“下一步”。 表1 软件配置
Access权限 创建IAM用户凭证 配置JDBC连接使用IAM认证方式连接集群 授予IAM用户DWS Database Access权限 登录华为云管理控制台，单击“服务列表 > 管理与监管 > 统一身份认证服务”，打开IAM管理控制台。 修改您的IAM用户所属的用户组，给用户组设置策略，授予用户组DWS
导入）。 相关概念 数据源文件：存储有数据的TEXT、CSV文件。 OBS：对象存储服务，是一种可存储文档、图片、影音视频等非结构化数据的云存储服务。从GaussDB(DWS)并行导出数据时，数据对象放置在OBS服务器上。 桶（Bucket）：对OBS中的一个存储空间的形象称呼，是存储对象的容器。
gtm-free的任一方法开启。 设置非GTM-Free模式时，enable_gtm_free 必须设置为off。 GTM-Free模式仅在混合云与ESL场景设置后生效。 defer_xid_cleanup_time 参数说明：指定实时数仓中GTM-Lite模式下全局OldestXmi
) ; 为这些表加载样例数据。 OBS存储桶中提供了本次实践的样例数据。该存储桶向所有经过身份验证的云用户提供了读取权限。请按照下面的步骤加载这些样例数据： 为每个表创建对应的外表。 GaussDB(DWS)应用Postgres提供的外部数据封装器FDW（Foreign
请根据实际替换。 ACCESS_KEY和SECRET_ACCESS_KEY是云账号体系访问OBS服务的密钥。请根据实际替换。 DLI_ACCESS_KEY和DLI_SECRET_ACCESS_KEY是云账号体系访问DLI服务的密钥。请根据实际替换。 认证用的AK和SK硬编码到代码
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
