华为云首页用户手册

MAPREDUCE服务 MRS-创建FlinkServer作业对接DWS表:前提条件

MAPREDUCE服务 MRS-创建FlinkServer作业对接DWS表:前提条件

时间：2024-11-28 20:08:10

MAPREDUCE服务 MRS 创建FlinkServer作业

前提条件

需确保FlinkServer所在集群和 GaussDB （DWS）所在集群网络互通，确保“可用区”、“虚拟私有云”、“安全组”配置相同。
FlinkServer所在集群（安全模式）：
- 集群中已安装HDFS、Yarn、Kafka、ZooKeeper和Flink服务。
- 包含Kafka服务的客户端已安装，安装路径如：/opt/client。
- 参考创建FlinkServer权限角色创建一个具有FlinkServer管理员权限的用户用于访问Flink WebUI，如：flinkuser。
待对接的GaussDB（DWS）所在集群（安全模式）：
可参考如下命令连接数据库并创建接受数据的表：

gsql -d postgres -h IP -U username –p port -W password –r
- postgres：需要连接的数据库名称。
- IP：GaussDB(DWS) 集群地址。如果通过公网地址连接，请指定为集群“公网访问域名 ”，如果通过内网地址连接，请指定为集群“内网访问域名”。如果通过弹性负载均衡连接，请指定为“弹性负载均衡地址”。
- username和password：连接数据库的用户名及密码。命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。
- port ：Coordinator的端口号，请根据实际情况替换，可使用gs_om -t status --detail查询Coordinator数据路径，在该路径下的“postgresql.conf”文件中查看端口号信息。
创建用于接受数据的空表，如表“customer_t1”：
```
CREATE TABLE customer_t1
(
    c_customer_sk             INTEGER,
    c_customer_name           VARCHAR(32)
)
with (orientation = column,compression=middle)
distribute by hash (c_customer_name);
```

上一篇：MAPREDUCE服务 MRS-创建FlinkServer作业对接DWS表:操作场景

下一篇：MAPREDUCE服务 MRS-创建FlinkServer作业对接DWS表:操作场景

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

MAPREDUCE服务 MRS-创建FlinkServer作业对接DWS表:前提条件

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题