检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 创建Oracle连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图1所示。
//obs-tongji/python/out 其中: obs://obs-tongji/python/wordcount.py为脚本存放路径; obs://obs-tongji/python/in.txt为wordcount.py的传入参数路径,可以把需要统计的单词写到里面;
配置为:OBS channel 是 String DIS通道名称。 通过DIS管理控制台获取通道名称: 登录管理控制台。 单击“数据接入服务”,左侧列表选择“通道管理”。 通道管理页面中列出了用户拥有的通道。
通道管理中列出了用户拥有的通道。
配置为:OBS channel 是 String DIS通道名称。 通过DIS管理控制台获取通道名称: 登录管理控制台。 单击“数据接入服务”,左侧列表选择“通道管理”。 通道管理页面中列出了用户拥有的通道。
另外,如果您已有开启公网入口的APIG专享版或ROMA Connect实例,也可以选择将API发布到APIG专享版或ROMA Connect实例上,通过APIG专享版或ROMA Connect实例提供公网访问通道。 父主题: 数据服务
"guid" : "7f1038f1-66c7-4002-b53e-f9dcf429fdf9", "code" : null, "tenantId" : "0833a5737480d53b2f25c010dc1a7b88-workspace-
图2 配置MRS Flink节点属性 参数设置说明: --Flink作业名称 wordcount --MRS集群名称 选择一个MRS集群 --运行程序参数 -c org.apache.flink.streaming.examples.wordcount.WordCount -
", "datasource_type" : "HIVE", "cluster_id" : "dc425074-26b3-479c-9e2f-b103c0cdd90f", "cluster_name" : "mrs_3x_autotest_do_not_del",
", "table_name" : "aaaa", "table_id" : "NativeTable-39dc19fb17034ab39e46ebe0420c6202-bigdatatest-aaaa", "user_groups" : "DataArts User"
], "name": "fromJobConfig" } ] } 参数说明 参数 是否必选 类型 说明 fromJobConfig.streamName 是 String DIS的通道名
如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 前提条件 已创建CDM集群。 已拥有EIP配额,才能绑定EIP。 操作步骤 登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。
创建MRS Hive连接器 MRS Hive连接适用于MapReduce服务,本教程为您介绍如何创建MRS Hive连接器。 前提条件 已创建CDM集群。 已获取MRS集群的Manager IP、管理员账号和密码,且该账号拥有数据导入、导出的操作权限。 MRS集群和CDM集群之间网络互通
基础与网络连通配置 SSL加密 是 DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。您可以通过服务器端是否强制使用SSL连接进行设置。 开关打开,即只能通过SSL方式进行通信。 开关关闭,SSL通道加密和证书认证两种方式均可进行通信。
数据服务管控实现在数据服务开发过程中服务标准、规范、要求和管理的落实,数据服务打通数据应用和数据消费的物理通道。 数据安全在数据开发过程中完成数据安全的IT实现,以达成数据应用过程中安全管理规范的要求。
CDC(DRS):以DRS格式解析源数据。 CDC(JSON):以JSON格式解析源数据。 CDC(DRS_AVRO):以DRS_AVRO格式解析源数据。 CDC(DRS_JSON):以DRS_JSON格式解析源数据。
C a376573fe8aa3a636a6d123926ddc3dca11748b289b8c2c16a5056830a095acb Android c19175d736f05b1945dab4675df19311834ede0d9b1978b11b50c86687baf85c
实时数据接入 DIS 使用实时数据接入通道,可实现跨空间作业调度。若使用数据通道连接,可以向其他账号的DIS通道发送消息;若不使用,仅能给本账号下所有region的通道发送消息。 Rest Client 通过Rest Client执行一个RESTful请求。
C a376573fe8aa3a636a6d123926ddc3dca11748b289b8c2c16a5056830a095acb Android c19175d736f05b1945dab4675df19311834ede0d9b1978b11b50c86687baf85c
在导入作业过程中,若作业关联的数据连接、dis通道、dli队列、GES图等在数据开发模块系统中不存在时,系统会提示您重新选择。 父主题: (可选)管理作业