检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图2 集群列表 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 创建MySQL连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图3所示。
security/member-sync-tasks 响应示例 状态码: 200 OK { "tasks" : [ { "cluster_id" : "c94a9133-ef65-47ad-9483-bfa8c5eaa101", "cluster_name" : "dws_ssl
SSL加密:是否开启,请与源端DWS集群的配置保持一致。 连接方式:选择“通过代理连接”。 手动:选择“集群名”模式,“IP”和“端口”不需要手动填写。 DWS集群名:选择所创建的DWS集群。 KMS密钥:选择一个KMS密钥,使用KMS密钥对敏感数据进行加密。
如需新建资源队列,请参考以下方法: 单击,进入DLI的“队列管理”页面新建资源队列。 前往DLI管理控制台进行新建。 说明: 当子用户在创建作业时,子用户只能选择已经被分配的队列。
DORIS SQL 功能 通过Doris SQL节点传递SQL语句到Doris中执行。 参数 用户可参考表1和表2配置Doris SQL节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符
DWS SQL 功能 通过DWS SQL节点传递SQL语句到DWS中执行。 DWS SQL算子的具体使用教程,请参见开发一个DWS SQL脚本作业。 背景信息 该节点方便用户在数据开发模块的批处理作业和实时处理作业中执行DWS相关语句,可以使用参数变量为用户的数据仓库进行增量导入,
RDS SQL 功能 通过RDS SQL节点传递SQL语句到RDS中执行。 参数 用户可参考表1和表2配置RDS SQL节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为
MRS集群为非安全集群、且未限制命令白名单时,在Hive SQL执行过程中,添加application name信息后,则可以方便的根据脚本名称与执行时间在MRS的Yarn管理界面中根据job name找到对应任务。
GBase SQL 功能 通过GBase SQL节点传递SQL语句到GBase中执行。 参数 用户可参考表1和表2配置GBase SQL节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符
对于评估机构推荐的量化管理级和优化级评估结论,评估工作部需组织专家对评估结果进行评议。 评估工作部对通过审查、复核或评议的,进行为期一周的公示。对公示后无异议的,由评估机构颁发数据管理能力成熟度评估证书。
MRS Hive SQL 功能 通过MRS Hive SQL节点执行数据开发模块中预先定义的Hive SQL脚本。 MRS Hive SQL节点的具体使用教程,请参见开发一个Hive SQL作业。 MRS Hive SQL节点不支持Hive的事务表。 参数 用户可参考表1,表2和表
MRS Impala SQL 功能 通过MRS Impala SQL节点执行数据开发模块中预先定义的Impala SQL脚本。 参数 用户可参考表1和表2配置MRS Impala节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字
MRS Spark SQL 功能 通过MRS Spark SQL节点实现在MRS中执行预先定义的SparkSQL语句。 参数 用户可参考表1,表2和表3配置MRS Spark SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未设置
配置MySQL/SQL Server/PostgreSQL目的端参数 当作业将数据导入到MySQL/SQL Server/PostgreSQL时,目的端作业参数如表1所示。 表1 MySQL、SQL Server、PostgreSQL作为目的端时的作业参数 参数类型 参数名 说明
配置PostgreSQL/SQL Server源端参数 作业中源连接为从云数据库 PostgreSQL、云数据库 SQL Server、PostgreSQL、Microsoft SQL Server导出的数据时,源端作业参数如表1所示。 表1 PostgreSQL/SQL Server
MRS Presto SQL 功能 通过MRS Presto SQL节点执行数据开发模块中预先定义的Presto SQL脚本。 参数 用户可参考表1,表2和表3配置MRS Presto SQL节点的参数。 表1 属性参数 参数 是否必选 说明 SQL或脚本 是 可以选择SQL语句或
配置MySQL源端参数 作业中源连接为云数据库MySQL/MySQL数据库连接时,源端作业参数如表1所示。 表1 MySQL作为源端时的作业参数 参数名 说明 取值样例 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书
配置MySql源端参数 支持从MySQL导出数据。 表1 MySQL作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的
创建DWS的数据连接 开发DWS SQL前,我们需要在“管理中心 > 数据连接”模块中建立一个到DWS的连接,数据连接名称为“dws_link”。创建DWS连接的操作请参见DWS数据连接参数说明。 关键参数说明: 集群名:环境准备中创建的DWS集群名称。