检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
目前数据集成集群支持以下部分规格供用户选择： cdm.large：大规格，8核CPU、16G内存的虚拟机，最大带宽/基准带宽为3/0.8 Gbps，集群作业并发数上限为16。 cdm.xlarge：超大规格，16核CPU、32G内存的虚拟机，最大带宽/基准带宽为10/4 Gbps，集群作业并发数上限为32，适
数据量，以提高性能。 properties.max.partition.fetch.bytes int 1048576 消费Kafka时服务器将返回的每个分区的最大字节数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 properties.max.poll
Company"); INSERT INTO dim_vendor VALUES ("2","B Company"); 单击“运行”按钮，测试脚本是否正确。 图2 运行脚本 测试通过后，单击“保存”按钮，在弹出框中输入脚本名称如：demo_taxi_dim_data，选择保存的脚本路径并单击“提交”按钮提交版本。
访问DataArts Studio实例控制台 前提条件 请参见购买DataArts Studio基础包，确认已购买DataArts Studio实例。 操作步骤 登录华为云控制台，在左上角的服务列表中选择“数据治理中心DataArts Studio”，进入DataArts Studio实例控制台。
数据连接：默认选择SQL脚本“hive_sql”中设置的数据连接，支持修改。 数据库：默认选择SQL脚本“hive_sql”中设置的数据库，支持修改。 作业编排完成后，单击，测试运行作业。 如果运行成功，单击画布空白处，在右侧的“调度配置”页面，配置作业的调度策略。 图4 配置调度方式 该作业调度时间在2021/0
数据量，以提高性能。 properties.max.partition.fetch.bytes int 1048576 消费Kafka时服务器将返回的每个分区的最大字节数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 properties.max.poll
必填参数如表1所示。 表1 MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名
使用委托为是时显示该参数。 仅涉及用于测试该连接委托功能是否正常，作业运行将根据DLF配置的调度身份执行CDM作业。 访问标识(AK) 是 “数据集成”参数开启时并且“OBS支持”设置为“是”、使用委托为否时，呈现此参数。 AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建
SQL脚本“top_bad_comment_product”。 Finish（Dummy节点）：不执行任何操作，只作为结束点的标识。 作业编排完成后，单击，测试运行作业。 如果作业测试运行正常，单击右侧的“调度配置”，配置作业的调度策略。 图10 调度配置 说明： 调度方式：本示例中选择“周期调度”。 调度属
引用符号 否 可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。默认为"。 单击“测试”，测试数据连接的连通性。如果无法连通，数据连接将无法创建。 测试通过后，单击“确定”，创建数据连接。 参考 创建RDS类型的数据连接时，需要注意哪些事项？ 创建RDS类型
共享版默认发布到API网关共享版。发布成功后，您可以在API网关服务共享版控制台上查看所发布的API。 系统为API网关共享版的默认分组自动分配一个内部测试用的调试域名，此调试域名唯一且不可更改，此调试域名每天最多可以访问1000次。如果您不希望与其他API共享此规格，可以在APIG共享版控制
数据仓库服务（DWS）连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 dws_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。
POSTGRESQL DWS DDM SAP HANA linkConfig.host 是 String 数据库服务器地址。 linkConfig.port 是 String 数据库服务器的端口号。 linkConfig.databaseconfig 否 枚举 创建Oracle连接时才有该参数，选择Oracle数据库连接类型：
创建Oracle连接 表1 Oracle连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 oracle_link 数据库服务器 数据库服务器域名或IP地址。 192.168.0.1 端口 Oracle数据库的端口。 3306 数据库连接类型 Oracle数据库连接类型。
检测网络连通性：数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性，可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试，会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。 网络连通性检测异常可先参考
回填已生成的元数据Schema所在的OBS目录。 图5 配置Import GES节点 图6 新建元数据 作业编排完成后，单击，测试运行作业。 图7 测试运行作业 如果作业运行正常，单击“调度配置”，配置作业的调度策略。 图8 调度配置 说明： 2023/04/01 00:00开始，每天00点00分执行一次作业。
客等角色，实现多角色协同开发。 空间管理 数据连接管理 通过配置数据源信息，可以建立数据连接。元数据管理支持对数据连接的创建、编辑、连通性测试以及删除；数据连接可以被采集任务、业务指标、数据质量使用。当数据连接保存的信息发生变化时，您只需在数据连接管理中编辑修改该数据连接的信息。
点，执行命令cat /etc/hosts，可以列出所有节点的IP和域名。 测试网络连接。 在DataArts Studio工作空间下创建数据连接，并创建实时集成作业，选择对应数据连接和资源组进行连通性测试，详情请参考创建实时集成作业。 父主题： 数据库部署在华为云
Spark节点的主类，本例的主类是“org.apache.spark.examples.SparkPi”。 Spark程序资源包：3中创建的资源。 作业编排完成后，单击，测试运行作业。 图4 作业日志（仅参考） 如果日志运行正常，保存作业并提交版本。 父主题： 使用教程
检测网络连通性：数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性，可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试，会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。 网络连通性检测异常可先参考
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
