检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源端为HDFS JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
配置PostgreSQL源端参数 支持从云端的数据库服务导出数据。 这些非云服务的数据库，既可以是用户在本地数据中心自建的数据库，也可以是用户在ECS上部署的，还可以是第三方云上的数据库服务。 表1 PostgreSQL作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数
MySQL数据迁移到OBS 操作场景 CDM支持表到OBS的迁移，本章节以MySQL-->OBS为例，介绍如何通过CDM将表数据迁移到OBS中。流程如下： 创建CDM集群并绑定EIP 创建MySQL连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口，以及AK、SK。
新建表/文件迁移作业 操作场景 CDM可以实现在同构、异构数据源之间进行表或文件级别的数据迁移，支持表/文件迁移的数据源请参见支持的数据源。 约束限制 记录脏数据功能依赖于OBS服务。 作业导入时，JSON文件大小不超过1MB。 单文件传输大小不超过1TB。 配置源端和目的端参数时，字段名不可包含&和%。
脚本及作业中引用参数使用介绍 该章节介绍如何在脚本及作业中引用参数，以及引用后的生效范围、是否支持EL表达式和简易变量集等，让您更加清晰地了解工作空间级和脚本、作业级配置参数的使用方法。 工作空间环境变量参数、作业参数、脚本参数均可以配置参数，但作用范围不同；另外如果工作空间环境
配置DIS源端参数 消息体中的数据是一条类似CSV格式的记录，可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。 作业中源连接为DIS连接时，源端作业参数如所表1示。 表1 DIS作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 DIS通道 DIS的通道名。
Kafka连接 介绍 通过Kafka连接器可以与开源的Kafka数据源建立连接，并按照用户指定配置将Kafka中的数据迁移到其它数据源。目前仅支持从Kafka导出数据。 连接样例 { "links": [ { "link-config-values":
PostgreSQL同步到DWS 源端优化 SQLServer抽取优化 暂无优化配置项。 目的端优化 DWS写入优化 可通过在DWS的目的端配置中修改写入相关配置，且可以通过单击高级配置的“查看编辑”按钮，添加高级属性。 图1 添加高级属性 表1 DWS写入优化参数 参数名 类型
Oracle同步到DWS 源端优化 Oracle抽取优化 暂无优化配置项。 目的端优化 DWS写入优化 可通过在DWS的目的端配置中修改写入相关配置，且可以通过单击高级配置的“查看编辑”按钮，添加高级属性。 图1 添加高级属性 表1 DWS写入优化参数 参数名 类型 默认值 说明
配置HDFS源端参数 作业中源连接为HDFS连接时，即从MRS HDFS、FusionInsight HDFS、Apache HDFS导出数据时，源端作业参数如表1所示。 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。
配置DWS源端参数 作业中源连接为DWS连接时，源端作业参数如表1所示。 表1 DWS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，
合理配置基线承诺时间和预警余量 本章节介绍如何合理的配置基线承诺时间和预警余量。 基线运维能够及时捕捉导致任务无法按时完成的异常情况并提前预警，保障复杂依赖场景下重要数据能在预期时间内顺利产出。 基线承诺时间是任务运行成功的最晚时间点。即面向数据应用，任务承诺在该时间点前完成。如
CloudTable OpenTSDB连接参数说明 连接CloudTable OpenTSDB时，相关参数如表1所示。 表1 CloudTable OpenTSDB连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 TSDB_link
数据质量监控简介 数据质量监控DQC（Data Quality Control）模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行、跨源和跨表的分析。数据质量支持对离线数据的监控，当离线数据发生变化时，数
配置告警规则 操作场景 通过设置实时集成作业的告警规则，用户可自定义监控目标与通知策略，及时了解作业状况，从而起到预警作用。 设置作业的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置实时集成作业告警规则的具体方法。 配置一键告警
返回结果 请求发送以后，您会收到响应，包含状态码、响应消息头和消息体。 状态码 请求发送以后，您会收到响应，包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码，状态码表示了请求响应的状态，完整的状态码列表请参见状态码。 对于获取用户Token接口，如果调用后
如何选择增量包 DataArts Studio采用基础包+增量包的计费模式。如果购买的基础包无法满足您的使用需求，则您需要额外购买增量包。 DataArts Studio增量包 当前DataArts Studio支持的增量包如表1所示。 表1 增量包介绍 增量包类型 增量包说明 购买场景说明
PostgreSQL同步到DWS 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 PostgreSQL数据库（PostgreSQL 9.4、9.5、9.6、10、11、12、13、14版本） DWS集群（8.1.3、8.2.0版本） 数据库账号权限要求
数据安全治理维度 根据DSMM评估模型，可以从组织建设、制度流程、技术工具、人员能力四个维度开展数据安全治理能力建设工作。 图1 数据安全能力建设工作 组织建设 数据安全组织架构是数据安全治理体系建设的前提条件。通过建立专门的数据安全组织，落实数据安全管理责任，确保数据安全相关工作能够持续稳定的贯彻执行。
开发并调度Import GES作业 本章节介绍通过数据开发调用数据集成作业，将MySQL原始数据定期同步到OBS和MRS Hive中，并标准化为GES点/边数据集。然后基于标准化点/边数据集，自动生成图的元数据，实现最终将图数据（点数据集、边数据集和元数据）定期导入到GES服务中。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
