检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“显示高级属性”，然后单击“添加”，您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性，可单击属性后的“删除”按钮进行删除。 Apache Kafka Apache Kafka连接适用于用户在本地数据中心或ECS上自建的第三方Kafka，其中本地数据中心的Kafka需通过专线连接。
expired. 签名过期。 签名具有一定的有效期，当前签名已过期，请重新生成签名。 请确认本地时间和实际时间是否一致。 如果本地时间是准确的，请联系相关人员确认集群节点时间，可能节点时间存在异常。 401 Verify authroization failed. 签名校验失败。
数据的迁移周期：天、小时、分钟还是实时迁移 天 - 数据源与目的数据源之间的网络带宽 100MB - 数据源和集成工具之间的网络连通性描述 本示例不涉及 - 数据库类迁移，调研表的个数，最大表的规模 本示例不涉及，本示例需要从OBS文件迁移到数据库 了解数据库迁移的作业规模，了解最大表的迁移时间是否可接受 文件类迁移
称及其涵义体现了指标质的规定性和量的规定性两个方面的特点，指标数值反映了指标在具体时间、地点、条件下的数量表现。 业务指标用于指导技术指标，用于定义指标的设置目的、计算公式等，并不进行实际运算，可与技术指标进行关联。而技术指标是对业务指标的具体实现，定义了指标如何计算。 前提条件
户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hadoop_01 单击“显示高级属性”，然后单击“添加”，您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性，可单击属性后的“删除”按钮进行删除。 父主题： 配置连接参数
startdate string 开始时间 newdate string 更新时间 minnewdate string 最小更新时间 表4 进出口商品编码信息表（hs246） 字段名称 字段类型 字段说明 id bigint 编号 hs string 商品编码 hs_cn string 商品中文名称
新建DataArts Studio与MRS Hive数据湖的连接 本章节以新建MRS Hive连接为例，介绍如何建立DataArts Studio与数据湖底座之间的数据连接。 前提条件 在创建数据连接前，请确保您已创建所要连接的数据湖（如DataArts Studio所支持的数据库、云服务等）。
查询SQL获取max值传递给CDM作业 场景描述 通过查询SQL语句，将获取到的最大时间的max值传递给CDM作业。在CDM作业的高级属性里面，通过where子句判断最大时间范围，获取所需要的迁移数据，从而完成数据迁移任务，最终完成增量迁移任务。 约束条件 已完成新建数据连接的操作。
MRS集群和CDM集群之间网络互通，网络互通需满足如下条件： CDM集群与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 CDM集群与云上服务同区域情况下，同虚拟私有云、同子网、同安全组
传统周期调度依赖，只支持同周期或者大周期依赖于小周期，不支持小周期依赖于大周期。详细说明如下： 同周期依赖，依赖时间段范围为从当前批次时间往前推一个周期。 跨周期依赖，依赖时间段范围为上一个周期时间段内。 图1 传统周期作业依赖关系全景图 自然周期调度依赖，支持同周期、跨周期（大周期依赖于小周期
connectTimeout=60与socketTimeout=300：迁移数据量较大、或通过查询语句检索全表时，会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间（单位s），避免超时导致失败。 useCursorFetch=false：CDM作业默认打开了JDBC连接器与关系型数
常见配置举例如下： connectTimeout=360000与socketTimeout=360000：迁移数据量较大、或通过查询语句检索全表时，会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间（单位ms），避免超时导致失败。 tinyInt1isBit=false或mysql
Elasticsearch/云搜索服务(CSS)连接 介绍 通过Elasticsearch连接，可以对Elasticsearch服务器或云搜索服务抽取、加载数据。 连接样例 { "links": [ { "link-config-values": {
用于传输请求的协议，支持HTTP和HTTPS协议。 请求方式 HTTP请求方法（也称为操作或动词），它告诉服务你正在请求什么类型的操作。 GET：请求服务器返回指定资源。 POST：请求服务器新增资源或执行特殊操作，注册API时推荐使用。POST请求当前不支持body体，而是直接透传。 描述 对API进行简要描述。
String 时间过滤左边界，与end_time一起使用，只支持时间范围过滤，单边过滤无效。格式遵循RFC3339，精确到秒，UTC时区，即yyyy-mm-ddTHH:MM:SSZ，如1970-01-01T00:00:00Z。 end_time 否 String 时间过滤右边界，与beg
7以下版本，此驱动版本不支持多IP连接数据库服务器。 CLICKHOUSE_0_4_2：适用于连接ClickHouse 20.7及以上版本，支持多IP连接数据库服务器。 说明： 选择CLICKHOUSE_0_4_2驱动版本时，支持的timestamp数据的时间范围最小为1970-01-01 08:00:00。
MySQL与DWS字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。 字段类型映射规则 源端为MySQL，目的端为DWS时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 表1 MySQL > DWS支持的字段类型
Mamager和TaskManager日志，便于用户查看实时同步情况，并通过日志定位或排查异常问题。 前提条件 实时集成作业已正常运行一段时间（约5分钟）。 操作步骤 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts
bucket_2 写入目录 写入数据到OBS服务器的目录，目录前面不加“/”。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts
常见配置举例如下： oracle.net.CONNECT_TIMEOUT：连接超时时间， 默认60000，单位为毫秒。 oracle.jdbc.ReadTimeout：Socket read timeout超时时间， 默认 300000，单位为毫秒。 60000 连接私密属性 可选参数，单击“显示高级属性”后显示。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
