检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
委托：由于云各服务之间存在业务交互关系，一些云服务需要与其他云服务协同工作，需要您创建云服务委托，将操作权限委托给这些服务，让这些服务以您的身份使用其他云服务，代替您进行一些资源运维工作。 委托可以分为： 公共委托：工作空间级别的全局委托。适用于该空间内的所有作业。配置公共委托请参考配置公共委托。 作业委托：适用于
Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全的控制华为云资源的访问。关于IAM的详细介绍，请参见IAM产品介绍。 DataArts Studio仅支持基于系统角色的授权，不支持策略授权。为了实现精细的权限管控，DataArts
如果大量CDM作业同时执行，当超过当前CDM集群的并发执行作业数时，会导致作业排队，耗时提升。 建议您将迁移作业的运行时间错开，平摊在业务周期内，避免资源紧张导致迁移时间过长。 数据模型 数据迁移时，对于不同的数据结构，迁移速度也会受到一定影响。例如： 对于表迁移，宽表的迁移速度较慢，字符串类型越多（字段大小）迁移速度越慢。
如果大量CDM作业同时执行，当超过当前CDM集群的并发执行作业数时，会导致作业排队，耗时提升。 建议您将迁移作业的运行时间错开，平摊在业务周期内，避免资源紧张导致迁移时间过长。 调整抽取并发数 对于低任务量场景，调整抽取并发数是性能调优的最佳方式。CDM迁移作业支持设置作业抽取并发数，同时也可以设置集群最大抽取并发数。
e”的数据表。 基础与网络连通配置 项目ID 否 适用组件勾选数据集成后，呈现此参数。 DLI服务所在区域的项目ID。 项目ID表示租户的资源，账号ID对应当前账号，IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。
信息。 type为其他类型的时候，需要通过JDBC方式连上集群，查询数据库信息。默认值为空。 queueName 否 String DLI资源队列名称，当type参数值为DLISQL时，才支持此参数。可以通过查询队列列表接口获取队列信息。默认值为空。 configuration 否
信息。 type为其他类型的时候，需要通过JDBC方式连上集群，查询数据库信息。默认值为空。 queueName 否 String DLI资源队列名称，当type参数值为DLISQL时，才支持此参数。可以通过查询队列列表接口获取队列信息。默认值为空。 configuration 否
DWS写入优化参数 参数名 类型 默认值 说明 写入模式 enum UPSERT DWS的写入模式，可在目的端配置中设置，实时处理集成作业推荐使用COPY MODE。 UPSERT：为批量更新入库模式。 COPY：为DWS专有的高性能批量入库模式。 批写最大数据量 int 50000
若关联的SQL脚本，脚本参数发生变化，可单击刷新按钮同步。 脏数据表 否 SQL脚本中定义的脏数据表名称。 脏数据属性用户不能编辑，自动从SQL脚本内容中关联推荐。 DWS脏数据表的语法：with table_name或log into table_name 匹配规则 - 设置java正则表达式，匹配DWS
数据服务通过在整个企业范围统一数据服务设计和实现的规范并进行数据服务生命周期管理，集约管理数据服务并减少数据调用和集成的开发成本。 数据安全 由于企业使用的数据资源，既有来自于内部业务系统，所有权属于企业的数据，同时也有来自外部的数据，必须将数据安全纳入数据治理的范畴，对所有企业数据要求依据数据安全等
开发周期长、效率低，不能满足业务运营决策人员的诉求。 数据运营成本高，数据未服务化，导致数据复制多、数据口径不一致，同时数据重复开发，造成资源浪费。 数据创新的挑战 企业内部存在大量数据孤岛，导致数据不共享、不流通，无法实现跨领域的数据分析与数据创新。 数据的应用还停留在数据分析
CDM集群的规格，按待迁移的数据量选择，一般选择cdm.medium即可，满足大部分迁移场景。 CDM集群的VPC必须和云搜索服务集群所在VPC一致，且推荐子网、安全组也与云搜索服务一致。 如果安全控制原因不能使用相同子网和安全组，那么需要确保安全组规则能允许CDM访问云搜索服务集群。 CDM
columnList”这2个参数）。 导出作业的JSON文件到本地，在本地手动修改JSON文件中的参数后（原理同2相同），再导回CDM。 推荐使用方法1，下面以HBase导到DWS为例进行说明。 解决方法一：CDM的字段映射界面增加字段 获取源端HBase待迁移的表中所有的字段，列族与列之间用“:”分隔，例如：
默认选择SQL脚本中设置的数据库，支持修改。 运行程序参数 否 为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等），用于优化资源使用效率，提升作业的执行性能。 说明： 若集群为MRS 1.8.7版本或MRS 2.0.1之后版本，需要配置此参数。 表2 高级参数 参数
驱动包下载地址：https://www.oracle.com/database/technologies/appdev/jdbc-downloads.html，推荐使用ojdbc8的12.2.0.1版本。 说明： 如果需要更新驱动文件，则需要先在数据集成页面重启CDM集群，然后通过编辑数据连接的方式重新选择新版本驱动，更新驱动才能生效。
全量模式为异步分片写入Hoodie，适用于一次全量写入场景。 微批模式为异步分批写入Hoodie，适用于对入库时间SLA要求较为严格的场景，以及对资源消耗较小，对MOR表存储类型在线进行压缩的场景。 说明： 运行-失败重试期间不允许修改此模式。 是 批次数据大小 “全量模式写Hoodie
success：运行成功 fail：运行失败 skip：跳过 pause：暂停 manual-stop：取消 queue 是 String DLI资源队列名称。 说明： 在返回响应中，仅DLI SQL或者DLI SPARK算子会返回DLI队列名称。 planTime 是 Long 作业实例计划执行时间。
type为DLI SQL时，可以通过查看所有数据库接口获取数据库信息。 type为其他类型的时候，必选。 queueName 是 String DLI资源队列名称，当type参数值为DLI SQL时，才支持此参数。可以通过查询队列列表接口获取队列信息。默认值为空。 configuration
信息。 type为其他类型的时候，需要通过JDBC方式连上集群，查询数据库信息。默认值为空。 queueName 是 String DLI资源队列名称，当type参数值为DLISQL时，才支持此参数。可以通过查询队列列表接口获取队列信息。默认值为空。 configuration 否
续不可再次通过管理控制台界面获取。请在生成后妥善保管。 - 密钥(SK) - 项目ID DLI服务所在区域的项目ID。 项目ID表示租户的资源，账号ID对应当前账号，IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
