检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
成”。 在集群管理页面，单击集群操作列“作业管理”，进入“作业管理”页面，如图1所示。 图1 集群管理 在“连接管理”页签中，单击“新建连接”，分别创建Oracle数据连接和MRS Hive数据连接，详情请参见新建Oracle数据连接和新建MRS Hive数据连接。 在“表/文件
数据连接名称。 dw_type String 数据连接类型。 dw_config Object 连接动态变化配置项，每种连接略有区别，建议在界面进行调试。 agent_id String CDM集群ID，获取方法请参见查询集群列表。 agent_name String 代理集群名称，获取方法请参见查询集群列表。
工作空间内购买的数据集成集群仍会继续计费。 启用工作空间：在“空间管理”页面，找到所需启用的工作空间，单击其所在行的状态按钮。在“启用”对话框中，如果确认启用，请单击“是”。 编辑工作空间：在“空间管理”页面，找到所需编辑的工作空间，单击其所在行的“编辑”。此时显示“空间信息”页面。在“空间信息”页面，您可以参
附加字段，并通过“自动建表”能力在目的端DWS数据库中建出相应的表。 图10 源表与目标表映射 附加字段编辑：单击操作列“附加字段编辑”可为迁移后的DWS表中增加自定义字段，同时附加字段也会额外加入到DWS表的建表中。用户可以在已有的源表字段基础上添加多个附加字段，并自定义字段名、选择字段类型、填写字段值。
中的表，Oracle连接中需要填写CDB库的用户名和密码，不能为PDB用户名和密码，因为Oracle日志统一在存储在CDB库中，同时Oracle logminer只能运行在CDB库中。 操作步骤 本小节以Oracle到MRS Hudi的实时同步为示例，介绍如何配置Migratio
数据连接下所有数据库评分的加权平均值，即：∑数据连接下所有数据库的评分/数据库的数量。 在DataArts Studio控制台首页，选择对应工作空间的“数据质量”模块，进入数据质量页面。 选择“数据质量监控 > 质量报告”。 在“技术报告”页签，选择数据连接及时间段，系统支持查询报告的最大时间范围限制为30天，如图1所示。
用数据开发按如下步骤编排作业，并定期调度。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 创建一个数据开发批处理作业，作业名称可以命名为“import_ges”。 图2 新建作业 在作业开发页面，拖动1个Dummy节点、8个CDM
表示不允许脏数据存在。如果同步过程中产生脏数据，任务将失败退出。 是：允许脏数据，即任务产生脏数据时不影响任务执行。 允许脏数据并设置其阈值时： 若产生的脏数据在阈值范围内，同步任务将忽略脏数据（即不会写入目标端），并正常执行。 若产生的脏数据超出阈值范围，同步任务将失败退出。 说明： 脏数据认定标准
、set字符类型长度在目标库会按照字节长自动扩大（因为DWS目标库为字节长）。 Oracle为源端时全量+增量或增量作业，如果需要同步PDB库中的表，Oracle连接中需要填写CDB库的用户名和密码，不能为PDB用户名和密码，因为Oracle日志统一在存储在CDB库中，同时Oracle
e界面查看所有数据连接类型，编辑时通过数据连接列表获取。 dw_config 是 Object 连接动态变化配置项，每种连接略有区别，建议在界面进行调试。 agent_id 否 String CDM集群ID，获取方法请参见查询集群列表。 agent_name 否 String 代
分区数据量多的作业，在启动时list会非常耗时，可能导致作业启动超时，建议关闭。 hoodie.index.liststatus.optimized boolean false - 定位数据时是否开启liststatus优化。涉及到大表和分区数据量多的作业，在启动时list会非常耗时，可能导致作业启动超时，建议关闭。
e界面查看所有数据连接类型，编辑时通过数据连接列表获取。 dw_config 是 Object 连接动态变化配置项，每种连接略有区别，建议在界面进行调试。 agent_id 否 String CDM集群ID，获取方法请参见查询集群列表。 agent_name 否 String 代
e界面查看所有数据连接类型，编辑时通过数据连接列表获取。 dw_config 是 Object 连接动态变化配置项，每种连接略有区别，建议在界面进行调试。 agent_id 否 String CDM集群ID，获取方法请参见查询集群列表。 agent_name 否 String 代
查看API发布信息(专享版) 功能介绍 查看API在不同集群上的发布信息。API在集群上进行过操作后会存在发布信息，例如调试、注册类发布等。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/apis/{api_id}/publish-info
鼠标按住空白处，可自由拖拽用以查看完整关系图。 鼠标光标悬停在作业节点上，该作业节点会被标记为绿色，上游作业会被标记为青蓝色，下游作业会被标记为橙黄色。 图6 上下游作业节点标记 在作业节点上右键单击，可进行查看作业、复制作业名称、收起上/下游作业等操作。 图7 作业节点操作 另外，作业的节点监控信息还可以通过作业详情查看。
从PDF文档中复制样例数据，单行的数据过长时会产生换行，需手动重新调整为单行）。 单击“文件 > 另存为”，在弹出的对话框中，“保存类型”选择为“所有文件(*.*)”，在“文件名”处输入文件名和.csv后缀，选择“UTF-8”编码格式（不能带BOM），则能以CSV格式保存该文件。
Kafka连接。 配置方法（DIS Client） 登录DataArts Studio控制台，找到所需要的DataArts Studio实例，单击实例卡片上的“进入控制台”，进入概览页面。 单击第一个工作空间A的“数据开发”，系统跳转至数据开发页面，新建数据开发作业job1。分别选择Dummy节点和DIS
对等连接。 登录DataArts Studio控制台，进入实例，单击“资源管理”进入资源管理页面。 图3 新建网络连接 在“实时网络连接”页签中单击“新建”，在弹出的“新建网络连接”对话框输入对应参数，配置参数如下表所示： 表2 新建网络连接参数 参数 说明 连接名称 填写待创建的网络连接名称。
附加字段，并通过“自动建表”能力在目的端DWS数据库中建出相应的表。 图10 源表与目标表映射 附加字段编辑：单击操作列“附加字段编辑”可为迁移后的DWS表中增加自定义字段，同时附加字段也会额外加入到DWS表的建表中。用户可以在已有的源表字段基础上添加多个附加字段，并自定义字段名、选择字段类型、填写字段值。
编辑参数表达式 在参数值文本框后方，单击，编辑参数表达式，更多表达式请参见表达式概述。 修改 在参数名和参数值的文本框中直接修改。 掩码显示 在参数值为密钥等情况下，从安全角度，请单击将参数值掩码显示。 删除 在参数值文本框后方，单击，删除作业参数。 常量 新增 单击“新增”，在文本框中填写作业常量的名称和参数值。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
