检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
问题案例总览 表1 问题案例总览 类型 相关文档 网络打通 数据源和资源组网络不通如何排查？ 网络打通 数据源安全组放通哪些端口可满足Migration访问？ Hudi 如何配置Hudi Compaction的Spark周期任务？ DWS MySQL到DWS实时同步中，同步新增列的DDL时报错怎么办？
复制脚本 本章节主要介绍如何复制一个脚本。 前提条件 已完成脚本开发，请参见开发脚本。 操作步骤 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。
击其所在行的“编辑”。此时显示“空间信息”页面。在“空间信息”页面，您可以参考表1修改工作空间的相关参数，最后单击“确定”保存修改的配置。 值得注意的是，与新建工作空间相比，编辑工作空间不支持修改标签（详见添加/编辑标签），支持添加工作空间成员（详见添加工作空间成员和角色）和配置工作空间配额（详见设置工作空间配额）。
配置Rest Client源端参数 表1 Rest Client作为源端时的作业参数 参数 说明 取值样例 数据请求地址 数据请求的地址。 /data/query 请求方法 请求方法，GET/POST。 GET 请求体 请求方法为POST时显示该参数。 请求体，json格式。 是
如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后，系统支持再重试。 当节点运行超时导致的失败不会重试时，您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后，后续节点处理策略 是 节点执行失败后的操作： 终止后续节点执行计
移动作业/作业目录 您可以通过移动功能把作业文件或作业目录从当前目录移动到另一个目录。 前提条件 已完成作业开发。如何开发作业，请参见开发Pipeline作业。 操作步骤 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts
Studio基础包仅支持包年包月计费方式。 实例名称 DataArts Studio-test 自定义DataArts Studio实例名称。实例名称不支持修改，请提前合理规划。 可用区 可用区1 选择DataArts Studio实例可用区，即数据集成CDM集群所在可用区。DataArts St
Server PostgreSQL 支持从云端的数据库服务导出数据。 这些非云服务的数据库，既可以是用户在本地数据中心自建的数据库，也可以是用户在ECS上部署的，还可以是第三方云上的数据库服务。 从这些数据源导出数据时，CDM使用JDBC接口抽取数据，源端作业参数相同，详细请参见配置PostgreSQL/SQL
Studio基础包仅支持包年包月计费方式。 实例名称 DataArts Studio-test 自定义DataArts Studio实例名称。实例名称不支持修改，请提前合理规划。 可用区 可用区1 选择DataArts Studio实例可用区，即数据集成CDM集群所在可用区。DataArts St
实例ID可参考如下步骤进行获取： 在DataArts Studio控制台首页，选择对应工作空间，并单击任一模块，如“管理中心”。 进入管理中心页面后，从浏览器地址栏中获取“instanceId”和“workspace”对应的值，即为DataArts Studio的实例ID和工作空间ID。 如图2所示
t_model_name。 2、target_model_id与dw_type不对应时，会找不到模型，提示：模型不存在。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/design/workspaces/{model_id}/transform
数据质量 质量作业和对账作业有什么区别？ 如何确认质量作业或对账作业已经阻塞？ 如何手工重启阻塞的质量作业或对账作业？ 怎样查看质量规则模板关联的作业？ 用户在执行质量作业时提示无MRS权限怎么办？
如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后，系统支持再重试。 当节点运行超时导致的失败不会重试时，您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后，后续节点处理策略 是 节点执行失败后的操作： 终止后续节点执行计
选择解决方案包含的作业。 单击“确定”，新建的解决方案将在左侧目录中显示。 编辑解决方案 在解决方案目录中，右键单击解决方案名称，选择“编辑”，修改名称和作业。 导出解决方案 在解决方案目录中，右键单击解决方案名称，选择“导出”，导出zip格式的解决方案文件至本地。 导入解决方案 导入
击其所在行的“编辑”。此时显示“空间信息”页面。在“空间信息”页面，您可以参考表1修改工作空间的相关参数，最后单击“确定”保存修改的配置。 值得注意的是，与新建工作空间相比，编辑工作空间不支持修改标签（详见添加/编辑标签），支持添加工作空间成员（详见添加工作空间成员和角色）和配置工作空间配额（详见设置工作空间配额）。
PI授权给账号使用。添加白名单授权后，从IAM服务获取的授权账号及其归属用户的Token才能通过安全认证，成功调用API。 本章节为您介绍如何通过白名单授权将API授权给账号。 约束与限制 对于数据服务共享版IAM认证方式的API，系统已默认记录了当前账号的白名单，不支持删除，因
配置RestApi源端参数 表1 RestApi作为源端时的作业参数 参数类型 参数名 说明 是否必须填 取值样例 基本参数 数据请求地址 数据请求地址。 是 /api/getUsers 请求方法 请求方法，支持GET/POST。 是 GET 请求体 请求方法为POST时显示该参数。
创建主题(新)。 10800 120 修改主题(新) 修改主题(新)。 10800 120 主题层级接口 表11 主题层级接口 API 说明 API流量限制（次/min） 用户流量限制（次/min） 获取主题层级 获取主题层级。 21600 240 修改或删除主题层级 修改或删除主题层级。 10800
作业执行机制默认以启动作业的用户身份执行该作业。如果作业被低权限的用户启动，也会因为权限不足导致作业执行失败，您可通过配置调度身份来解决该问题。 约束限制 创建或修改委托需要用户具有Security Administrator权限。 配置工作空间级的调度身份，需要用户具有DAYU Administrator或者Tenant
性可以考虑设置为false关闭compaction操作，将Hudi Compaction单独拆成Spark作业交由MRS执行，具体可以参考如何配置Hudi Compaction的Spark周期任务？。 compaction.delta_commits int 40 实时处理集成生成compaction
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
