检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
什么是数据血缘关系？ 大数据时代，数据爆发性增长，海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息，通过联姻融合、转换变换、流转流通，又生成新的数据，汇聚成数据的海洋。 数据的产生、加工融合、流转流通，到最终消亡，数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关
图解数据治理中心DataArts Studio
DLI SQL 功能 通过DLI SQL节点传递SQL语句到DLI SQL中执行，实现多数据源分析探索。 原理 该节点方便用户在数据开发模块的周期与实时调度中执行DLI相关语句，可以使用参数变量为用户的数仓进行增量导入，分区处理等动作。 参数 用户可参考表1，表2和表3配置DLI
环境变量、作业参数、脚本参数有什么区别和联系？ 问题描述 环境变量、作业参数、脚本参数之间的区别与联系，需要具体举例说明下，便于用户理解。 解决方案 工作空间环境变量参数、作业参数、脚本参数均可以配置参数，但作用范围不同；另外如果工作空间环境变量参数、作业参数、脚本参数同名冲突，调用的优先级顺序为：作业参数
表达式#{Loop.dataArray[0][0]}。 图9 For Each节点属性 配置完成后保存作业。 测试运行主作业 单击主作业画布上方的“测试运行”按钮，测试作业运行情况。主作业运行后，会通过For Each节点自动调用运行子作业。 单击左侧导航栏中的“实例监控”，进入实例监控中查看作业运行结果。
已完成用户同步，将IAM上的用户信息同步到数据源上，详见同步IAM用户到数据源。 新建DWS脱敏策略前，已完成如下操作： 已在管理中心创建数据仓库服务（DWS）类型的数据连接，请参考创建DataArts Studio数据连接。 已完成用户同步，将IAM上的用户信息同步到数据源上，详见同步IAM用户到数据源。
SQL脚本“top_bad_comment_product”。 Finish（Dummy节点）：不执行任何操作，只作为结束点的标识。 作业编排完成后，单击，测试运行作业。 如果作业测试运行正常，单击右侧的“调度配置”，配置作业的调度策略。 图10 调度配置 说明： 调度方式：本示例中选择“周期调度”。 调度属
DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办？ 为什么在创建数据连接的界面上MRS Hive/HBase集群不显示？ DWS数据连接开启SSL时测试连接失败怎么办？ 一个空间可以创建同一数据源的多个连接吗？ 连接方式应该选择API连接还是代理连接？ 如何将一个空间的数据开发作业和数据连接迁移到另一空间？
APIG专享版：如果您需要将API发布到APIG专享版上，则您需要提前在API网关服务上购买一个APIG实例。实例创建后，有一个默认API分组，系统为分组自动分配一个内部测试用的调试域名，此调试域名唯一且不可更改，每天最多可以访问1000次。如果您不希望与其他API共享此规格，可以在APIG控制台新建一个API
CDM集群与其他云服务的网络互通，只有企业项目一致的云服务才能打通网络。 操作场景 DataArts Studio实例中已经包含一个仅用于测试、试用等非正式业务场景的CDM集群（试用版除外）。 如果该集群已经满足您的使用需求，则无需再购买批量数据迁移增量包。 如果您需要CDM集群
OBS Manager 约束限制 该功能依赖于OBS服务。 功能 通过OBS Manager节点可以将OBS文件移动或复制到指定目录下。 参数 用户可参考表1，表2和表3配置OBS Manager节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含
节点调度次数/天增量包。其中数据开发作业的每天调度次数，是以节点（包含Dummy节点）为粒度进行度量的，另外补数据任务也会计入度量次数，但测试运行、失败重试不会计入。例如某作业包含2个DWS SQL节点和1个Dummy节点，每天00:00开始执行，隔10小时调度一次，当天额外进行
通知管理”中配置了作业异常/失败的SMN通知，但却收不到作业失败的告警通知。 图1 通知管理 解决方案 此时可按以下步骤依次排查： 确认失败作业为调度中的作业。测试运行的作业是不发通知的，只有调度中的作业才会发SMN通知。 在“运维调度 > 通知管理”中查看此作业的通知配置开发是否为打开状态。 登录S
因此用户同步任务为DataArts Studio实例级别配置，各工作空间之间数据互通。 前提条件 新建用户同步任务前，已在管理中心创建数据仓库服务（DWS）或MapReduce服务（MRS Ranger）类型的数据连接，请参考创建DataArts Studio数据连接。 新建用
关联质量规则 当您完成表的新建和发布后，您可以在表中关联质量规则。在“配置中心 > 功能配置”页面中的“模型设计业务流程步骤 > 创建质量作业”勾选的情况下，完成质量规则的关联后，表发布后就会在DataArts Studio数据质量中自动创建质量作业，如果当前表已经发布，则系统会自动更新质量作业。
点，执行命令cat /etc/hosts，可以列出所有节点的IP和域名。 测试网络连接。 在DataArts Studio工作空间下创建数据连接，并创建实时集成作业，选择对应数据连接和资源组进行连通性测试，详情请参考创建实时集成作业。 通过云专线连通网络 通过VPN连通网络 通过公网连通网络
主机地址：已开通ECS主机中开通的ECS主机的IP地址。 绑定Agent：已开通批量数据迁移增量包中开通的CDM集群。 单击“测试”，测试数据连接的连通性。如果无法连通，数据连接将无法创建。 测试通过后，单击“确定”，创建数据连接。 开发Python脚本 在“数据开发 > 脚本开发”模块中创建一个Py
在CDM集群管理界面，单击集群后的“作业管理”，选择“连接管理 > 新建连接”，进入连接器类型的选择界面，如图3所示。 图3 选择连接器类型 连接器类型选择“数据仓库服务（DWS）”后单击“下一步”配置DWS连接参数，必填参数如表2所示，可选参数保持默认即可。 表2 DWS连接参数 参数名 说明 取值样例
"fd_value" : "" }, { "fd_name" : "description", "fd_value" : "这是一个测试用例。" } ] } 响应示例 状态码： 200 Success { "data" : { "value" : {
”、或分隔符“|”进行分隔。 约束与限制 新建随机脱敏或字符替换类型的脱敏算法时，如果选择将敏感数据脱敏为样本库脱敏，则测试算法时限制样本文件大小不能超过10kb。注意，10kb仅为算法测试功能的限制，静态脱敏时并不限制样本文件大小不超过10kb。 样本文件大小建议不超过10MB，否则运行需要解
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
