检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS数据迁移到DLI服务 操作场景 数据湖探索（Data Lake Insight，简称DLI）提供大数据查询服务，本章节介绍使用CDM将OBS的数据迁移到DLI，使用流程如下： 创建CDM集群 创建DLI连接 创建OBS连接 创建迁移作业 前提条件 已经开通了OBS和DLI，并且当前用户拥有
环境变量、作业参数、脚本参数有什么区别和联系？ 问题描述 环境变量、作业参数、脚本参数之间的区别与联系，需要具体举例说明下，便于用户理解。 解决方案 工作空间环境变量参数、作业参数、脚本参数均可以配置参数，但作用范围不同；另外如果工作空间环境变量参数、作业参数、脚本参数同名冲突，调用的优先级顺序为
查看敏感数据分布 本章主要介绍如何查看敏感数据发现结果以及手工修正。 查看敏感数据发现结果：敏感数据识别任务完成后，需要查看任务的运行结果。 手工修正：发现敏感数据后，您必须根据具体情况进行手工修正，通过对任务中的识别规则进行“确认”，使规则状态变更为“有效”，才能使该识别规则在静态脱敏任务中生效
数据集成配置数据搬迁 当前管理中心支持直接搬迁数据集成组件中的CDM作业及其中的连接数据。 您可以通过管理中心配置数据搬迁进行搬迁，也可以参考本章节通过CDM组件的导入导出功能进行搬迁。 数据集成数据搬迁依赖于CDM的批量导入导出作业功能。 CDM上支持导出的数据包括配置的连接和作业
步骤2：数据开发处理 本步骤通过BI报表原始数据，分析10大用户关注最多的产品和10大用户评价最差的商品，然后通过作业定期调度执行并将结果每日导出到表中，以支撑信息分析。 分析10大用户关注最多的产品 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，
数据服务专享版集群正式商用后，如何继续使用公测期间创建的数据服务专享版集群和API？ 华为云计划于2021/07/30 00:00:00 GMT+08:00开启数据服务专享版集群商用计费。创建数据服务专享版集群和专享版API都将产生费用，具体价格请参考该服务的计费详情页。商用计费开始后公测期间的集群将进入宽限期
诊断数据安全风险 数据安全诊断能够对数据安全能力进行全面诊断，并根据诊断结果，给出修复建议及解决方案。帮助您快速建立起基本数据安全体系，保障数据使用过程的安全可靠。 约束与限制 当前仅支持MRS数据源的安全诊断能力。 安全诊断的扫描任务超时时间为1小时。 数据权限控制诊断项，空间管理员与安全管理员仅统计用户
天任务依赖分钟任务 场景描述 每天07:15执行的天任务作业，依赖于每隔一分钟执行一次的分钟任务作业。天任务依赖所有分钟任务在自然天内的实例， 天任务会在最后一个分钟任务实例执行完成后执行。 操作步骤 创建一个分钟任务作业。（开始时间00:00，结束时间23:59，时间间隔1分钟）
管理中心配置数据搬迁 管理中心数据搬迁依赖于管理中心的资源迁移功能。 资源导入可以基于OBS服务，也支持从本地导入。支持迁移的资源包含如下业务数据： 管理中心组件中创建的数据连接。 数据集成组件中创建的CDM作业，包含作业中的CDM连接。 数据开发组件中已提交版本的脚本和作业。导出作业时默认只导出作业
如何查看表行数和库大小 在数据治理流程中，我们常常需要统计数据表行数或数据库的大小。其中，数据表的行数可以通过SQL命令或数据质量作业获取；数据库大小可以直接在数据目录组件中查看，详情请参考如下操作指导： 统计数据表行数 统计数据库大小 统计数据表行数 对于不同类型的数据源，DataArts
实例监控 作业每次运行，都会对应产生一次作业实例记录。在数据开发模块控制台的左侧导航栏，选择 “运维调度”，进入实例监控列表页面，用户可以在该页面中查看作业的实例信息，并根据需要对实例进行更多操作。 实例监控支持从“作业名称”、“创建人”、“责任人”、“CDM作业”、“节点类型”和
通过公网连通网络 本章节主要为您介绍数据库部署在其他云场景下，通过公网打通网络的方案。 图1 网络示意图 约束限制 资源组不具有公网网段，只能通过公网NAT转换成固定的弹性公网IP访问公网，且该IP不能与数据源公网IP重复。 前提条件 已购买资源组，详情请参见购买数据集成资源组。
审核中心 开发环境生成的规范建模、数据处理类任务提交后，都会存储在审核中心页面，然后在审核中心页面进行任务发布，这些任务才会在生产环境上线。 审核人员审核对象 如果您是审核人员，请使用审核人员的账号参考以下步骤审核对象。 在DataArts Studio控制台首页，选择对应工作空间的
获取SQL节点的输出结果值 当您在数据开发模块进行作业开发，需要获取SQL节点的输出结果值，并将结果应用于后续作业节点或判断时，可参考本教程获取SQL节点的输出结果。 场景说明 使用EL表达式#{Job.getNodeOutput("前一节点名")}获取的前一节点的输出结果时，输出结果为二维数组形式
IF条件判断教程 当您在数据开发模块进行作业开发编排时，想要实现通过设置条件，选择不同的执行路径，可使用IF条件判断。 本教程包含以下三个常见场景举例。 根据前一个节点的执行状态进行IF条件判断 根据前一个节点的输出结果进行IF条件判断 多IF条件下当前节点的执行策略 IF条件的数据来源于
MySQL迁移时报错“JDBC连接超时”怎么办？ 问题描述 MySQL迁移时报错：Unable to connect to the database server. Cause: connect timed out. 原因分析 这种情况是由于表数据量较大，并且源端通过where语句过滤
转移作业责任人 数据开发模块提供了转移作业责任人的功能，您可以将责任人A的所有作业一键转移到责任人B名下。 操作步骤 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发
如何配置Hudi Compaction的Spark周期任务？ 问题描述 Migration写入数据到Hudi时为了保证稳定性需要将Compaction任务单独拆成Spark作业并交给MRS执行，那么如何进行配置？ 解决方案 修改Migration实时集成作业配置。 Migration
通过公网连通网络 在配置实时同步任务前，您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在本地IDC场景下，通过公网打通网络的方案。 图1 网络示意图 约束限制
步骤7：数据质量监控 数据质量监控DQC（Data Quality Control）模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。 在DataArts Studio数据质量模块中，可以对业务指标和数据质量进行监控
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
