检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
逆向数据库（维度建模） 通过逆向数据库，您可以将其他数据源的数据库中的表导入到指定的模型中。 前提条件 在逆向数据库之前，请先在DataArts Studio数据目录模块中对数据库进行元数据采集，以便同步数据目录时可以同步成功，否则同步数据目录将执行失败。有关数据目录元数据采集的具体操作，请参见配置元数据采集任务。
Shell/Python节点执行失败，后台报错session is down 本指导以Shell算子为例。 问题现象 Shell节点运行失败了，实际上Shell脚本运行成功了。 原因分析 获取Shell节点的运行日志。 [2021/11/17 02:00:36 GMT+0800]
离散小时调度与作业最近依赖调度逻辑 数据开发当前支持两种调度依赖策略：传统周期调度依赖和自然周期调度依赖。 传统周期调度依赖的详细信息请参见传统周期调度。 自然周期调度依赖的详细信息请参见自然周期调度。 随着用户业务的演进，自然周期调度中，增加了许多新的调度规则，如离散小时调度，
脚本开发流程 脚本开发功能提供如下能力： 提供在线脚本编辑器，支持进行SQL、Shell、Python等脚本在线代码开发和调测。 支持导入和导出脚本。 支持使用变量和函数。 提供编辑锁定能力，支持多人协同开发场景。 支持脚本的版本管理能力，支持生成保存版本和提交版本。 保存版本时
同步IAM用户到数据源 默认情况下，用户通过DataArts Studio数据连接访问数据源（此处指MRS/DWS数据源）时，使用数据连接中的账号密码进行认证。为实现不同用户访问数据源时，能够根据其自身用户信息管控用户访问数据的权限，需要先将IAM上的用户信息同步到数据源上，然后
配置入口API算子 入口API算子是API工作流的入口，工作流发布后可通过调用入口API来调用API工作流。在入口API算子内需定义API工作流的名称、URL、参数协议、请求方式、审核人、安全认证以及请求参数。 表1 入口API算子 参数 说明 API名称 入口API名称即API工作流名称。
如何选择版本 请您根据您所需的功能和规格，慎重选择DataArts Studio版本。 购买版本后，无法直接降级版本。如已购买企业版，无法直接降级到初级版，您需要采取先备份数据，然后退订原有实例，购买新实例，最后迁移备份数据到新实例的方式来实现版本降级。 如果您的业务量不断增长，
实时集成作业监控 实时集成作业监控提供了对实时处理集成作业的状态进行监控的能力。 实时处理集成作业处理实时的连续数据，主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线，每个节点配置独立的、节点级别的调度策略，而且节点启动的任务可以永不下线。在实时作业里，带箭头的
新增字段操作指导 操作场景 作业参数配置完成后，将进行字段映射的配置，您可以通过字段映射界面的可自定义新增字段。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。
正则表达式分隔半结构化文本 在创建表/文件迁移作业时，对简单CSV格式的文件，CDM可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连
新增字段操作指导 操作场景 作业参数配置完成后，将进行字段映射的配置，您可以通过字段映射界面的可自定义新增字段。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。
正则表达式分隔半结构化文本 在创建表/文件迁移作业时，对简单CSV格式的文件，CDM可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连
新增字段操作指导 操作场景 作业参数配置完成后，将进行字段映射的配置，您可以通过字段映射界面的可自定义新增字段。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。
终端节点Endpoint 获取终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。 数据治理中心的终端节点Endpoint构造规则如下，请您根据业务需要选择对应区域的终端节点。 CDM数据集成接口：cdm.{region_id}.myhuaweicloud
CDM迁移近一个月的数据 备HBase集群中约10TB数据，最近一个月新增的数据量约60TB，总共约70TB。H公司安装的云专线为20GE端口，支持CDM超大规格的集群（cdm.xlarge），综合考虑迁移时间、成本、性能等，这里使用2个CDM超大规格集群并行迁移。CDM集群规格如表1所示。
配置API调用流控策略 操作场景 DataArts Studio数据服务的API流量控制基于指定规则对API的访问流量进行调节控制的限流策略，能够提供多种维度的后端服务保护功能。当前API流控支持通过用户、应用和时间段等不同维度限制API的调用次数。 为了提供持续稳定的服务，您需
贸易数据上云场景介绍 使用云数据迁移（Cloud Data Migration，简称CDM）将本地贸易统计数据导入到OBS，再使用数据湖探索（Data Lake Insight，简称DLI）进行贸易统计分析，帮助H咨询公司以极简、极低成本构建其大数据分析平台，使得该公司更好地聚焦业务，持续创新。
Oracle到MRS Hudi参数调优 源端优化 Oracle抽取优化 暂无优化配置项。 目的端优化 Hudi写入优化 Hudi表写入性能慢，优先审视表设计是否合理，建议使用Hudi Bucket索引的MOR表，并根据实际数据量配置Bucket桶数，以达到Migration写入性能最佳。
审批中心 对于简单模式工作空间，当前支持开发者在提交脚本和作业时，由指定审核人进行审批。审批中心可以对单据审批进行统一管理，对审批人进行工作空间级的配置和维护。 约束与限制 仅当前工作空间的管理员或者拥有DAYU Administrator、Tenant Administrato
配置MySql源端参数 支持从MySQL导出数据。 表1 MySQL作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
