检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过API工具调用无认证方式的API 无认证方式的API可以通过API工具直接调用，无需获取认证信息。 无认证方式建议仅在测试接口时使用，不推荐正式使用。若调用方为不可信任用户，则存在数据库安全风险（如数据泄露、数据库高并发访问导致宕机、SQL注入等风险）。 本章节以Postma
配置MongoDB源端参数 表1 MongoDB作为源端时的作业参数 参数类型 参数名 说明 是否必须填 取值样例 基本参数 数据库 输入或选择数据库名称，单击输入框后面的按钮可进入集合的选择界面。 是 default 集合名 输入或选择集合名，单击输入框后面的按钮可进入集合的选择界面。
最小化权限授权实践 实践场景及目标 某数据运营工程师专职负责数据质量监控相关工作，仅需要服务数据质量组件的操作权限。 图1 权限体系 服务的权限体系如图1所示。如果项目管理员直接赋予该数据运营工程师IAM账号“DAYU User系统角色+工作空间开发者角色”权限，则会出现如下非必需权限过大的风险：
DDS连接参数说明 DDS连接适用于华为云上的文档数据库服务，常用于从DDS同步数据到大数据平台。 连接云服务DDS时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 DDS连接参数 参数名
通过浏览器调用无认证方式的API 当无认证方式的API入参位置在Query或Path时，支持直接通过浏览器调用。 无认证方式建议仅在测试接口时使用，不推荐正式使用。若调用方为不可信任用户，则存在数据库安全风险（如数据泄露、数据库高并发访问导致宕机、SQL注入等风险）。 本章节以C
数据开发调用数据质量算子并且作业运行的时候需要传入质量参数 由于数据质量作业在执行SQL语句时不支持传参，通过数据开发调用数据质量算子，运行的时候可以把数据质量作业的参数传递给数据质量算子作业，实现数据质量的参数传递。 使用场景 数据质量需要传递参数到数据质量算子作业里面并且能够正常运行。
数据指标应用 创建完数据指标的相关数据后，请前往数据架构模块，进行数据集市建设，新建数据集市层并发布汇总表。汇总表能够引用指标管理里的指标，发布后进行指标结果物化。 本示例中，先创建汇总表所需的主题，汇总表依赖于主题架构，然后创建汇总表，汇总表名称为地区坪效比汇总表。 创建主题详细信息请参见数据架构的主题设计。
步骤4：元数据采集 为了在DataArts Studio平台中对迁移到云上的原始数据进行管理和监控，我们必须先在DataArts Studio数据目录模块中对SDI贴源层数据进行元数据采集并监控。 采集并监控元数据 在DataArts Studio控制台首页，选择对应工作空间的“数据目录”模块，进入数据目录页面。
配置HBase 目的端参数 表1 HBase作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实
定义数据分类 当数据密级已经无法满足大数据量下的数据分级分类诉求时，您可以进一步为不同价值的数据定义数据分类，以更好地管理和分组计量自己的数据，让各类各组之间属于并列、平等并且互相排斥的关系，使数据更清晰。本章主要介绍如何定义数据分类。 值得注意的是，数据密级、数据分类和识别规则，均为DataArts
源端为对象存储 JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
Oracle同步到DWS作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 Oracle数据库（10、11、12、19版本） DWS集群（8.1.3、8.2.0版本） 数据库账号权限要求 在使用Migration进行同步时，源端和目的端所使用
Oracle到MRS Hudi参数调优 源端优化 Oracle抽取优化。 暂无优化配置项。 目的端优化 Hudi写入优化。 Hudi表写入性能慢，优先审视表设计是否合理，建议使用Hudi Bucket索引的MOR表，并根据实际数据量配置Bucket桶数，以达到Migration写入性能最佳。
通过API工具调用APP认证方式的API APP认证方式的API接口可以分别绑定不同的应用，安全级别最高。如果您需要API工具调用APP认证方式的API，则需要先通过JavaScript SDK包中的demo.html手动生成认证信息，再使用API工具调用。 本章节以Postma
开发并调度Import GES作业 本章节介绍通过数据开发调用数据集成作业，将MySQL原始数据定期同步到OBS和MRS Hive中，并标准化为GES点/边数据集。然后基于标准化点/边数据集，自动生成图的元数据，实现最终将图数据（点数据集、边数据集和元数据）定期导入到GES服务中。
分库连接参数说明 分库指的是同时连接多个后端数据源，该连接可作为作业源端，将多个数据源的数据合一迁移到其他数据源上。连接参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 分库连接参数 参数名 说明
配置Doris目的端参数 表1 Doris作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。
配置Hudi源端参数 表1 MRS Hudi作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hudi表名。单击输入框后面的按钮可进入表的选择界面。 该参
步骤9：服务退订 本开发场景中，DataArts Studio、OBS、MRS和DWS服务均会产生相关费用。在使用过程中，如果您额外进行了通知配置，可能还会产生以下相关服务的费用： SMN服务：如果您在使用DataArts Studio各组件过程中开启了消息通知功能，则会产生消息
DLI SQL 功能 通过DLI SQL节点传递SQL语句到DLI SQL中执行，实现多数据源分析探索。 原理 该节点方便用户在数据开发模块的周期与实时调度中执行DLI相关语句，可以使用参数变量为用户的数仓进行增量导入，分区处理等动作。 参数 用户可参考表1，表2和表3配置DLI
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
