检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio或KPS使用KMS加密时,会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息,请参见什么是默认密钥。 绑定Agent 是 DWS为非全托管服务,DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Stu
字符串类的参数直接填写字符串,例如:str1 数值类的参数直接填写数值或运算表达式。 参数配置完成后,在作业中的引用格式为:${参数名称} 编辑参数表达式 在参数值文本框后方,单击,编辑参数表达式,更多表达式请参见表达式概述。 修改 在参数名和参数值的文本框中直接修改,修改完成后,请保存。
数据仓库服务(DWS)连接参数说明 连接数据仓库服务(DWS)时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 数据仓库服务(DWS)连接参数 参数名 说明 取值样例 名称 连接的名称,根
改密码或者更换用户,密码不会立即生效且作业会运行失败。 MRS Hive 用户具有MRS Hive连接的表的访问权限时,才能在字段映射时看到表。 MRS Hive连接适用于华为云上的MapReduce服务。MRS Hive的连接参数如表1所示。 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2
PostgreSQL数据源如何手动删除复制槽? 问题描述 PostgreSQL数据源不会自动删除复制槽,当复制槽数达到上限时,无法执行新的作业,需要手动删除复制槽。 原因分析 PostgreSQL数据源不会自动删除复制槽。 解决方案 登录作业使用的源数据库。 查询同步任务选择的database对象所对应的流复制槽名称。
符串中字段的值。 图1 表达式示例 EL表达式在数据开发过程中被广泛应用,您可以参考最佳实践查看更多应用EL表达式的进阶实践。 调试方法介绍 下面介绍几种EL表达式的调试方法,能够在调试过程中方便地看到替换结果。 后文以#{DateUtil.now()}表达式为例进行介绍。 使用DIS
场景:使用CDM先将MySQL中的某张表(表的某个字段值中包含了换行符\n)导出到CSV格式的文件中,然后再使用CDM将导出的CSV文件导入到MRS HBase,发现导出的CSV文件中出现了数据被截断的情况。 解决方法:指定换行符。 在使用CDM将MySQL的表数据导出到CSV文件
通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。 说明: 第一次通过DataArts Studio或KPS使用KMS加密时,会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息,请参见什么是默认密钥。 绑定Agent 是 使用集群配置为是时,是必选项。
如果原始数据表存储格式不满足要求,您可以通过CDM将原始数据直接导入到DLI中进行分析,无需上传OBS。 通过DLI分析数据 进入数据湖探索DLI控制台,参考DLI用户指南中的创建数据库创建数据库。 参考创建OBS表创建OBS外表,包括贸易统计数据库、贸易详单信息表和基础信息表。 基于
维度表 DIMENSION_TABLE_ATTRIBUTE: 维度属性 DIRECTORY: 目录 FACT_ATTRIBUTE: 事实表属性 FACT_DIMENSION: 事实表维度 FACT_LOGIC_TABLE: 事实表 FACT_MEASURE: 事实表度量 FUNCTION:
在SQL编辑器右侧,单击“基本信息”,可以配置作业的基本信息、属性和高级信息等。单任务SQL作业的基本信息如表1所示,属性如表2所示,高级信息如表3所示。 表1 作业基本信息 参数 说明 责任人 自动匹配创建作业时配置的作业责任人,此处支持修改。 执行用户 当“作业调度身份是否可配置”设置为“是”,该参数可见。
各同步场景下选择需要同步库表的方式请参考下表。 表5 选择需要同步的库表 同步场景 配置方式 单表 选择需要迁移的MongoDB集合。 图4 选择库表 配置目的端参数。 源库表和目标匹配策略。 各同步场景下源端库表和目标端库表的匹配策略请参考下表。 表6 源库表和目标匹配策略 同步场景
User账号权限的IAM用户而言,DataArts Studio工作空间角色决定了其在工作空间内的权限,当前有管理员、开发者、部署者、运维者和访客这几种预置角色可被分配,角色的权限说明请参见权限列表章节。 如果预置角色可以满足您的使用需求,则您可以跳过本章节;否则,请您按照本章节描述创建自定义角色。
场景:使用CDM先将MySQL中的某张表(表的某个字段值中包含了换行符\n)导出到CSV格式的文件中,然后再使用CDM将导出的CSV文件导入到MRS HBase,发现导出的CSV文件中出现了数据被截断的情况。 解决方法:指定换行符。 在使用CDM将MySQL的表数据导出到CSV文件
选择复合指标的数据类型。 *复合指标类型 当前支持如下几种类型。 表达式 同比增长率 环比增长率 描述 描述信息。支持的长度为0~600个字符。 表达式 *设定表达式 选择所需要的衍生指标或复合指标,并根据实际需求在“表达式”中设置表达式。 同比增长率 *同比配置 选择年同比、月同比或者周同比。
上传文件后系统开始自动导入,导入成功后系统会显示导入的情况。 图30 导入维度成功 选择“事实表”页签,选择需要导入的DWR模型,单击列表上方的“更多 > 导入”按钮,在弹出的导入窗口中,选择并上传需要导入的事实表文件。 图31 导入事实表 上传文件后系统开始自动导入,导入成功后系统会显示导入的情况。
别在于普通用户抢锁时,软锁可以任意抢锁(无论锁是否在自己手上),硬锁只能对自己持有锁的文件进行操作(包括抢锁、解锁操作)。发布、运行、调度等操作不受锁的影响,无锁也可操作。 用户可根据实际场景,配置相应的软硬锁策略。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 单
对监控项创建告警规则。 当您创建了CDM集群后,云监控服务会自动关联CDM的监控指标,帮助您实时掌握CDM集群的各项性能指标,精确掌握CDM集群的运行情况。 本章节描述了CDM上报云监控的监控指标的命名空间、监控指标列表和维度定义。 如果您需要查看CDM相关的监控指标,请参见查看CDM监控指标。
要操作的库表等),分别在开发和生产环境的数据湖服务中,新建数据库、数据库模式(仅DWS需要)、数据表等。 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),使用两套集群资源,两套环境中的数据库、数据库模式(仅DWS需要)和数据表必须保持同名。
设置禁用后,再右键单击选择“恢复”。弹出“恢复”对话框,配置如表2所示的参数。 图2 恢复操作 表2 恢复参数说明 参数 说明 上次暂停时间 节点暂停运行的起始时间。 未运行任务数 节点暂停期间没有运行的任务数量。 运行位置 “运行暂停期间任务”的参数。 表示选择节点暂停运行后,恢复运行时的启动位置。