检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置增量元数据采集任务 配置、运行采集任务是构建数据资产的前提,下面举例说明如何通过配置采集任务达到灵活采集元数据的目的。 场景一:仅添加新元数据 用户的数据库中新增的数据表,采集任务仅采集新增的表。 例如新增table4的情况下: 采集前的数据表元数据:table1,table2,table3
拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,您还必须确保该云服务的实例与DataArts Studio工作空间所属
配置CDM作业字段映射 操作场景 作业参数配置完成后,将进行字段映射的配置,您可以通过字段映射界面的可自定义新增字段,也可单击操作列下创建字段转换器。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。
近30天作业实例运行失败TOP 10:查看运行异常的作业实例的详细运行记录。 运维调度 配置管理 配置管理提供如下能力: 主机连接管理。 资源管理。 环境变量配置。 作业标签管理。 委托配置。 资产备份和还原。 配置管理 管理中心 DataArts Studio提供的实例管理、工作空间管理、数据连接管理、资源迁移功能。
系统支持按照责任人配置终端订阅信息(短信、邮件、电话),配置好订阅信息后,通过通知管理功能配置作业通知任务,当作业运行异常或成功时向已配置的责任人发送通知。 前提条件 已开通消息通知服务并配置主题。按照责任人配置订阅信息前,请确保已在工作空间配置了作业告警通知主题。 配置通知 参考访问DataArts
execute failed. Please contact ECS Service. 确认其ECS的sshd_config参数如下。 原因分析:由于ssh session超时断开了,因此Shell节点失败。 解决办法 编辑ECS的/etc/ssh/sshd_config文件,添加或者更新如下两个值。
图4 创建作业 作业名称:用户自定义作业名称。 源端作业配置: 源连接名称:选择5创建的HDFS连接“hdfs_link”。 源目录或文件:配置为H公司贸易数据在本地的存储路径,可以是一个目录,也可以是单独一个文件。这里配置为目录,CDM会迁移整个目录下的文件到OBS。 文件格式
、环境变量、资源导入导出功能。 约束与限制 已完成管理中心数据搬迁。 数据开发中的通知配置、备份管理、作业标签、委托配置、默认项等数据不支持导入导出,如有涉及,请您进行手动配置同步。 导入脚本、作业、环境变量、资源功能部分依赖于OBS服务。 旧空间导出数据 请您登录控制台首页,选
在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 单击“环境变量”,在“环境变量配置”页面,配置如表1所示的变量或常量,单击“保存”。 变量和常量的区别是其他工作空间或者项目导入的时候,是否需要重新配置值。 变量是指不同的空间下取值不同,需要重新配置值,比如“工作空间名称”变量
选择是否开启HBase的预写日志机制(WAL,Write Ahead Log)。 是:开启后如果出现HBase服务器宕机,则可以从WAL中回放执行之前没有完成的操作。 否:关闭时能提升写入性能,但如果HBase服务器宕机可能会造成数据丢失。 toJobConfig.transType 否 Boolean
图3 选择连接器类型 连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数,如图5所示。 名称:用户自定义连接名称,例如“obslink”。 OBS服务器、端口:配置为OBS实际的地址信息。 访问标识(AK)、密钥(SK):登录OBS的AK、SK。 您可以通过如下方式获取访问密钥。
在ECS上调试好的shell脚本,在DLF中shell脚本执行异常,如何处理? 问题描述 在ECS上调试好的shell脚本,在DLF中shell脚本执行异常。 脚本内容是通过gsql连接dws查询某库表数据行数的。 ECS调试结果: DLF脚本运行结果: 解决方案 添加如下两条命令:
查看并修改CDM集群配置 操作场景 CDM集群已经创建成功后,您可以查看集群基本信息,并修改集群的配置。 查看集群基本信息: 集群信息:集群版本、创建时间、项目ID、实例ID和集群ID等。 节点配置:集群规格、CPU和内存配置等信息。 网络信息:网络配置。 支持修改集群的以下配置: 消息通
单击“保存”,对设置的配置项进行保存。 配置周期调度 当前作业所依赖的作业执行失败后,当前作业的处理策略是根据配置的默认策略来执行,配置默认策略操作如下。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 单击“默认项设置”,可设置“周期调度”配置项。 策略支持如下三种,系统默认配置为“取消执行”。
设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。
Studio数据连接。 配置企业模式环境隔离 配置开发、生产环境的DLI队列和DB映射配置的环境隔离。 对于DWS、MRS Hive和MRS Spark这三种数据源,如果在创建数据连接时选择同一个集群资源,则需要在同一个数据湖服务下配置两套数据库,进行开发与生产环境隔离,具体请参见DB配置。 对于
X86物理服务器或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器云主机上,从而帮助您轻松地把服务器上的应用和数据迁移到华为云。更多详情请参见主机迁移服务。 主机迁移服务 SMS 是一种P2V/V2V迁移服务,可以把X86物理服务器、私有云或公有云平台上的虚拟机迁移到华为ECS上。
作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中,您也可以自定义日志和DLI脏数据存储路径,支持基于工作区全局配置OBS桶。 约束限制 该功能依赖于OBS服务。 OBS路径仅支持OBS桶,不支持并行文件系统。 前提条件 修改工作空间的用户账号,需要满足如下任一条件:
数据集成配置 属性配置 否 其他客户端配置属性。 例如: 1. socketTimeout:配置Hive JDBC连接超时时间,单位为秒; 2. fs.defaultFS:配置HDFS元数据的NameNode URI地址; 3. hadoop.user.name:配置访问HDFS时的用户名。
数据架构配置数据搬迁 当前管理中心支持直接搬迁数据架构组件中的主题、流程、码表、数据标准、关系建模模型、维度、业务指标、原子指标、衍生指标、复合指标和汇总表数据,但不包含事实表数据。 您可以通过管理中心配置数据搬迁进行搬迁,也可以参考本章节通过数据架构的导入导出功能进行搬迁。 数