检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
担压力。 在调度Shell、Python脚本时,Agent会访问ECS主机,如果Shell、Python脚本的调度频率很高,ECS主机会将Agent的内网IP加入黑名单。为了保障作业的正常调度,强烈建议您使用ECS主机的root用户将绑定Agent(即CDM集群)的内网IP加到/etc/hosts
在脚本目录顶部,单击,选择“责任人转移”。 图1 责任人转移 分别设置“当前责任人”和“目标责任人”,单击“转移”。 提示转移成功后,单击“关闭”。 相关操作 您可以根据脚本责任人筛选脚本,在脚本目录上方的搜索框输入责任人,单击放大镜图标,如下图所示。 图2 根据脚本责任人筛选脚本 父主题:
选择“数据地图 > 数据目录”,并进入“技术资产”页签。 在资产搜索输入框输入需要添加标签的数据的关键字,然后单击“搜索”,搜索结果以列表方式显示。 勾选需要添加标签的资产,单击右上角“标识”。在添加标识对话框中配置标签。 图1 添加标识 选择标识种类为标签,并配置标签,单击“确定”提交。
在另一个工作空间B,新建数据开发作业job_agent。分别选择Dummy节点和Subjob节点,选中连线图标并拖动,编排图3所示的作业。 图3 job_agent作业调度配置 Dummy节点不执行任何操作,本例选择Dummy节点用于设置Dummy节点到Subjob节点之间连线的IF条件。 Subjob节点用于
dd, -1, DAY)} 文件名前缀 文件格式为CSV格式时显示该参数。 设置文件名前缀。 文件名格式:prefix-jobname-timestamp-index。 data 压缩格式 文件格式为CSV格式时显示该参数。 选择写入文件的压缩格式。 NONE DEFLATE GZIP
取权限。 cdm 密码 用户名密码。 - 驱动版本 不同类型的关系数据库,需要适配不同的驱动。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性
在作业目录顶部,单击,选择“责任人转移”。 图1 责任人转移 分别设置“当前责任人”和“目标责任人”,单击“转移”。 提示转移成功后,单击“关闭”。 相关操作 您还可以根据作业责任人筛选作业,在作业目录上方的搜索框输入责任人,单击放大镜图标,如下图所示。 图2 根据作业责任人筛选作业 父主题:
数据目录页面。 选择“数据地图 > 总览”,单击并进入“资产报告”页面。 首次进入“资产报告”页面,需要配置资产报告任务。单击右上方的配置图标,弹出配置窗口。 依次选择生效时间、调度周期和调度具体时间,系统将按配置的时间调度运行资产报告任务,更新资产报告内容。 图2 配置资产报告任务
视情况而定,需谨慎设置,以免造成数据丢失。 图7 作业配置 在源端、目的作业配置区域,单击“显示高级属性”,在“高级属性”中,系统提供了默认值,请根据实际业务数据的格式设置各项参数。 例如,本例中根据数据源准备中的样例数据格式,源端高级属性需注意以下参数的设置,其他参数均保留默认
的参数。 单击“显示高级属性”可查看更多可选参数,具体请参见配置云数据库MySQL/MySQL数据库连接。这里保持默认,必填参数如表1所示。 表1 MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。
单击,将脚本的名称设置为“generate_trade_report”。 新建和开发作业。 在数据开发模块控制台的左侧导航栏,进入“数据开发 > 作业开发”,选择“新建作业”,新建一个名称为“job”的空作业。 进入作业开发页面,将DLI SQL节点拖至画布中,单击其图标并配置“节点属性”。
连接到文件服务器时出错。 连接到文件服务器时出错。 请联系客服或技术支持人员协助解决。 Cdm.0413 400 向文件服务器传输数据时出错。 向文件服务器传输数据时出错。 请联系客服或技术支持人员协助解决。 Cdm.0415 400 从文件服务器下载文件出错。 从文件服务器下载文件出错。
参数”怎么办? 启用细粒度认证时,DWS联通性检测报错“FATAL: Invalid username/password,login denied”怎么办? 启用细粒度认证后,在数据开发组件选择数据库时报错“Failed to obtain the database”怎么办? 为
高级属性里的参数为可选参数,默认隐藏,单击界面上的“显示高级属性”后显示。 表1 OBS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 写入数据的OBS桶名。 bucket_2 写入目录 写入数据到OBS服务器的目录,目录前面不加“/”。 该参数支持配置为时
图1 数据架构总览 我的待办 显示“我的申请”和“待我审核”的数量。 单击每一项上面统计数量将分别跳转到“我的申请”和“待我审核”页面。 资产概览 显示数据架构中所有对象的总量。 单击每个对象名称后的统计数量将跳转到该对象的管理页面。 快捷入口 显示数据架构数据治理方法的整体流程
使用Agent Agent功能待下线,无需配置。 - Agent Agent功能待下线,无需配置。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性
驱动。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 单次提交行数 可选参数,单击“显示高级属性”后显示。 指定每次批量提交的行数,根据数据目的端和
如何解决HANA集群只有部分节点和CDM集群网络互通? 问题描述 HANA集群只有部分节点和CDM集群网络互通,怎么办? 解决方案 如果HANA集群只有部分节点和CDM网络互通,为确保CDM正常连接HANA集群,则需要进行如下配置: 关闭HANA集群的Statement Rout
您可以为这些云服务下不同的资源实例分别设置标签(对于DataArts Studio而言,标签作用于其实例上),各服务产生的计费详单中都会体现这些资源实例和实例上设置的标签。如果您的业务系统是由多个不同的应用构成,为同一种应用拥有的资源实例设置统一的标签将很容易帮助您对不同的应用进行使用量分析和成本核算。
的参数。 单击“显示高级属性”可查看更多可选参数,具体请参见配置云数据库MySQL/MySQL数据库连接。这里保持默认,必填参数如表1所示。 表1 MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。