检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度C
监控采集任务 参数名 说明 任务名称 采集任务的名称。 实例状态 实例(即采集任务)的状态。 成功 部分成功 执行中 失败 运行异常 暂停:因管理面升级,监控任务暂停,升级完成后监控继续执行。 调度方式 展示采集任务的调度状态,分为单次调度和周期调度。 调度周期 展示采集任务的调度周期。
不同源端数据源的作业分片维度有所不同,因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数,超出规格的Task排队等待运行。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关,并发数上限
表1 DLI作为源端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 car_detail 分区
配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 cdm 密码 用户名密码。 - 使用Agent Agent功能待下线,无需配置。 - Agent Agent功能待下线,无需配置。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。
实例”,查看ClickHouseServer所在的“业务IP”。 192.168.0.1 端口 配置为要连接的数据库的端口。 说明: 如果使用Server节点,开启“SSL加密”,配置默认端口。登录MRS ClickHouse数据源所在集群的Manager页面,选择“集群 > 服务
单击子作业的打开图标,进入子作业的配置页面,配置规则信息。 基本信息:非必填项,保持默认即可。 来源对象: 规则类型:选择“表级规则”。 数据连接:选择在管理中心组件中创建的数据源连接。 数据对象:选择待统计的数据表。 其他参数保持默认即可。 规则模板: 模板名称:选择“表行数(DWS,HIVE,SparkSQL,ORACLE)”。
单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度C
新建目录(可选,如果已存在可用的目录,可以不用新建目录) 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发
量,则系统会将承诺时间-预警余量作为触发报警的预警时间,判断任务能否在预警时间前运行成功。 设置基线承诺时间和预警余量的详细信息请参见基线管理。 如何合理的配置基线承诺时间和预警余量 用户需要根据基线上任务历史一段时间内的最晚完成时间,将基线承诺时间设置在基线上任务最晚完成时间之
写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度C
getNodeStatus(String nodeName) 获取指定节点运行状态,成功状态返回success,失败状态返回fail。 例如,判断节点是否运行成功,可以使用如下判断条件,其中test为节点名称: #{(Job.getNodeStatus("test")) == "success" } 获取test节点运行状态。
以“健康码”为依托的各类政务小程序,正在加速提升市民信息化应用能力,基于数据治理、数据共享,很可能在不久以后,我们就可以实现“一码走天下”。将线上疫情应急治理体系转变为常态化管理体系,降低日常行政成本,发挥更大的数据流动与服务价值。通过自主申报健康信息,民众可获取反映健康状况的健康码,并凭码通行社区、办公楼、交通口
Administrator DLI权限同步权限 DLI权限同步时,需要该权限。 例如DLI权限同步时,如果无此权限会导致同步失败,系统提示权限不足。 DLI权限管理时必选 dli:database:grantPrivilege dli:table:grantPrivilege dli:column:grantPrivilege
不同源端数据源的作业分片维度有所不同,因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数,超出规格的Task排队等待运行。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关,并发数上限
配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 cdm 密码 用户名密码。 - 使用Agent Agent功能待下线,无需配置。 - Agent Agent功能待下线,无需配置。 - 引用符号 可选参数,连接引用表名或列名
连接里的账号是否有元数据查询的权限。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 说明: 如果配置了时间宏变量,通过DataArts
X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)使用Token认证时必选。 响应参数 状态码: 400 表3 响应Body参数 参数 参数类型 描述 error_code String 错误码。
条件时,将执行该分支。 表达式 当条件类型为“满足当前条件时”,需要根据表达式配置条件。 条件分支表达式由上游算子的节点编码和变量名组成,使用方法请参考变量表达式定义方法。 分支2 条件类型 选择条件类型。 满足当前条件时:表示传入“条件分支”的数据满足指定的表达式时,将执行该分支。
输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度C