正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据开发概述 数据管理 脚本开发 作业开发 离线处理集成作业开发 实时处理集成作业开发 解决方案 运行历史 运维调度 配置管理 审批中心 下载中心 节点参考 EL表达式参考 简易变量集参考 使用教程
time_of_day 是 String 每天的可补数据时间段,如:每天的10点15分到23点30分,表示:10:15-23:30 day_of_week 否 String 每周的星期几可以补数据,如:每周一,周三的每天10点15分到23点30分 day_of_month 否 String 每个月的
购买DataArts Studio增量包 如何选择增量包 购买批量数据迁移增量包 购买数据集成资源组增量包 购买数据服务专享集群增量包 购买作业节点调度次数/天增量包 购买技术资产数量增量包 购买数据模型数量增量包 父主题: 购买并配置DataArts Studio
1508115600000 ${timestamp(-10, MINUTE)} 返回当前时间点10分钟前的时间戳。 1508115000000 ${timestamp(dateformat(yyyyMMdd))} 返回今天0点的时间戳。 1508083200000 ${timestamp(dateformat(yyyyMMdd
1508115600000 ${timestamp(-10, MINUTE)} 返回当前时间点10分钟前的时间戳。 1508115000000 ${timestamp(dateformat(yyyyMMdd))} 返回今天0点的时间戳。 1508083200000 ${timestamp(dateformat(yyyyMMdd
开发 > 作业开发”,选择“新建作业”,新建一个名称为“job”的空作业。 进入作业开发页面,将DLI SQL节点拖至画布中,单击其图标并配置“节点属性”。 图2 节点属性 关键属性说明: SQL脚本:关联1中开发完成的SQL脚本“generate_trade_report”。
规则:小时作业依赖自然天的天作业,需等天作业的前一周期执行完成后再执行。 举例:A依赖B,A小时作业依赖B天作业,A每小时整点指定,B是2:30指定,那么A作业执行会依赖前一天2点30分B作业的运行实例。 天依赖分钟 规则:按自然天,天周期作业实例依赖前一天内分钟级作业的实例。 举例:A依赖B,A为天作业,依赖B分钟作业,
cord到达结束时间,则终止抽取任务。起止时间范围左闭右开:[起始时间,结束时间)。可配合调度任务使用。 最早:表示从开始点位消费数据。 最新:表示从最后点位消费数据。已提交:拉取已提交的数据。起止时间策略,等待时间,最大抽取时间相互独立。只要有任意一个条件符合,则kafka抽取结束。
FLOAT(M,D) 不能使用无符号的浮点数字。可以定义显示长度(M)和小数位数(D)。这不是必需的,并且默认为10,2。其中2是小数的位数,10是数字(包括小数)的总数。小数精度可以到24个浮点。 FLOAT DOUBLE(M,D) 不能使用无符号的双精度浮点数。可以定义显示长度(M)和小数位数(D)。
参数名 说明 取值样例 指标 可选参数,输入指标名称,或选择OpenTSDB中已存在的指标。 city.temp 时间 可选参数,记录数据的时间点,格式为yyyyMMddHHmmdd的字符串或时间戳。 1598870800 标记 可选参数,可在这里自定义数据的标签。 tagk:tagv
实例”,查看ClickHouseServer所在的“业务IP”。 192.168.0.1 端口 配置为要连接的数据库的端口。 说明: 如果使用Server节点,开启“SSL加密”,配置默认端口。登录MRS ClickHouse数据源所在集群的Manager页面,选择“集群 > 服务 > ClickHouse
task_record参数说明 参数名 是否必选 参数类型 说明 record_time 否 Long 整时的时间点,13位时间戳。 task_completion_num 否 Long 当前时间点完成的任务数量。 请求示例 GET /v2/b384b9e9ab9b4ee8994c8633aab
Python脚本等任务的同时运行上限为200。 数据集成配置 数据库名称 是 要连接的数据库。 直连模式 否 是否直连,适用于主节点网络通,副本节点网络不通场景。 属性配置 否 自定义连接属性,当前支持socketTimeout,maxWaitTime,connectTimeou
离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 OBS终端节点 是 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息: OBS桶的Endpoint,可以进入
Studio实例。在购买DataArts Studio实例时,如需保留原有DataArts Studio实例中的资源和数据,您需要注意以下几点: 购买DataArts Studio实例的区域需和免费试用的DataArts Studio实例的区域一致。 需购买同版本或更高版本的DataArts
作业开发”。 在作业目录中选择需要的作业,右键单击作业名称,选择“前往监控”,进入作业监控界面。 图1 前往监控 在监控界面,可以查看该作业节点的日志信息、版本信息、对该作业执行调度、单击编辑或者作业名称进行作业开发界面修改作业信息等。 图2 作业监控界面 父主题: (可选)管理作业
不备份历史作业。 分组作业:选择备份某一个或多个分组下的作业。 所有作业 备份周期 选择备份周期: 日:每天零点执行一次。 周:每周一零点执行一次。 月:每月1号零点执行一次。 日 备份写入OBS连接 CDM通过该连接,将作业备份到OBS,需要用户提前在“连接管理”界面创建好OBS连接。
“偏移量参数”选择为“时间范围”时配置。拉取数据的开始时间,包含设置时间点的数据。 2020-12-20 12:00:00 结束时间(<) “偏移量参数”选择为“时间范围”时配置。拉取数据的结束时间,不包含设置时间点的数据。 2020-12-20 20:00:00 字段分隔符 “数据
这里以恢复“/hbase/data/default/table_20180811”表为例,恢复步骤如下: 进入MRS Client所在的节点,例如master1节点。 切换为omm用户。 su – omm 加载环境变量。 source /opt/client/bigdata_env 执行修改目录权限命令。
在弹出的“另存为”页面,配置如表1所示的参数。 表1 脚本目录参数 参数 说明 脚本名称 脚本的名称,只能包含字符:英文字母、数字、中文、中划线、下划线和点号,且长度小于等于128个字符。 说明: 复制后的脚本名称不能和原脚本名称相同。 选择目录 选择该脚本目录的父级目录,父级目录默认为根目录。