检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击,修改节点输入功能的参数配置,修改完成后,请保存。 删除 单击,删除节点输入功能的参数配置。 查看表详情 单击,查看节点输入血缘关系创建数据表的详细信息。 输出 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM,CloudTable和DLI类型。
Administrator权限的用户,至少指定一个审批人,不能指定自己为审批人。单击“审批人管理”可以跳转到“空间管理”页面,单击“编辑”按钮可以维护审批人信息。 可以进行批量发布。发布多个待发布项时,发布流程采用异步发布,可以看到发布任务的过程,最大的发布项个数为100。 对于暂时不发布的发布项
源端数据源 作业分片原理 数据仓库 数据仓库服务(DWS) 支持按表字段分片。 不支持按表分区分片。 数据湖探索(DLI) 支持分区表的分区信息分片。 不支持非分区表分片。 Hadoop MRS HDFS 支持按文件分片。 MRS HBase 支持按HBase的Region分片。 MRS
Administrator权限的用户,至少指定一个审批人,不能指定自己为审批人。单击“审批人管理”可以跳转到“空间管理”页面,单击“编辑”按钮可以维护审批人信息。 可以进行批量发布。发布多个待发布项时,发布流程采用异步发布,可以看到发布任务的过程,最大的发布项个数为100。 单击发布后,系统会提示
输入“\t”。 , 高级参数 使用配置文件 “数据格式”选择为“CDC场景”时配置,用于配置OBS文件。 否 OBS链接 选择OBS连接器信息。 obs_link OBS桶 选择OBS桶。 obs_test 配置文件 选择OBS的配置文件。 /obs/config.csv 最大消息数/poll
0000表示请求处理成功。 error_msg String 错误信息。 状态码: 500 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。 请求示例 批量删除规则模板,模板id列
0000表示请求处理成功。 error_msg String 错误信息。 状态码: 500 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。 请求示例 创建一个规则模板名称为tes
参数类型 描述 error_msg String 返回的错误信息。 error_code String 返回的错误码。 状态码: 500 表4 响应Body参数 参数 参数类型 描述 error_msg String 返回的错误信息。 error_code String 返回的错误码。
根据事件触发执行。 cron 否 数据结构 当type为CRON时,配置调度频率、启动时间等信息,参考表10。 event 否 数据结构 当type为EVENT时,配置事件源等信息,参考表11。 表6 Param数据结构说明 参数名 是否必选 参数类型 说明 name 是 String
开启路由前建议先建好目的端索引,可提高查询效率。 否 路由字段 “开启路由”参数选择为“是”时配置,用于配置目的端路由字段。目的端索引存在但是获取不到字段信息时,支持手动填写字段。路由字段允许为空,为空时写入Elasticsearch不指定routing值。 value1 定时创索引 对于持续写
参数类型 描述 error_msg String 返回的错误信息。 error_code String 返回的错误码。 状态码: 500 表5 响应Body参数 参数 参数类型 描述 error_msg String 返回的错误信息。 error_code String 返回的错误码。
用户流量限制(次/s) 创建脚本 创建一个新脚本。 300 30 修改脚本内容 本接口用以修改脚本的配置项或者脚本内容。 300 30 查询脚本信息 此接口可以查询指定脚本的定义,包括脚本类型和脚本内容。 300 30 查询脚本列表 此接口用以查询脚本列表。 300 30 查询脚本实例执行结果
通过本示例,用户可以了解数据开发模块EL表达式的如下应用: 如何在数据开发模块的SQL脚本中使用变量? 作业如何传递参数给SQL脚本变量? 在参数中如何使用EL表达式? 背景信息 使用数据开发模块的作业编排和作业调度功能,每日通过统计交易明细表,生成日交易统计报表。 本示例涉及的数据表如下所示: trade_log:记录每一笔交易数据。
表。如果“表名”参数配置的表已存在,则不创建,数据写入到已存在的表中。 说明: Hbase自动建表包含列族与协处理器Coprocessor信息。其他属性按默认值设置,不跟随源端。 不自动创建 Row key拼接分隔符 可选参数,用于多列合并作为rowkey,默认为空格。 , Rowkey冗余
EVENT: 根据事件触发执行。 cron 否 数据结构 当type为CRON时,配置调度频率、启动时间等信息,参考表10。 event 否 数据结构 当type为EVENT时,配置事件源等信息,参考表11。 表6 Param数据结构说明 参数名 是否必选 参数类型 说明 name 是 String
0000表示请求处理成功。 error_msg String 错误信息。 状态码: 500 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。 请求示例 无 响应示例 状态码: 200
0000表示请求处理成功。 error_msg String 错误信息。 状态码: 500 表8 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。 请求示例 无 响应示例 状态码: 200
参数类型 描述 error_msg String 返回的错误信息。 error_code String 返回的错误码。 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_msg String 返回的错误信息。 error_code String 返回的错误码。
objects 版本信息列表。 表4 CdmClusterDatastoreVersion 参数 参数类型 描述 id String 版本ID。 name String 版本名称。 flavors Array of CdmClusterFlavor objects 规格信息。 表5 CdmClusterFlavor
0000表示请求处理成功。 error_msg String 错误信息。 状态码: 500 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。 请求示例 更新规则模板名称为test的