检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
yBatis方式API,系统将默认赋值返回量。如果需要获取特定分页数据,您可以添加如下参数设置分页,其中pageSize表示分页后的页面大小,pageNum表示页码。 https://xx.xx.xx.xx/getContestantInfo/2?query=1&pageSize=100&pageNum=1
该参数支持配置正则表达式,实现导出满足规则的所有数据库。 SCHEMA_EXAMPLE 表名 “使用SQL语句”选择“否”时,显示该参数,表示要抽取的表名。 单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者
移量”。 说明: 表名支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有表(要求表中的字段个数和类型都一样)。例如: table*表示导出所有以“table”开头的表。 *table表示导出所有以“table”结尾的表。 *table*表示表名中只要有“table”字符串,就全部导出。
不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。 您可以在“作业监控 > 实时集成作业监控”页面查看实时处理作业的运行状态、运行时间、运行耗时等信息,以及进行如表1所示的操作。 图1 实时集成作业监控 表1 实时集成作业监控支持的操作项 序号
移量”。 说明: 表名支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有表(要求表中的字段个数和类型都一样)。例如: table*表示导出所有以“table”开头的表。 *table表示导出所有以“table”结尾的表。 *table*表示表名中只要有“table”字符串,就全部导出。
不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。 您可以在“作业监控 > 实时作业监控”页面查看实时处理作业的运行状态、开始执行时间、结束执行时间等信息,以及进行如表1所示的操作。 图1 实时作业监控 表1 实时作业监控支持的操作项 序号 支持的操作项
置,配置后导入前根据where条件删除目的表的数据。 age > 18 and age <= 60 高级属性 先导入阶段表 导入目的表之前是否把数据先导入阶段表,如果成功导入阶段表,则从阶段表导入到目的表,这样避免导入过程失败,在目的表遗留部分成功数据。 如果选择“是”,则启用事
yBatis方式API,系统将默认赋值返回量。如果需要获取特定分页数据,您可以修改如下参数设置分页,其中pageSize表示分页后的页面大小,pageNum表示页码。 图4 分页参数设置 自定义分页的脚本/MyBatis方式API是在创建API时将分页逻辑写到取数SQL中,因此不支持在调用时修改分页设置。
Kafka抽取优化。 可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。 图1 添加自定义属性 可使用的调优参数具体如下: 表1 全量阶段优化参数 参数名 类型 默认值 说明 properties.fetch.max.bytes int 57671680 消费Kaf
imeliness表示及时性,Validity表示有效性,Accuracy表示准确性,Consistency表示一致性。 type String 规则类型,Field表示字段级规则,Table表示表级规则,Database表示库级规则,Cross-field表示跨字段级规则,Customize表示自定义规则。
配置Oracle目的端参数 表1 Oracle作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
Array of strings 字段名称信息,格式:表名称.字段名称。 cal_exp String 计算表达式,形如'${table_id.column_id} > 1',其中table_id表示引用字段所属表ID,column_id表示引用字段ID。 cal_fn_ids Array
的作业仅支持查看7天内的监控指标。 实时集成作业已正常运行一段时间(约10分钟)。 支持的监控指标 实时处理集成作业支持的监控指标如表1所示。 表1 实时处理集成作业支持的监控指标 指标名称 指标含义 取值范围 测量对象 监控周期(原始指标) 源库WAL抽取时延 该指标用于统计当前从源库抽取WAL的时延
的值)使用Token认证时必选。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 permission_actions Array of strings 权限操作列表。 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_code
引用脚本模板和参数模板的使用介绍 使用场景 该功能适用于以下场景: Flink SQL脚本可以引用脚本模板。 在pipeline作业开发中,MRS Flink Job节点可以使用引入了脚本模板的Flink SQL脚本,同时在MRS Flink Job节点的“运行程序参数”里面可以引用参数模板。
配置权限详见配置权限集或配置角色。 DWS联通性测试前,已完成用户同步,然后将当前登录账号切换为IAM子用户账号,且至少具有DWS Database Access权限。 已经为MRS Hive连接和MRS SPARK连接中的用户配置了代理权限,请参考参考:为MRS数据连接用户配置代理权限进行配置。
目的端作业参数说明 目的端为关系数据库 目的端为OBS 目的端为HDFS 目的端为Hive 目的端为HBase/CloudTable 目的端为DDS 目的端为Elasticsearch/云搜索服务 目的端为DLI 目的端为DIS 父主题: 附:公共数据结构
源端作业参数说明 源端为关系数据库 源端为对象存储 源端为HDFS 源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务
HANA目的端参数 表1 SAP HANA作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
Kafka抽取优化。 可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。 图1 添加自定义属性 可使用的调优参数具体如下: 表1 全量阶段优化参数 参数名 类型 默认值 说明 properties.fetch.max.bytes int 57671680 消费Kaf