检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同时,可以对逻辑实体进行创建及发布,进行逆向数据库等操作。 关系建模:基于关系建模,新建SDI层和DWI层两个模型。 SDI:Source Data Integration,又称贴源数据层。SDI是源系统数据的简单落地。
vpc_id String 虚拟私有云id,可在当前虚拟私有云列表中获取。 security_group_id String 安全组id,可在当前安全组列表中获取。 eps_id String 企业项目ID,获取方法请参见项目ID和账号ID。
databases Array of strings 数据库名称数组。
databases String 数据库名,当存在多个值时以逗号分隔。 sql String 自定义规则中的SQL脚本。 tables String 表名,当存在多个值时以逗号分隔。 reference_tables String 对照表名,当存在多个值时以逗号分隔。
databases Array of strings 数据库名称数组。
>= '2018-10-10 00:00:00' and _timestamp < '2018-10-11 00:00:00' 或者 _timestamp between '2018-10-10 00:00:00' and '2018-10-11 00:00:00' 如果源端数据库是
企业项目管理是一种按企业项目管理云资源的方式,具体请参见《企业管理用户指南》。 如果已经创建了企业项目,这里才可以选择。
这里“添加新字段”的功能,要求源端数据源为:MongoDB、HBase、关系型数据库或Redis,其中Redis必须为Hash数据格式。 全部字段添加完之后,检查源端和目的端的字段映射关系是否正确,如果不正确可以拖拽字段调整字段位置。 单击“下一步”后保存作业。
其中jar包必须包括: java-sdk-core-x.x.x.jar commons-logging-1.2.jar joda-time-2.9.9.jar 在“build.gradle”文件中加入okhttp库的依赖。
expression="avg(table.column)", definition="比如:按月对数据库某张表的某个字段进行均值计算。"
expression="avg(table.column)", definition="比如:按月对数据库某张表的某个字段进行均值计算。"
datasource_type String 数据源类型 HIVE数据源 DWS数据源 DLI数据源 database_name String 数据库名称。 schema_name String 模式名称。 namespace String 命名空间。
企业项目管理是一种按企业项目管理云资源的方式,具体请参见《企业管理用户指南》。 如果已经创建了企业项目,这里才可以选择。
说明: 建议仅对文件类作业或启用了导入阶段表的数据库作业配置自动重试,避免自动重试重复写入数据导致数据不一致。 如果调度CDM迁移作业时使用了参数传递,不能在CDM迁移作业中配置“作业失败重试”参数,推荐在此处配置即可。
materialization String 码表数值落库状态,只读。 publish_to_dlm String DLM API生成状态,只读。 biz_metric String 业务指标同步状态,只读。 summary_status String 统一统计状态,只读。
使用SQL语句获取的系统日期和通过数据库工具获取的系统日期是不一样,查询结果存到数据库是以YYYY-MM-DD格式,而页面显示查询结果是经过转换后的格式。 Flink SQL作业支持语法检查。在编辑器上方,单击“语法检查”,可以对SQL语句进行语义校验。
关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。
禁用作业节点名称同步变化 在作业开发界面,系统默认选择脚本或关联其他云服务的功能时会同步更新节点名称,使之与脚本或功能名称一致。当前支持配置作业节点名称是否同步变更。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
建议仅对文件类作业或启用了导入阶段表的数据库作业配置自动重试,避免自动重试重复写入数据导致数据不一致。
databases Array of strings 数据库名称数组。