检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
”用来标识常量值。 变量 您可以使用时间宏、表名宏、版本宏等变量来标记数据库来源信息。变量的语法:${variable},其中“variable”指的是变量。例如“input_time”=“${timestamp()}”用来标识当前时间的时间戳。 表达式 您可以使用表达式语言根据
子表对父表的映射关系,可以有以下四种取值: 1:表示每条子表数据在父表中有且只有一条数据与之对应。 0,1:表示每条子表数据在父表中最多有一条数据与之对应。 0..n:表示每条子表数据在父表中可能有多条数据与之对应。 1..n:表示每条子表数据在父表中至少有一条数据与之对应。 *父对子 父表对子表的映射关系,可以有以下四种取值:
已经开通了云搜索服务,且获取云搜索服务集群的IP地址和端口。 已获取本地Elasticsearch数据库的服务器IP、端口、用户名和密码。 如果Elasticsearch服务器是在本地数据中心或第三方云上,需要确保Elasticsearch可通过公网IP访问,或者是已经建立好了企业
源端选中表的行数,单击右侧表行数(${2_1})表示目的端表行数。此处配置告警条件为${1_1}!=${2_1},表示当左侧表行数与右侧表行数不一致时,触发报警并显示报警状态。 单击“下一步”,配置订阅信息,如下图所示。 勾选触发告警表示作业报警时发送通知到对应的smn主题,勾选
单任务SQL查询结果展示支持表格和列表两种展示方式。单击“风格配置”,在“编辑器配置”里面可以对SQL查询结果展示进行配置。 支持通过“责任人”和“更新时间”进行过滤查询,方便快速过滤出最近更新的作业。 作业开发支持细粒度权限管控,在数据安全模块对数据开发作业目录权限管控策略进行配置。 支持单
及解决方案。帮助您快速建立起基本数据安全体系,保障数据使用过程的安全可靠。 约束与限制 当前仅支持MRS数据源的安全诊断能力。 安全诊断的扫描任务超时时间为1小时。 数据权限控制诊断项,空间管理员与安全管理员仅统计用户,不统计用户组成员。 诊断数据安全风险 数据安全诊断当前支持敏
aes128-sha1”。 如果选择集群后连接失败,请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件: DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。
参数 说明 同步模式 增量同步:从指定时间位点开始同步增量数据。 全量+增量:先同步全量数据,随后实时同步增量数据。 时间 增量同步需要设置该参数,指示增量同步起始的时间位点。 说明: 配置的位点时间早于CDC日志最早时间点时,默认会以日志最新时间点开始消费。 监控作业。 通过单击作
消息编号。 action 否 Integer 执行动作。0=立刻执行, 1=定期执行。 time 否 String 使用截止时间。仅定期执行需要此参数,默认服务器当前时间三天后。 响应参数 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_code String
化处理技术,使用CDM迁移数据的优势如表1所示。 表1 CDM优势 优势项 用户自行开发 CDM 易使用 自行准备服务器资源,安装配置必要的软件并进行配置,等待时间长。 程序在读写两端会根据数据源类型,使用不同的访问接口,一般是数据源提供的对外接口,例如JDBC、原生API等,因
常见配置举例如下: connectTimeout=600000与socketTimeout=300000:迁移数据量较大、或通过查询语句检索全表时,会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间(单位ms),避免超时导致失败。 tinyInt1isBit=false或mysql
称及其涵义体现了指标质的规定性和量的规定性两个方面的特点,指标数值反映了指标在具体时间、地点、条件下的数量表现。 指标定义用于指导指标开发,用于定义指标的设置目的、计算公式等,并不进行实际运算,可与指标开发进行关联。而指标开发是指标定义的具体实现,定义了指标如何计算。指标定义好之后,最终会同步到资产。
aes128-sha1”。 如果选择集群后连接失败,请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件: DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。
期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 是否压缩
工具类对象。 作业对象:提供了获取作业中上一个节点的输出消息、作业调度计划时间、作业执行时间等属性和方法。 工具类对象:提供了一系列字符串、时间、JSON操作方法,例如从一个字符串中截取一个子字符串、时间格式化等。 语法 表达式的语法: #{expr} 其中,“expr”指的是表
Kafka连接 介绍 通过Kafka连接器可以与开源的Kafka数据源建立连接,并按照用户指定配置将Kafka中的数据迁移到其它数据源。目前仅支持从Kafka导出数据。 连接样例 { "links": [ { "link-config-values":
该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“
单文件传输大小不超过1TB。 配置源端和目的端参数时,字段名不可包含&和%。 前提条件 已新建连接,详情请参见创建CDM与数据源之间的连接。 CDM集群与待迁移数据源可以正常通信。 操作步骤 进入CDM主界面,单击左侧导航上的“集群管理”,选择集群后的“作业管理”。 选择“表/文件迁移
实例绑定的安全组的出方向放开后端服务地址与API调用监听端口。 如果API的前后端服务与专享版实例绑定了相同的安全组、相同的虚拟私有云,则无需专门为专享版实例开放上述端口。 路由配置 在物理机纳管场景下,如果物理机纳管网段与集群网段不一致,需要配置路由。 进入集群“基本信息”页面
流量限制的时长。 与“API流量限制”配合使用,表示单位时间内的单个API请求次数上限。 与“用户流量限制”配合使用,表示单位时间内的单个用户请求次数上限。 与“应用流量限制”配合使用,表示单位时间内的单个APP请求次数上限。 API流量限制 单个API被调用次数上限。 与“时长”配合