检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该链路目前需申请白名单后才能使用。如需使用该链路,请联系客服或技术支持人员。 Oracle同步到MRS Hudi作业配置 消息系统 DMS Kafka 对象存储:OBS DMS Kafka同步到OBS作业配置 Apache Kafka Hadoop:MRS Kafka(公测中) 说明: 该链路目前
400 无法将输入值保存到存储库 无法将输入值保存到存储库。 请联系客服或技术支持人员协助解决。 Cdm.0018 400 作业和连接内容不合法。 作业和连接内容非法。 请联系客服或技术支持人员协助解决。 Cdm.0019 400 无法删除存储库中的链接 删除存储库中的链接失败。 请稍
任务失败退出。 否 脏数据策略 “是否写入脏数据”为是时显示该参数,当前支持以下策略: 不归档:不对脏数据进行存储,仅记录到任务日志中。 归档到OBS:将脏数据存储到OBS中,并打印到任务日志中。 不归档 脏数据写入连接 “脏数据策略”选择归档到OBS时显示该参数。 脏数据要写入的连接,目前只支持写入到OBS连接。
当“开启LDAP认证”参数选择为“是”时,此参数是必选项。 填写为MRS Hive开启LDAP认证时配置的密码。 - OBS支持 需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。 否 访问标识(AK) 当“OBS支持”参数选择为“是”时,此参数是必选项。请注意,此处AK/SK对应的账号应具备OBS
fromJobConfig.inputDirectory 是 String 待抽取文件的URL。 用于读取一个公网HTTP/HTTPS URL的文件,包括第三方对象存储的公共读取场景和网盘场景。 fromJobConfig.inputFormat 是 枚举 传输数据时所用的文件格式,目前只支持二进制格式。
SequenceFile格式:UNCOMPRESSED、SNAPPY、GZIP、LZ4、BZIP2。 TextFile格式:UNCOMPRESSED。 OBS存储路径 指定OBS文件存储的路径,支持填写#{source_Topic_name}内置变量,可将源端不同的Topic的数据写入不同的路径下,例如:obs://bucket/dir/test
用户也可以单击“新建”,创建新的Agent,创建完成后单击“刷新”,选择新的Agent即可。 索引 用于存储Elasticsearch的数据,类似关系型数据库的Database。是一个或多个分片分组在一起的逻辑空间。 GES 选择图 选择存储了以“关系”为基础的结构数据的图。 绑定Agent 请选择由CDM集群提供的Agent。
CDM通过该连接,将作业备份到OBS,需要用户提前在“连接管理”界面创建好OBS连接。 obslink OBS桶 存储备份文件的OBS桶。 cdm 备份数据目录 存储备份文件的目录。 /cdm-bk/ 恢复作业 如果之前执行过自动备份,“配置管理”页签下会显示备份列表:显示备份文件所在的OBS桶、路径、备份时间。
该功能由目的端作业参数“校验MD5值”控制,读取文件后写入OBS时,通过HTTP Header将MD5值提供给OBS做写入校验,并将校验结果写入OBS桶(该桶可以不是存储迁移文件的桶)。如果源端没有MD5文件则不校验。 迁移文件到文件系统时,目前只支持校验CDM抽取的文件是否与源文件一致(即只校验抽取的数据)。
配置PostgreSQL/SQL Server源端参数 作业中源连接为从云数据库 PostgreSQL、云数据库 SQL Server、PostgreSQL、Microsoft SQL Server导出的数据时,源端作业参数如表1所示。 表1 PostgreSQL/SQL Server作为源端时的作业参数
INTERVAL INTERVAL 时间间隔 二进制 BYTEA BYTEA 二进制数据(“字节数组”) 特殊类型 MONEY MONEY 存储固定小数精度的货币数字,如 $1,000.00 父主题: 字段类型映射关系
该功能由目的端作业参数“校验MD5值”控制,读取文件后写入OBS时,通过HTTP Header将MD5值提供给OBS做写入校验,并将校验结果写入OBS桶(该桶可以不是存储迁移文件的桶)。如果源端没有MD5文件则不校验。 迁移文件到文件系统时,目前只支持校验CDM抽取的文件是否与源文件一致(即只校验抽取的数据)。
mycloud.com 端口 数据传输协议端口,https是443,http是80。 443 OBS桶类型 用户下拉选择即可,一般选择为“对象存储”。 对象存储 访问标识(AK) AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。
(可选)购买DataArts Studio功能增量包 DataArts Studio采用基础包+增量包的计费模式。如果购买的基础包无法满足您的使用需求,您可以额外购买增量包。在购买增量包前,请确保您已购买DataArts Studio实例。 增量包大体可分为功能增量包与规格增量包,功能增量包用于拓展DataArts
任务失败退出。 否 脏数据策略 “是否写入脏数据”为是时显示该参数,当前支持以下策略: 不归档:不对脏数据进行存储,仅记录到任务日志中。 归档到OBS:将脏数据存储到OBS中,并打印到任务日志中。 不归档 脏数据写入连接 “脏数据策略”选择归档到OBS时显示该参数。 脏数据要写入的连接,目前只支持写入到OBS连接。
脚本及作业中引用参数使用介绍 该章节介绍如何在脚本及作业中引用参数,以及引用后的生效范围、是否支持EL表达式和简易变量集等,让您更加清晰地了解工作空间级和脚本、作业级配置参数的使用方法。 工作空间环境变量参数、作业参数、脚本参数均可以配置参数,但作用范围不同;另外如果工作空间环境
“_”,且长度为1~64个字符。 描述 为更好的识别业务场景 ,此处加以描述信息。描述信息长度不能超过256个字符。 所属目录 业务场景的存储目录,可选择已创建的目录。目录创建请参见图1。 业务级别 支持提示、一般、严重和致命四种业务级别,业务级别决定发出通知消息的模板样式。 规则组配置
增加了“通知状态”信息。该信息展示了业务场景实例的运行结果是否被成功订阅,例如,发送告警邮件。 2 导航栏 左侧导航栏,包括数据业务场景的存储目录。 用户可以根据实际需要对业务场景进行分目录存放,每级目录旁边的数字代表属于该级目录的业务场景的个数。 3 业务场景实例列表 展示实例名称、运行状态、运行结果等信息。
管理动态脱敏策略 在数据安全组件创建动态脱敏策略后,系统会将动态脱敏策略同步到数据源服务,由数据源对数据列按照指定规则进行动态脱敏。当策略中指定的用户和用户组在访问敏感数据时,系统会直接返回由数据源动态脱敏后的数据,保护敏感数据不被泄露。 值得注意的是,动态脱敏策略为DataArts
当“开启LDAP认证”参数选择为“是”时,此参数是必选项。 填写为MRS Hive开启LDAP认证时配置的密码。 - OBS支持 需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。 否 访问标识(AK) 当“OBS支持”参数选择为“是”时,此参数是必选项。请注意,此处AK/SK对应的账号应具备OBS