检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
n/in.txt obs://obs-tongji/python/out 其中: obs://obs-tongji/python/wordcount.py为脚本存放路径; obs://obs-tongji/python/in.txt为wordcount.py的传入参数路径,可以把需要统计的单词写到里面;
难度。 无论数据是在用户本地自建的IDC中(Internet Data Center,互联网数据中心)、云服务中、第三方云中,或者使用ECS自建的数据库或文件系统中,CDM均可帮助用户轻松应对各种数据迁移场景,包括数据上云,云上数据交换,以及云上数据回流本地业务系统。 父主题: 数据集成(CDM作业)
retry_task_version 是 String 使用的作业参数,取值有original_version和current_version。 ignore_obs_monitor 否 Boolean 是否忽略obs监听,默认为true。 task_retrys 否 Array
当缓存的数据达到定时批写时间间隔的条件,触发数据写入。 增大该值有助于增加单次写入时缓存的数据条数,但由于写入频率降低,会提升DWS数据可见的时延。 sink.buffer-flush.max-size int 512 DWS单次写入的数据大小,默认为512MB,可在目的端配置的高级配置中设置。
查询权限集中配置的url信息 功能介绍 查询权限集中配置的url信息,例如obs、hdfs等组件中的url路径。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/permission-sets/datasource/urls 表1
主题域中文名,只读,创建和更新时无需填写。 l3 否 String 业务对象中文名,只读,创建和更新时无需填写。 approval_info 否 ApprovalVO object 审批信息,只读参数。业务对象最近一次的审批信息,包括审批的业务详情、审核人信息、审核时间等。 new_biz 否 BizVersionManageVO
主题域中文名,只读,创建和更新时无需填写。 l3 否 String 业务对象中文名,只读,创建和更新时无需填写。 approval_info 否 ApprovalVO object 审批信息,只读参数。业务对象最近一次的审批信息,包括审批的业务详情、审核人信息、审核时间等。 new_biz 否 BizVersionManageVO
BLOB: 大对象(BLOB) OTHER: 其它类型 data_type_extend String 数据类型扩展字段。 ref_id String 属性关联对象的id ref_name_ch String 属性关联对象的中文名 ref_name_en String 属性关联对象的英文名
String 业务对象中文名,只读,创建和更新时无需填写。 summary_table_id String 汇总表ID,只读,ID字符串。 approval_info ApprovalVO object 审批信息,只读参数。业务对象最近一次的审批信息,包括审批的业务详情、审核人信息、审核时间等。
配置策略参数 参数名 参数说明 *策略名称 动态水印策略的唯一标识,DataArts Studio实例内的名称唯一。 为便于策略管理,建议名称中标明要添加水印的对象和水印内容。 *用户组/角色 指定当前工作空间成员中的用户、用户组或角色。当指定对象在数据开发组件中查询或导出敏感数据时,系统会
配置默认的OBS路径地址 工作空间的管理员可以配置当前工作空间的默认OBS转储路径。 选择“数据开发 > 下载中心”进入。 单击“配置OBS默认地址”进入“配置OBS默认路径”页面。 配置默认的OBS路径。 此处配置的OBS路径,是脚本开发或者单任务作业开发时测试运行结果的默认转储OBS路径。配置成功后
日益重要的数据和信息资源;同时建立数据持续改进机制,来不断提升数据质量。数据的价值和风险应被有效管理,以支撑企业管理简化、业务流集成、运营效率提升和经营结果的真实呈现。数据准确是科学决策的基础,数据架构和标准的统一是全流程高效运作、语言一致的前提。 当前企业数据面临很多的问题:没
100]。 offset 否 Integer 查询起始坐标,即跳过X条数据,仅支持0或limit的整数倍,不满足则向下取整,默认值0。 biz_catalog_id 否 String 所属的业务分层的ID。 dimension_type 否 String 维度类型。 枚举值: COMMON:
BLOB: 大对象(BLOB) OTHER: 其它类型 data_type_extend String 数据类型扩展字段。 ref_id String 属性关联对象的id ref_name_ch String 属性关联对象的中文名 ref_name_en String 属性关联对象的英文名
t/word.txt为wordcount.jar的传入参数路径,可以把需要统计的单词写到里面; obs://dlf-test/lkj_test/output.txt为输出参数文件的路径(如已存在output.txt文件,会报错)。 单击“测试运行”,执行该MRS Flink作业。
基本参数 数据库名称 选择待迁移的数据库。 mongodb 集合名称 相当于关系数据库的表名。单击输入框后面的按钮可进入选择集合名的界面,用户也可以直接输入集合名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。 COLLECTION
使用配置文件 “数据格式”选择为“CDC场景”时配置,用于配置OBS文件。 否 OBS链接 选择OBS连接器信息。 obs_link OBS桶 选择OBS桶。 obs_test 配置文件 选择OBS的配置文件。 /obs/config.csv 最大消息数/poll 可选参数,每次向Kafka请求数据限制最大请求记录数。
周:每周一零点执行一次。 月:每月1号零点执行一次。 日 备份写入OBS连接 CDM通过该连接,将作业备份到OBS,需要用户提前在“连接管理”界面创建好OBS连接。 obslink OBS桶 存储备份文件的OBS桶。 cdm 备份数据目录 存储备份文件的目录。 /cdm-bk/ 恢复作业 如果之前执
ConfigValues object 目的连接参数配置。根据不同目的端有不同的参数配置,具体可参考目的端作业参数说明下相应的目的端参数配置。 to-link-name 是 String 目的端连接名称,即为通过“创建连接”接口创建的连接对应的连接名。 driver-config-values 是
ConfigValues object 目的连接参数配置。根据不同目的端有不同的参数配置,具体可参考目的端作业参数说明下相应的目的端参数配置。 to-link-name 是 String 目的端连接名称,即为通过“创建连接”接口创建的连接对应的连接名。 driver-config-values 是