检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当“作业调度身份是否可配置”设置为“是”,该参数可见。 配置委托后,作业执行过程中,以委托的身份与其他服务交互。 作业优先级 自动匹配创建作业时配置的作业优先级,此处支持修改。 实例超时时间 配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。如果您为作业设置了异常通知,当作业实
数据库的用户名,创建集群的时候,输入的用户名。 密码 是 数据库的访问密码,创建集群的时候,输入的密码。 数据集成配置 数据库名称 是 配置为要连接的数据库名称。 使用本地API 否 可选参数,选择是否使用数据库本地API加速。 创建MySQL连接时,CDM会自动尝试启用MySQL数据库的local_
Hive和DWS数据源中所有未被标记密级的数据表和字段(包括存量和增量数据)将被标记为默认密级,默认密级支持在数据地图组件中进行展示,并支持通过管控敏感数据进行数据预览时的权限管控。 权限申请时的密级信息来源于数据地图组件,因此也会展示默认密级。除此之外的静态脱敏、动态脱敏时的密级信息来源于敏感数据发现任务,因此不会展示默认密级。
in运算符用于把某个值与一系列指定列表的值进行比较。 如果绑定字段能匹配多个绑定参数中的值,则条件为真。 not in in运算符的对立面,用于把某个值与不在一系列指定列表的值进行比较。 如果绑定字段无法匹配多个绑定参数中的值,则条件为真。 值得注意的是,请求参数可以通过复制并设置操作符,实现多个输入的绑定参数条件匹配绑定字段。
请求参数位置支持Path、Header、Query,不同的请求方式所支持的可选参数位置不一样,请根据产品上提供的可选项按需选择。 常量参数 常量参数即参数值是固定的参数,对调用者不可见,API调用时不需传入常量参数,但后台服务始终接收这里定义好的常量参数及参数值。适用于当您希望把API的某个参数的取值固定为某个值以及要对调用者隐藏参数的场景。
目标数据库多的列要求非空且没有默认值,源数据库insert数据,同步到目标数据库后多的列为null,不符合目标数据库要求。 目标数据库多的列设置固定默认值,且有唯一约束。源数据库insert多条数据后,同步到目标数据库后多的列为固定默认值,不符合目标数据库要求。 Migrati
指标数据统计的基本计量单位。 *统计周期 指标统计的周期颗粒度。 统计维度 常用的统计维度,维度一般存在层级关系。 *刷新频率 指标数据的刷新的最小频率。 统计口径&修饰词 除统计周期和维度外,该指标常用的统计口径&修饰词,限制指标数据的范围。 指标应用场景 描述该指标重要的应用场景,包括在线报表、例行报告、汇报材料等。
Studio控制台首页,选择对应工作空间的“数据架构”模块,进入数据架构页面,查看“总览”,如图1所示。 图1 数据架构总览 我的待办 显示“我的申请”和“待我审核”的数量。 单击每一项上面统计数量将分别跳转到“我的申请”和“待我审核”页面。 资产概览 显示数据架构中所有对象的总量。 单击每个对象名称后的统计数量将跳转到该对象的管理页面。
WS数据库中建出相应的表。 图7 源表与目标表映射 目标字段赋值:单击操作列“目标字段赋值”可自定义MongoDB到DWS的字段映射情况。同时用户可以为所有DWS目标端的字段,设置对应的源表映射字段,或者设置手动赋值的字符串内容。 列名:目的端DWS表字段的名称。 类型:目的端DWS表字段的类型。
名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dws_link 数据库服务器 单击输入框后的“选择”,可获取用户的DWS实例列表。 - 端口 配置为要连接的数据库的端口。DWS数据库端口默认为8000。 8000 数据库名称 配置为要连接的数据库名称。
排查。 其他限制 支持目标数据库中的表比源数据库多列场景,但是需要避免以下场景可能导致的任务失败。 目标数据库多的列要求非空且没有默认值,源数据库insert数据,同步到目标数据库后多的列为null,不符合目标数据库要求。 目标数据库多的列设置固定默认值,且有唯一约束。源数据库i
单击右上角的,设置相关脚本的环境变量。举例如下所示: 设置Hive SQL脚本的环境变量: --hiveconf hive.merge.mapfiles=true; --hiveconf mapred.job.queue.name=queue1 设置Spark SQL脚本的环境变量:
数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。
过滤类型为通配符或正则表达式时支持此参数。 用于过滤输入路径下的文件。 通配符使用*csv 正则表达式使用.*\.csv 时间过滤 用于过滤满足时间范围的文件。 文件的修改时间晚于输入的起始时间或早于输入的终止时间才会被传输。 同时输入起始时间和终止时间,文件的修改时间在这个区间内才会被传输。 否 起始时间
配置不生效。 如果设置为保持不变,则当前作业保持原来的失败策略。 责任人 设置所选作业的责任人,只能从当前工作空间中的用户选择。 如果设置为保持不变,则各作业保持原来的责任人。 周期作业实例并发数 设置所选作业并行处理的数量。 如果设置为保持不变,则保持原来的周期作业实例并发数。
选择需要同步的Kafka Topic。 图4 选择需要同步的Kafka Topic 消费组ID 消费者是从Topic订阅消息的一方,消费组是由一个或多个消费者组成的。Migration支持指定本次消费动作所属的Kafka消费组。 Kafka源端属性配置 支持设置Kafka的配置项,需要增加
检查目的端负载是否已达到目的端数据源上限。优先查看目的端数据源的监控指标,查看CPU、内存、IO等参数是否处于高负载状态。 在排除目的端负载的情况下,加大作业并发,以提高写入速度。 如果第2步也无法有效提升性能,请根据源端抽取慢排查源端的性能因素。 如果排除了源端问题的情况下,请参考对应链路性能调优文档尝试进行参数优化。
明。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。
要配置。 设置通知发送的具体日期。 当调度周期为周时,可设置为一周中星期一至星期日的某一天或某几天。 当调度周期为月时,可设置为一月中每月1号至每月31号的某一天或某几天。 具体时间 是 设置通知发送的具体时间点,可以精确设置到小时和分钟。 选择主题 是 设置通知发送的主题。 选择OBS桶
数据库的用户名,创建集群的时候,输入的用户名。 密码 是 数据库的访问密码,创建集群的时候,输入的密码。 数据集成配置 数据库名称 是 配置为要连接的数据库名称。 使用本地API 否 可选参数,选择是否使用数据库本地API加速。 创建MySQL连接时,CDM会自动尝试启用MySQL数据库的local_