检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用前自检概览 当您在使用Migration服务创建实时同步任务前,需要预先检查是否做好了准备工作,以满足实时同步任务的环境要求。 表1 自检项 自检项 说明 需要执行的准备工作 为云账号及权限准备 准备华为账号,创建用户并授权使用Migration。 参考注册华为账号并开通华为云。
String 工作空间ID,获取方法请参见实例ID和工作空间ID。 表3 请求Body参数 参数 是否必选 参数类型 描述 architecture_guid 否 String 指标资产ID。 query 是 String 查询条件,search_name_description为t
响应Body参数 参数 参数类型 描述 total Integer 总数。 apps Array of AppReturnDTO objects 应用列表。 表5 AppReturnDTO 参数 参数类型 描述 id String 应用ID编号。 name String 应用名称。 description
要根据业务需要选择合适规格的资源组。单个作业(最少需要2 CU)最多支持创建50张表。 小规格:16CUs,创建作业的最大数量为7。适用于测试,不支持高可用,不建议选择。 中规格:64CUs,创建作业的最大数量为32。 大规格:96CUs,创建作业的最大数量为48。 超大规格:128CUs,创建作业的最大数量为64。
审批人来自权限集/角色的管理员,权限审批后即刻生效。 启用细粒度认证 配置细粒度认证后,在DataArts Studio数据开发执行脚本、测试运行作业或调度作业时,数据源将不再使用数据连接上的账号,而是使用当前用户身份认证鉴权,从而做到实现不同用户具有不同的数据权限,使角色/权限集或队列权限中的权限管控生效。
现抢占资源的情况,不能保证每次都可以得到资源执行相关操作。建议您在业务低峰期再次重试,或选择自建队列运行业务。 作业运行成功时,在补数据、测试运行场景下不发送告警通知,避免邮件或短信轰炸。同时,补数据作业实例恢复时也不发送恢复通知。 作业运行失败时,重跑作业并且作业运行成功后,会发送作业实例恢复通知。
default数据库中的数据表进行脱敏。 *目标表名 用户手动输入,不能与目标端数据库表名重复。当输入的表名不存在时会创建该表。 输入请单击“测试”,测试创建目标表并检测目标表是否可用,否则将无法进行下一步操作。 执行引擎 *执行引擎 选择运行脱敏任务的引擎。不同脱敏场景下支持的引擎和注意事项如表3所示。
点,执行命令cat /etc/hosts,可以列出所有节点的IP和域名。 测试网络连接。 在DataArts Studio工作空间下创建数据连接,并创建实时集成作业,选择对应数据连接和资源组进行连通性测试,详情请参考创建实时集成作业。 父主题: 数据库部署在其他云
点,执行命令cat /etc/hosts,可以列出所有节点的IP和域名。 测试网络连接。 在DataArts Studio工作空间下创建数据连接,并创建实时集成作业,选择对应数据连接和资源组进行连通性测试,详情请参考创建实时集成作业。 父主题: 数据库部署在其他云
下载客户端”。 图2 下载客户端 弹出“下载集群客户端”提示框,选择相关下载参数后单击“确定”,下载客户端。 图3 下载集群客户端 选择客户端类型、平台类型(与执行任务的服务器保持一致),如果不修改保存路径,会自动下载客户端到MRS主节点对应路径下,在拷贝客户端软件包到待安装客户端节点的指
createHttpClient() { CloseableHttpClient httpclient =HttpClients.createDefault(); return httpclient; } private String login(){ HttpPost httpPost = new Http
数据连接,根据DLF配置的调度身份执行CDM作业。 公共委托 否 适用组件勾选数据集成且“使用委托”选择“是”时,呈现此参数。 仅涉及用于测试该连接委托功能是否正常,作业运行将根据DLF配置的调度身份执行CDM作业。 访问标识(AK) - 适用组件勾选数据集成且“OBS支持”选择“是”时,呈现此参数。
编排调度会涉及哪些服务,例如MRS、DWS、CDM等? 本示例涉及DataArts Studio数据集成和数据质量、MRS Hive 了解作业的场景,用于进一步调查平台能力与客户场景匹配度 作业数量规模是多少? 本示例作业数量在20个以内 大致了解作业的规模,通常用算子数来描述,可通过表的数量估计 每日作业调度次数是多少?
Free Willy 2: The Adventure Home (1995),1-Jan-95,http://us.imdb.com/M/title-exact?Free%20Willy%202:%20The%20Adventure%20Home%20(1995),0,0,1,0
默认在DataArts Studio数据开发组件执行脚本、测试运行作业时,数据源(此处指MRS/DWS数据源)会使用数据连接上的账号进行认证鉴权。因此在数据开发时,权限管控依然无法生效。需要您启用细粒度认证,使得在数据开发执行脚本、测试运行作业时,使用当前用户身份认证鉴权,从而做到实现不
date, Signature=4bf2********4e2 X-Authorization: SDK-HMAC-SHA256 Access=4e72********d6c, SignedHeaders=host;x-sdk-date, Signature=4bf2********4e2
各类特殊字符,长度为1~128个字符。 作业名称 是 MRS作业名称,只能由英文字母、数字、中划线和下划线组成,长度不能超过64个字符。 系统支持作业名称按照作业名称_节点名称格式自动填入。 说明: 作业名称不得包含中文字符、超出长度限制等。如果作业名称不符合规则,将导致提交MRS作业失败。
开启“多表多字段”开关后,“异常表模板”参数不显示,不支持配置。 例如,有一张涉及金额的表,表中“is_test”字段用于标识该条数据是否为测试数据(0为正式数据,1为测试数据)。期望计算正式数据的金额最小值,最大值,平均值以及总和。则自定义模板可设置如下: 维度:准确性。 所属目录:/全部/。
是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用ManageOne平台的IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID
rts Studio功能,工作空间的划分通常按照分子公司(如集团、子公司、部门等)、业务领域(如采购、生产、销售等)或者实施环境(如开发、测试、生产等),没有特定的划分要求。 工作空间从系统层面为管理者提供对使用DataArts Studio的用户(成员)权限、资源、DataArts