检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单线程flush的FileGroup的数量 > 50,推荐值30。 flush的并发数越大,flush时内存会响应升高,请结合实时处理集成作业内存监控适当调整该值。 hoodie.context.flatmap.parallelism int 1 Hudi在commit时,会进行分区扫描
CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,您还必须确保该云服务的实例与DataArts
单线程flush的FileGroup的数量 > 50,推荐值30。 flush的并发数越大,flush时内存会响应升高,请结合实时处理集成作业内存监控适当调整该值。 hoodie.context.flatmap.parallelism int 1 Hudi在commit时,会进行分区扫描
归属用户的Token,在调用API时才能通过安全认证,成功调用API。 通过白名单授权。IAM认证方式API支持添加华为账号白名单,将API授权给账号使用。添加白名单授权后,从IAM服务获取的授权账号及其归属用户的Token才能通过安全认证,成功调用API。 本章节为您介绍如何通过白名单授权将API授权给账号。
CDM集群作为网络代理,必须和DWS集群网络互通才可以成功创建DWS连接,为确保两者网络互通,CDM集群必须和DWS集群处于相同的区域、可用区,且使用同一个VPC和子网,安全组规则需允许两者网络互通。 数据源认证及其他功能配置 使用委托 否 “数据集成”参数开启,“数据目录”参数关闭时,呈现此参数。 如果IAM账号将OBS权限委托给DataArts
状态显示为“等待运行”。 补数据场景下,在补数据监控页面,补数据作业实例运行状态显示为“待确认执行”,可以在实例监控页面进行手动确认执行,单击“确认执行”后,补数据作业实例运行状态显示为“等待运行”。 批作业监控场景下,在批作业监控页面,作业实例运行状态显示为“待确认执行”,可以
6-sha1,aes128-sha1”。 127.0.0.1 认证类型 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。 SIMPLE Hive版本 Hive的版本。根据服务端Hive版本设置。 HIVE_3_X
据治理中心的各组件进行相关操作。 数据集成(注册在云数据迁移CDM服务) 数据开发 管理中心 数据架构 数据质量 数据目录 数据服务 数据安全 Java Python Go Github代码仓,详见SDK列表。 数据服务SDK包 数据服务SDK是基于DataArts Studio
数据目录组件:技术资产中的表(Table)和文件(File)类型资产,以及元数据采集任务。 数据服务组件:数据服务集群,API和APP。 数据安全组件:敏感数据发现任务,脱敏策略,静态脱敏任务和数据水印任务。 如果当前任意组件内还有业务资源,则删除工作空间会弹出失败提示窗口,无法删除。
192.168.0.1:9200;192.168.0.2:9200。 linkConfig.safemode 否 Boolean 当选择安全模式认证时,需要输入用户名、密码和选择是否https访问。 linkConfig.user 否 String 对于支持用户名密码鉴权的El
isPlatinumInstance 是 Boolean 选择是否打开客户端连接Kafka专享版实例时SSL认证的开关。 开启Kafka SASL_SSL,则数据加密传输,安全性更高,但性能会下降。 linkConfig.user 否 String 开启Kafka SASL_SSL时显示该参数,表示连接DMS Kafka的用户名。
补数据实例名称。 user_name 是 String 用户名称。 type 是 int 触发补数据的类型,取值范围[0, 1]。0代表作业监控界面触发的补数据,1代表恢复动作触发的补数据。 start_date 是 Long 作业的开始日期,13位时间戳。 end_date 是 Long
作业节点调度次数/天增量包: 不同版本的DataArts Studio实例,提供了不同的作业节点调度次数/天规格限制。该规格是以每天执行的数据开发作业、数据质量监控作业和元数据采集作业的调度次数之和计算的,您可以在新商业模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看使用
单击主作业画布上方的“测试运行”按钮,测试作业运行情况。主作业运行后,会通过For Each节点自动调用运行子作业。 单击左侧导航栏中的“实例监控”,进入实例监控中查看作业运行情况。等待作业运行成功后,就能查看For Each节点生成的子作业实例,由于数据集中有6行数据,所以这里就对应产生了6个子作业实例。
Studio实例中的CDM集群的所在区域、虚拟私有云、子网、安全组保持一致,默认内网互通,否则还需手动打通MRS集群与CDM集群的网络。二者的企业项目也应保持一致。 由于创建MRS集群时仅支持自动创建安全组,建议您可以先创建MRS安全集群,然后在购买DataArts Studio实例时选
ch参数,无需对此参数进行设置。 数据源认证及其他功能配置 认证类型 是 访问集群的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。 运行模式 是 选择HDFS连接的运行模式: EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。
Explorer接口和REST API SDK包支持如下组件: 数据集成(注册在云数据迁移CDM服务) 数据开发 管理中心 数据架构 数据质量 数据目录 数据服务 数据安全 数据集成组件的API Explorer接口和SDK代码仓注册在“云数据迁移CDM”服务下。如需使用数据集成组件的API Explorer
管理中心配置数据搬迁 数据集成配置数据搬迁 数据架构配置数据搬迁 数据开发配置数据搬迁 数据质量配置数据搬迁 数据目录配置数据搬迁 数据安全配置数据搬迁 数据服务配置数据搬迁 父主题: DataArts Studio配置数据搬迁实践
及其状态、内网地址、公网地址等信息。 单击CDM集群列表中集群名称列的按钮开,可查看该CDM集群的详情信息,例如可用区、虚拟私有云、子网和安全组等网络相关信息,以及规格、集群ID、关联的工作空间等信息。 图1 查看集群详情信息 您可以单击CDM集群列表中操作列的“关联工作空间”,
实例类型:选择“cdm.xlarge”,该实例类型适用大部分迁移场景。 虚拟私有云:CDM集群的VPC,选择用户本地数据中心与云专线连通的VPC。 子网、安全组:这里没有要求,分别任选一个即可。 集群创建完成后,选择集群后面的“作业管理 > 连接管理 > 新建连接”,进入选择连接类型的界面,如图1所示。