检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
行级访问控制策略生效,则需要启用细粒度认证。 为确保行级访问控制策略生效,须确保策略中指定的用户已具备待控制操作的表权限,同时需要将表所属模式的USAGE权限授予该用户。可通过如下命令为指定的user1,user2,user3授权。 GRANT USAGE ON SCHEMA schema_name
单击“维度表”页签,进入维度表页面。 在维度表列表中,勾选需要同步的维度表,单击列表左上方的“同步”按钮,系统弹出“批量同步”对话框。 企业模式下,进行同步时,可以选择同步到生产环境或开发环境。默认同步到生产环境,不勾选则无法同步。 图1 同步维度表 确认无误后,单击“确认提交”,完成后界面将显示同步结果。
当“文件格式”选择为“JSON格式”并且“JSON类型”为“JSON对象”时,才有该参数。对该JSON节点下的数据进行解析,如果该节点对应的数据为JSON数组,那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割。 data.list 高级属性 使用rfc4180解析器 当“文件格式”选择为
增量数据迁移 支持文件增量迁移、关系型数据库增量迁移、HBase增量迁移,以及使用Where条件配合时间变量函数实现增量数据迁移。 事务模式迁移 支持当迁移作业执行失败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 字段转换 支持去隐私、字符串操作、日期操作等常用字段的数据转换功能。
当“文件格式”选择为“JSON格式”并且“JSON类型”为“JSON对象”时,才有该参数。对该JSON节点下的数据进行解析,如果该节点对应的数据为JSON数组,那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割。 data.list 高级属性 换行符 文件中的换行符,默认自动识别“\n”、
workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)使用Token认证时必选。 表3 请求Body参数
以当前重启时间作为最新时间,从重启时间开始消费,导致数据不一致,请谨慎选择。 DMS Kafka - OBS MYSQL - DWS 同步模式: 增量同步 全量+增量 时间:配置的位点时间早于日志最早时间点时,会以日志最早时间点消费。增量同步时需要设置该参数。 增量:需要选择同步时间。即源端SQ执行时间及
当“文件格式”选择为“JSON格式”并且“JSON类型”为“JSON对象”时,才有该参数。对该JSON节点下的数据进行解析,如果该节点对应的数据为JSON数组,那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割。 data.list 高级属性 换行符 文件中的换行符,默认自动识别“\n”、
workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)使用Token认证时必选。 表3 请求Body参数
安全组规则允许两者网络互通。本示例可选择创建DataArts Studio实例时自动创建的数据集成集群。 如需连接MRS 2.x版本的集群,请选择2.x版本的数据集成集群作为Agent代理。 用户名:新建的Kerberos认证用户。注意,MRS的策略中,admin用户是默认的管理
1000001, "max_score" : 1.0 }] 记录节点 记录数据的根节点。该节点对应的数据为JSON数组,CDM会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割。 从JSON文件复制数据 示例一 从行分隔/串连的多个对象中提取数据。JSON文件包含了多个JSON对象,例如:
1000001, "max_score" : 1.0 }] 记录节点 记录数据的根节点。该节点对应的数据为JSON数组,CDM会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割。 从JSON文件复制数据 示例一 从行分隔/串连的多个对象中提取数据。JSON文件包含了多个JSON对象,例如:
不能连接到Redis服务器,原因:%s。 请根据错误提示进行定位,若无法解决,请联系客服或技术支持人员协助解决。 Cdm.1202 不能用单机模式去连接Redis集群。 请改为其他模式连接Redis集群。 Cdm.1203 从Redis服务器抽取数据失败,原因:%s。 请根据错误提示进行定位,若无法解决,请联系客服或技术支持人员协助解决。
er业务IP和服务端口,即使填写错误也不会提示,因此建议进行人工检查。 已开启对应MRS集群的Ranger鉴权功能,安全模式默认开启Ranger鉴权,普通模式默认关闭Ranger鉴权。详情请参考启用Ranger鉴权。 约束与限制 资源权限策略依赖于MRS集群的Ranger鉴权功能,当前仅支持对MRS资源进行权限控制。
忽略OBS监听”。 使用的作业参数可设置为“使用原有作业参数重跑”或“使用最新提交作业参数重跑”。 是否忽略OBS监听默认为“是”。 企业模式下,开发者不能对作业实例进行重跑。 查看作业的节点信息 单击作业名称,在打开的页面中单击作业节点,查看该节点的相关关联作业/脚本与监控信息。
大抽取并发数上限为16。 3 分片重试次数 每个分片执行失败时的重试次数,为0表示不重试。 说明: 目前仅对目的端为Hudi、DWS,导入模式为UPSERT生效,其他场景及配置分片重试次数不生效。 0 是否写入脏数据 选择是否记录脏数据,默认不记录脏数据,当脏数据过多时,会影响同步任务的整体同步速度。
安全组规则允许两者网络互通。本示例可选择创建DataArts Studio实例时自动创建的数据集成集群。 如需连接MRS 2.x版本的集群,请选择2.x版本的数据集成集群作为Agent代理。 用户名:新建的Kerberos认证用户。注意,MRS的策略中,admin用户是默认的管理
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String
流程设计:本例暂不涉及。流程设计是针对流程的一个结构化的整体框架,描述了企业流程的分类、层级以及边界、范围、输入/输出关系等,反映了企业的商业模式及业务特点。 标准设计:新建码表和数据标准。 新建码表并发布:通常只包括一系列允许的值和附加文本描述,与数据标准关联用于生成值域校验质量监控。