检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
景请参见自动血缘解析。 手动配置血缘,是在数据开发作业节点中,自定义血缘关系的输入表和输出表。注意手动配置血缘时,此节点的自动血缘解析将不生效。支持手动配置血缘的节点类型请参见手动配置血缘。 约束限制 手动配置血缘当前暂不支持字段级血缘解析。 自动血缘解析 自动血缘解析无需进行手
景请参见自动血缘解析。 手动配置血缘,是在数据开发作业节点中,自定义血缘关系的输入表和输出表。注意手动配置血缘时,此节点的自动血缘解析将不生效。支持手动配置血缘的节点类型请参见手动配置血缘。 约束限制 手动配置血缘当前暂不支持字段级血缘解析。 自动血缘解析 自动血缘解析无需进行手
约束与限制 由于鉴权缓存机制的限制,自定义角色的权限发生变更后,绑定该角色的工作空间成员权限不会直接生效。需要绑定该角色的工作空间成员暂停访问DataArts Studio控制台并等待6分钟后,才能使该工作空间成员的权限变更生效。 对于工作空间管理员角色,即使自定义角色与其权限点相
PostgreSQL与DWS字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型,并以此完成自动建表和实时同步。 字段类型映射规则 当源端为PostgreSQL,目的端为DWS时,支持的字段类型请参见下表,以确保数据完整同步到目的端。 表1 PostgreSQL
now()}”用来标识当前日期字符串。 新建转换器 CDM支持字段内容转换,如果需要可单击操作列下,进入转换器列表界面,再单击“新建转换器”。 图2 新建转换器 CDM可以在迁移过程中对字段进行转换,目前支持以下字段转换器: 脱敏 隐藏字符串中的关键信息,例如要将“12345678910”转换为“123****8910”,则配置如下:
段。由于没有源表字段直接对应,需要配置表达式从源表的StartDate字段抽取。 图9 Hive字段映射 单击进入转换器列表界面,再选择“新建转换器 > 表达式转换”,如图10所示。 y、ym、ymd字段的表达式分别配置如下: DateUtils.format(DateUtils
阻塞的作业需要进行手工重启,如不重启1天内也会因作业超时自动结束该作业。 手工重启需要选择“运维管理”,先单击对应作业操作栏中的“取消”,作业运行状态变更为“失败”,此时然后单击操作栏中的“重跑”即可完成作业重启。 图1 作业重跑 父主题: 数据质量
版本。 原因分析 该作业内的脚本还没有提交版本,就开始执行调度,导致执行调度报错。作业调度前必须保证作业内脚本都存在一个版本。 解决方案 切换到脚本开发,找到对应脚本。 提交脚本版本。 执行作业调度。 父主题: 数据开发
Object 返回的数据信息。 请求示例 在model_id为1184439352260976640的逻辑模型进行逻辑模型转物理模型操作后,获取转换结果。 GET https://{endpoint}/v1/{project_id}/design/operation-results?o
列,可能会有数据倾斜风险。 CDM支持字段内容转换,如果需要可单击操作列下,进入转换器列表界面,再单击“新建转换器”。 图4 新建转换器 CDM支持以下转换器: 脱敏:隐藏字符串中的关键数据。 例如要将“12345678910”转换为“123****8910”,则参数配置如下: “起始保留长度”为“3”。
期格式。需要通过CDM配置字段转换器,将日期字段的格式转换为云搜索服务的目的端格式。 解决方案 编辑作业,进入作业的字段映射步骤,在源端的时间格式字段后面,选择新建转换器,如图3所示。 图3 新建转换器 转换器类型选择“表达式转换”,目前表达式转换支持字符串和日期类型的函数,语法
将Date类型时间转换为long类型时间戳。 将作业调度计划时间转换为时间戳。 #{DateUtil.getTime(Job.planTime)} Date parseDate(String str, String pattern) 字符串按pattern转换为Date类型,pa
下修改,否则会修改不生效或导致调用报错。 删掉某必选的排序参数,则此排序参数依然会正常参与排序,删除不生效。 调整排序参数的前后顺序,则排序依然以配置方式API配置排序参数时的排序参数顺序或脚本/MyBatis方式API SQL中的排序参数顺序为准,调整不生效。 修改升序或降序的
查看目录权限 纳管角色的权限配置完成后,并不会直接生效。需要您将权限手动同步到Ranger组件中,同步成功后权限控制才能生效,详见同步权限。 相关操作 同步权限:在角色管理中,配置数据权限后需要同步权限到数据源中权限管控才能生效。 您可以在角色详情页面,单击基本信息区域右上角的“
将json字符串转换为对象。 假设变量a为JSON字符串,将json字符串转换为对象,EL表达式如下: #{JSONUtil.parse(a)} String toString(Object jsonObject) 将对象转换为json字符串。 假设变量b为对象,将对象转换为json字符串,EL表达式如下:
录后,父权限集中再删除此权限,会导致出现此情况,当前不支持级联删除权限。 权限集配置完成后,权限管控并不会直接生效,而是需要将权限集手动同步到数据源后,权限管控才能生效。 由于角色管理基于权限集提供了更加直观、强大的权限管控能力,因此除DLI数据源外,一般无需同步权限集,实际使用
CDM集群和OBS桶不在同一个Region时,不支持跨Region访问OBS桶。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 obs.myregion.mycloud.com 端口 数据传输协议端口,https是443,http是80。
12000 60 获取数据源中表的字段 获取数据源中表的字段。 12000 60 实例规格变更 表8 实例规格变更 API 说明 API流量限制(次/min) 用户流量限制(次/min) 规格变更接口 规格变更接口。 3000 20 父主题: API概览
Studio数据开发组件使用队列时,数据源会使用数据连接上的账号进行认证鉴权。因此当用户在数据开发时,队列权限管控依然无法生效。需要您启用细粒度认证,使得在数据开发使用队列时,使用当前用户身份认证鉴权,从而使队列权限管控生效。 前提条件 仅DAYU Administrator、Tenant Administrat
小写,不能有大写。 说明: Elasticsearch搜索引擎7.x及以上版本不支持自定义类型,只能使用_doc类型。此处即使自定义也不会生效。 type 操作 操作类型。 INDEX:不指定主键,es内部生成id,使得每次写入都是不同id的新增数据文件。 CREATE:需要指定主键。如果主键已经存在,写入失败。