检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
建议名称中包含含义,避免无意义的描述,以便于快速识别所需账号映射策略。 *集群类型 无需选择,当前仅支持MRS集群。 *集群 选择对应的MRS集群。注意每个集群的每种映射类型下只能创建一个账号映射策略。 *映射类型 选择账号映射类型。
否 换行符 文件中的换行符,默认自动识别“\n”、“\r”或“\r\n”。当“文件格式”选择为“CSV格式”时,才有该参数。 \n 字段分隔符 文件中的字段分隔符,使用Tab键作为分隔符请输入“\t”。当“文件格式”选择为“CSV格式”时,才有该参数。
描述 为更好地识别权限集,此处加以描述信息。 图2 创建通用角色 基本信息:在角色详情页面,展开基本信息区域可以查看角色名称、ID、管理员等信息,详见图3。 另外,还可以在配置完角色和权限后,通过右上角的“权限同步”和“角色信息同步”进行同步。
此处仅需要配置参数名,用于主作业ForeachDemo_master中的For Each节点识别子作业参数;参数值无需填写。 图4 配置子作业参数 配置完成后保存作业。 创建For Each节点所在的主作业ForeachDemo_master。
此处仅需要配置参数名,用于主作业ForeachDemo_master中的For Each节点识别子作业参数;参数值无需填写。 图4 配置子作业参数 配置完成后保存作业。 创建For Each节点所在的主作业ForeachDemo_master。
data.list 高级属性 换行符 文件中的换行符,默认自动识别“\n”、“\r”或“\r\n”。当“文件格式”选择为“CSV格式”时,才有该参数。 \n 使用包围符 选择“是”时,包围符内的字段分隔符会被视为字符串值的一部分,目前CDM默认的包围符为:"。
策略描述 为更好地识别审批策略,此处加以描述信息,长度不能超过255个字符。 数据密级范围 如果需要针对不同密级数据的权限申请设置不同的审批流程,此处需要选择数据密级。注意,一个密级下只允许存在一条审批策略,不选密级也只允许存在一条审批策略。
如果不加@@包围,数据集001会被识别为1,导致源表名不存在的问题。 如下图所示: 图10 配置关键参数 配置完成后单击“保存并提交版本”,以保存主作业。 创建主作业和子作业完成后,通过测试运行主作业“集成管理”,检查数据集成作业创建情况。
此处需将参数名填写为result,仅用于主作业testif中的For Each节点识别子作业参数;参数值无需填写。 图7 配置作业参数 配置完成后保存作业。 开发主作业 在“作业开发”页面,新建数据开发主作业testif。
10000条或3MB Spark 1000 1000条且少于3MB 10000条或3MB RDS 1000 1000条且少于3MB 不支持 Doris 1000 1000条且少于3MB 1000条或3MB 引用字符和转义字符使用示例 引用字符和转义字符使用说明: 引用字符:用于识别分割字段
此处需将参数名填写为result,仅用于主作业testif中的For Each节点识别子作业参数;参数值无需填写。 图7 配置作业参数 配置完成后保存作业。 开发主作业 在“作业开发”页面,新建数据开发主作业testif。
表达式:DateUtils.format(DateUtils.parseDate(value,"yyyy/MM/dd HH:mm:ss"),"yyyy-MM-dd HH:mm:ss") 获取一个36位的UUID(Universally Unique Identifier,通用唯一识别码
使用python调用执行脚本的api报错:The request parameter invalid,如何处理? 问题描述 使用python调用执行脚本的api报错:The request parameter invalid。 调用执行脚本接口。 查看日志: 报错:Content
统一权限治理 敏感数据治理 对数据湖仓提供敏感数据发现识别、标注能力,根据敏感数据级别在数据分析场景、数据服务场景进行数据权限管控、动态脱敏防护。
数仓规划 数仓规划,目前系统默认的数仓分层包含SDI、DWI、DWR、DM(Data Mart)等4层,支持用户自定义数仓分层。数仓规划对数仓分层以及数仓模型进行统一管理。 关系建模下包含SDI层和DWI层两层模型,物理模型归属于两层模型之一。 SDI:Source Data Integration
表达式:DateUtils.format(DateUtils.parseDate(value,"yyyy/MM/dd HH:mm:ss"),"yyyy-MM-dd HH:mm:ss") 获取一个36位的UUID(Universally Unique Identifier,通用唯一识别码
新建数据库 数据连接创建完成后,您可以基于数据连接,通过可视化模式或SQL脚本方式新建数据库。 (推荐)可视化模式:您可以直接在DataArts Studio数据开发模块通过No Code方式,新建数据库。 SQL脚本方式:您也可以在DataArts Studio数据开发模块或对应数据湖产品的
新建脚本 数据开发模块的脚本开发功能支持新建、编辑、调试、执行各类SQL、Python和shell脚本,开发脚本前请先新建脚本。 前提条件 已完成新建数据连接和新建数据库等操作。 脚本在每个工作空间的最大配额为10000,脚本目录最多5000个,目录层级最多为10层。请确保当前数量未达到最大配额
迁移到DWS时出现value too long for type character varying怎么处理? 问题描述 在使用CDM迁移数据到数据仓库服务(DWS)或者FusionInsight LibrA时,如果迁移作业失败,且执行日志中出现“value too long for
管理密钥(高级特性) 管理密钥用于存储密钥的信息。 密钥可用于如下场景: 数据集成(离线作业)进行表数据迁移时,在“敏感数据检测”发现敏感数据后,如果需要通过转换器进行加密,则要从数据安全获取密钥信息,详见配置离线处理集成作业。 在数据安全进行文件加密时,需要获取密钥信息,详见文件加密