检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
_id}/log 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 task_id 是 String 任务ID。 instance_id 是 String 任务实例ID。 请求参数 表2 请求Header参数
配置行级访问控制 在业务开发过程中,存在多个开发者共同访问和维护同一张DWS表的场景,需要针对不同开发者设置不同行数据的访问权限。在这种场景下,您可以配置行级访问控制策略,为不同开发者按照行数据进行授权。 在数据安全组件新建行级访问控制策略后,通过策略同步,会将行级访问控制策略同
Server,Oracle 搜索:Elasticsearch 公测中:云搜索服务(CSS),表格存储服务(CloudTable) 不支持DWS物理机纳管模式。 数据湖探索(DLI) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI),MRS ClickHouse,Doris Hadoop:MRS
支持配置日期格式和掩盖范围。 掩码自x至y 掩码字符串第x至y位字符。 支持配置x和y。 保留自x至y 保留字符串第x至y位字符。 支持配置x和y。 掩码前n后m 掩码字符串前n后m位字符。 支持配置n和m。 保留前n后m 保留字符串前n后m位字符。 支持配置n和m。 加密 dws列加密
Studio数据连接参数。 数据库 选择数据库。 队列 仅限DLI连接类型,需选择DLI队列。 Schema DWS或POSTGRESQL的模式。该参数在DWS或POSTGRESQL连接类型有效。 更新已有表 在导入时,只有创建或更新操作,不会删除已有的表。 不更新:如果表已存在,将直接跳过,不更新。
/v1/{project_id}/instances 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每次查询的数据连接条数的限制量,默认20。
单位:秒。 10 过滤类型 满足过滤条件的路径或文件会被传输,该参数有“无”、“通配符”和“正则表达式”三种选择。具体使用方法可参见文件增量迁移。 无 目录过滤器 “过滤类型”选择“通配符”和“正则表达式”时,符合过滤器规则的目录,允许进行迁移。支持配置多个路径,中间使用“,”分隔。
/columns 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token
d/{guid} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 guid 是 String 资产guid,获取方法请参见数据资产guid。 表2 Query参数 参数 是否必选 参数类型 描述
全局配置”或在映射后的单表“表属性编辑”中配置index.type和hoodie.bucket.index.num.buckets属性可进行配置。 判断使用分区表还是非分区表。 根据表的使用场景一般将表分为事实表和维度表: 事实表通常整表数据规模较大,以新增数据为主,更新数据占比
missions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 permission_set_id 是 String 权限集id。 表2 Query参数 参数 是否必选 参数类型 描述 limit
访客:访客可以查看工作空间内的数据,但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者:企业模式独有,具备工作空间内任务包发布的相关操作权限。在企业模式中,开发者提交脚本或作业版本后,系统会对应产生发布任务。开发者确认发包后,需要部署者审批通过,才能将修改后的作业同步到生产环境。
sion_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 permission_set_id 是 String 权限集id。 permission_id 是 String 权限id。 请求参数
emptyRunningJob 否 String 取值为0和1。1表示空跑。0表示取消空跑。不设置该参数时,默认为0。 targetStatus 否 String 在开启审批开关后,需要填写该字段。表示创建作业的目标状态,有三种状态:SAVED、SUBMITTED和PRODUCTION,分别表示作业创建后是保存态,提交态,生产态。
rAdmin业务IP和Ranger服务端口。 在管理中心测试Ranger数据连接时,不会校验Ranger业务IP和服务端口,即使填写错误也不会提示,因此建议进行人工检查。 已开启对应MRS集群的Ranger鉴权功能,安全模式默认开启Ranger鉴权,普通模式默认关闭Ranger鉴权。详情请参考启用Ranger鉴权。
|”分隔,也可以自定义文件分隔符,具体请参见文件列表迁移。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts St
客户选择是FLink SQL作业或Flink JAR作业。 flinkJobProcessType 是 String 客户选择批处理模式或流处理模式。 scriptName 否 String 客户选择Flink SQL关联的SQL脚本。 resourcePath 否 String
{api_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 api_id 是 String API ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
新建连接”,进入连接器类型的选择界面,选择“MRS HDFS”。 单击“下一步”,配置连接参数,依次填写相关信息。“认证类型”选择“SIMPLE”,运行模式保持默认即可。 单击“测试”,如果右上角显示“测试成功”,表示连接成功,单击“保存”。 华为云CDM创建迁移作业 在CDM集群的作业管理界面,选择“表/文件迁移
String 项目ID,获取方法请参见项目ID和账号ID。 id 是 String 动态脱敏策略id。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Auth-Token