检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
空间权限集、权限集或角色,并通过这些权限配置模型实现MRS、DWS、DLI数据的访问控制,按需为用户、用户组分配最小权限,从而降低企业数据信息安全风险。 敏感数据治理 敏感数据识别通过用户创建或内置的数据识别规则和规则组自动发现敏感数据并进行数据分级分类标注。 隐私保护管理 隐私
删除密级权限管控策略:在敏感数据管控页面,单击对应策略操作栏中的“删除”,即可删除该策略。当需要批量删除时,可以在勾选策略后,在列表上方单击“批量删除”。 删除操作无法撤销,请谨慎操作。 父主题: 敏感数据治理
DROP,ALTER,INDEX,LOCK,READ,WRITE cluster_id 否 String 集群ID,获取方法请参见查询单个数据连接信息。 cluster_name 否 String 集群名称。 datasource_type 否 String 数据源类型 HIVE数据源 DWS数据源
MemberPolicyItem objects 成员列表。 成员包含空间用户、空间用户组、空间用户角色。空间用户、用户组获取方法请参见获取工作空间用户信息,空间角色获取方法参见获取工作空间用户角色 表4 ResourcePolicyItem 参数 是否必选 参数类型 描述 resource_id
status_code String 状态码。 error_code String 错误码。 error_message String 错误信息。 detail String 日志详情。 in_flow_size Long 输入流量大小。 out_flow_size Long 输出流量大小。
MemberPolicyItem objects 成员列表。 成员包含空间用户、空间用户组、空间用户角色。空间用户、用户组获取方法请参见获取工作空间用户信息,空间角色获取方法参见获取工作空间用户角色 表4 ResourcePolicyItem 参数 是否必选 参数类型 描述 resource_id
选择已上传到OBS中的依赖Jar包。“类型”为“jar”或“pyFile”时,配置该参数。 选择目录 是 选择资源所属的目录,默认为根目录。 描述 否 资源的描述信息。 编辑资源 资源新建完成后,用户可以根据需求修改资源的参数。 在数据开发主界面的左侧导航栏,选择“配置管理 > 资源管理”。 在资源的“
场景多样性:部分链路支持全量和增量同步,部分链路支持分库分表。 可维护性:支持作业监控和日志查看,方便运维人员进一步定位。 易用性:长界面更易操作,用户只需配置必要信息,学习成本减低。 操作视频 因不同版本操作界面可能存在差异,本视频仅供参考,具体以实际环境为准。 父主题: 数据集成(实时作业)
String 数据连接id。 cluster_id 否 String 集群id。 description 否 String 当前空间分配资源附加的描述信息。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 [数组元素] Array<Array<QueueSrcAssignEntity>>
程中自动切换对应的数据湖。因此您需要准备两套数据湖服务(即两个集群),且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致。 例如,当您的数据湖服务为MRS集群时,需要准备两套MRS集群,且版本、规格、组件、区域、VPC、子网等保持一致。如果某个
s_hive_link,选择数据库demo_dwr_db,然后输入脚本内容。 图1 编辑脚本 该脚本用于将付款方式、费率代码、供应商的基本信息写入到相应的维度表中。脚本内容如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
环境。 DataArts Studio实例中默认不包含数据服务专享集群,如果您需要使用数据服务专享版,请创建数据服务专享集群增量包。 背景信息 您可以在DataArts Studio实例卡片上,通过“更多 > 查看增量包”,查看已购买的增量包。 购买数据服务专享集群 单击已开通实例卡片上的“购买增量包”。
删除策略:在空间资源权限页面,单击对应策略操作栏中的“删除”,即可删除策略。当需要批量删除时,可以在勾选策略后,在策略列表上方单击“批量删除”。 删除操作无法撤销,请谨慎操作。 父主题: 服务资源访问控制
低,可能会出现无法支持建表语句执行的报错,这种情况下建议您选择自建队列运行业务。如需“default”队列支持建表语句执行,可联系DLI服务客服或技术支持人员协助解决。 DLI的“default”队列为共享队列,仅用于用户体验,用户间可能会出现抢占资源的情况,不能保证每次都可以得
删除策略:在动态水印页面,单击对应任务操作栏中的“删除”,即可删除策略。当需要批量删除时,可以在勾选策略后,在列表上方单击“删除”。 删除操作无法撤销,请谨慎操作。 查看策略详情:在动态水印页面,找到需要查看的策略,单击策略名即可查看策略详情。 图3 查看策略详情 父主题: 敏感数据保护
“使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如 select * from table a; select * from table b。 不支持with语句。 不支持注释
1版本,获取ojdbc8.jar 说明: 不支持使用新版本(如Oracle Database 21c (21.3) drivers),会导致创建作业时无法获取模式名。 云数据库 PostgreSQL PostgreSQL POSTGRESQL https://mvnrepository.com/artifact/org
约束冲突处理配置为"insert into",默认使用IGNORE,与唯一键值上的现有行重复的新行将被丢弃,任务不会终止。因为Mysql服务机制无法在操作过程中停止文件传输,此情况下,CDM界面显示写入记录与实际更新行数会不一致。 Mysql Local模式详情请参见:https://dev
目的端为分区表时,Hive表清理数据模式建议设置为LOAD_OVERWRITE模式,否则可能会有集群内存过载/磁盘过载的风险。 TRUCATE 分区信息 “导入前清空数据”设置为“是”时,呈现此参数。目的端为分区表时,必须指定分区。 当使用TRUCATE模式:只清理分区下的数据文件。 当使
Studio数据开发中连接到指定的主机,通过脚本开发和作业开发在主机上执行Shell或Python脚本。主机连接保存连接某个主机的连接信息,当主机的连接信息有变化时,只需在主机连接管理中编辑修改,而不需要到具体的脚本或作业中逐一修改。 父主题: 管理中心