检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Migration写入数据到Hudi时为了保证稳定性需要将Compaction任务单独拆成Spark作业并交给MRS执行,那么如何进行配置? 解决方案 修改Migration实时集成作业配置。 Migration任务中必须关闭异步compaction动作,同时将clean和archive关闭。
API。 如果非审核人权限的用户发布API时,待审核人审核通过后,即可发布完成。 处于待审核状态的API无法修改数据连接,需要具有空间管理员角色的用户审批驳回才可进行修改。 审核人支持管理员、开发者、运维者,访客无法添加为审核人。 工作空间管理员角色的用户,无论是否被添加为审核人,都默认具备审核人权限。
据需要修改连接参数,参数描述可参考表1。 编辑时如果不涉及修改密码,可不填写此项,系统会自动带入上次连接创建时的密码。 完成修改后,单击“测试”去测试数据连接是否可以正常连接,如果可以正常连接,单击“保存”。如果测试连接无法连通,数据连接将无法创建,请根据错误提示重新修改连接参数后再进行重试。
令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。 certutil -hashfile D:\java-sdk.zip SHA256 命令执行结果示例,如下所示: SHA256 的 D:\java-sdk
令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。 certutil -hashfile D:\java-sdk.zip SHA256 命令执行结果示例,如下所示: SHA256 的 D:\java-sdk
数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。
尽的,则有可能因为特征不够导致提取失败。常见的适合嵌入水印的列如地址、姓名、UUID、金额、总数等。 数值整型字段嵌入水印可能会出现数据被修改的情况,请选择可以接受值发生改变的字段插入水印。 结构化数据文件的水印提取与数据水印的水印溯源任务无关。仅支持同一账号下用户对已通过水印注
Studio数据连接新建连接。 *数据库 呈现待扫描的数据库。单击数据库后的“设置”,设置待扫描的数据库范围。单击“清除”,可对已选择的数据库进行修改。 *数据表 对于DLI和DWS类型的敏感数据发现任务,您需要设置选择表的方式,当前支持手动筛选、通配符匹配和全部三种方式。 手动筛选:即
由于RDS上的MySQL默认没有开启LOAD DATA功能,所以同时需要修改MySQL实例的参数组,将“local_infile”设置为“ON”,开启该功能。 如果“local_infile”参数组不可编辑,则说明是默认参数组,需要先创建一个新的参数组,再修改该参数值,并应用到RDS的MySQL实例上。 单击“保存”回到连接管理界面。
这种类型能够存储最多4GB的数据。当字符集发生转换时,这种类型会受到影响。 不支持 不支持 bfile 可以在数据库列中存储一个oracle目录对象和一个文件名,用户可以通过它来读取这个文件。 不支持 不支持 其他类型 rowid 实际上是数据库表中行的地址,它有10字节长。 不支持 不支持 urowid
选择解决方案包含的作业。 单击“确定”,新建的解决方案将在左侧目录中显示。 编辑解决方案 在解决方案目录中,右键单击解决方案名称,选择“编辑”,修改名称和作业。 导出解决方案 在解决方案目录中,右键单击解决方案名称,选择“导出”,导出zip格式的解决方案文件至本地。 导入解决方案 导入
令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。 certutil -hashfile D:\java-sdk.zip SHA256 命令执行结果示例,如下所示: SHA256 的 D:\java-sdk
en认证时必选。 表3 请求Body参数 参数 是否必选 参数类型 描述 name 否 String 数据密级名称。名称应该唯一,只能由英文字母、数字、下划线、汉字构成。 description 否 String 数据密级描述。 响应参数 状态码: 200 表4 响应Body参数
规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同,如果不同,需要修改工作空间的企业项目。 新建MRS hive连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图1所示。
进行授权时,授权对象名(库表列名)当前仅支持包含数字、英文、下划线、中划线和通配符*,暂不支持中文以及其他特殊字符。 MRS Hive授权时,数据库可修改为URL,用于为存算分离场景下的OBS路径授权。存算分离场景下,使用Hive额外所需如下URL权限: 创建库:write 权限创建表/写入数据/删除表:read权限
Manager后,选择“租户资源”页签。 单击左侧“动态资源计划”进入动态资源计划页面。 图1 修改AM资源 选择“队列配置”。 单击需要修改的租户名(队列)后面的“修改”,进入修改队列配置页面。 修改“AM最多占有资源(%)”参数后面的配置值。 根据实际需要将所配置的值调大即可。 父主题:
配置数据连接类型,包含配置源端数据类型和目的端数据类型,支持的数据类型请参见支持的数据源。 选择集成作业类型。 同步类型:默认为离线,不可更改。 同步场景:支持单表、分库分表和整库三种同步方式,具体支持的数据源请参见支持的数据源。 设置网络资源配置。 选择已创建的源端数据连接,且
型到数据目录,作为业务资产。企业模式下,进行同步时,可以选择同步到生产环境或开发环境。系统默认同步到生产环境。 修改主题 单击“更多 > 修改主题”,可以将选中的表更改到其它主题。 删除 单击“更多 > 删除”,可以删除数据表,其中发布审核中,已发布和下线审核中状态的数据表不可被删除。且数据被引用的数据表不可被删除。
选择源端和目的端的数据类型,支持的源端与目的端请参见新建实时集成作业。 图1 选择数据连接类型 选择集成作业类型。 同步类型:默认为实时,不可更改。 同步场景:包含单表、整库、分库分表场景,各数据源支持的场景不一,详情请参见使用教程。 不同场景介绍如表1所示。 表1 同步场景参数说明
令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。 certutil -hashfile D:\java-sdk.zip SHA256 命令执行结果示例,如下所示: SHA256 的 D:\java-sdk