检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对单个文件创建快照),然后CDM迁移快照中的数据。 需要HDFS系统的管理员权限才可以创建快照,CDM作业完成后,快照会被删除。 否 加密方式 “文件格式”选择“二进制格式”时,该参数才显示。 如果源端数据是被加密过的,则CDM支持解密后再导出。这里选择是否对源端数据解密,以及选择解密算法:
对单个文件创建快照),然后CDM迁移快照中的数据。 需要HDFS系统的管理员权限才可以创建快照,CDM作业完成后,快照会被删除。 否 加密方式 “文件格式”选择“二进制格式”时,该参数才显示。 如果源端数据是被加密过的,则CDM支持解密后再导出。这里选择是否对源端数据解密,以及选择解密算法:
选择“数据地图 > 数据目录”,并进入“技术资产”页签。 在资产搜索输入框输入需要添加标签的数据的关键字,然后单击“搜索”,搜索结果以列表方式显示。 勾选需要添加标签的资产,单击右上角“标识”。在添加标识对话框中配置标签。 图1 添加标识 选择标识种类为标签,并配置标签,单击“确定”提交。
创建数据库的操作,一般您需要在数据湖产品中完成。 在本示例中,您可以参考以下任意一种方式在MRS Hive中创建数据库。 您可以在DataArts Studio数据开发模块中,可视化方式创建数据库,具体操作请参见新建数据库章节。 您可以通过在DataArts Studio数据
接类型”为“RDS”,并参见表1配置相关参数。 不建议使用MySQL(待下线)连接器,推荐使用RDS连接MySQL数据源。 RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OBS,则不支持RDS数据连接。 图2 RDS连接配置参数 表1 RDS数据连接
单击“MapReduce服务”,左侧列表选择现有集群。 在现有集群中可以获取到集群名称,例如mrsCluster1。 connectionMethod 是 String 连接方式: agent :通过代理连接。 direct :直接连接。 userName 否 String MRS集群的用户名,通过代理连接的时候,是必选项。
驱动程序名称: com.gbase.jdbc.Driver:连接GBASE8A数据源时,选择此驱动程序名称。 驱动文件来源 是 选择驱动文件的来源方式。 驱动文件路径 是 “驱动文件来源”选择“OBS路径”时配置。 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。
为两条策略。因此本例先配置IAM相关策略,再配置MRS和CDM相关策略。 名称:DataArtsIamUserGroup_IAM 策略配置方式:单击“JSON视图”,切换到JSON视图。 策略内容:在JSON视图中,输入如下JSON代码,并单击“确认”。 { "Version":
适用场景:源端为关系型数据库,目的端没有要求。 关键配置:Where子句+定时执行作业。 前提条件:数据表中有时间日期字段或时间戳字段。 关系数据库增量迁移方式,只对数据表追加写入,不会更新或删除已存在的记录。 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,
适用场景:源端为关系型数据库,目的端没有要求。 关键配置:Where子句+定时执行作业。 前提条件:数据表中有时间日期字段或时间戳字段。 关系数据库增量迁移方式,只对数据表追加写入,不会更新或删除已存在的记录。 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,
个人健康生理信息(体检信息、医疗记录) 个人生物识别信息(指纹、面部特征) 个人身份信息(身份证、社保卡、驾驶证) 其他信息(宗教信仰、精准定位) 敏感数据的保护方式 敏感数据识别与添加标签 从海量数据中将数据进行分类分级,方便进行不同粒度和级别的安全管理。 数据泄露检测与防护 如果出现频繁访问敏感数据的异常行为,可以及时进行风险告警。
TO_NULL_STRING TO_NULL 导入前清空数据 选择目的端表中数据的处理方式。 是:任务启动前会清除目标表中数据。 否:导入前不清空目标表中的数据,如果选“否”且表中有数据,则数据会追加到已有的表中。 是 换行符处理方式 对于写入Hive textfile格式表的数据中存在换行符的场景,指定对换行符的处理策略。
d,-N)] 前/后N周 $[yyyymmdd±7*N] 前/后N天 $[yyyymmdd±N] 前/后N小时 获取该时间数据包含如下两种方式: $[hh24miss±N/24] $[自定义时间格式±N/24]。 例如,取前一个小时的不同时间格式: 取月:$[mm-1/24]。 取年:$[yyyy-1/24]。
可以直接选择需要导入的图,也支持手动输入图名称。 如需新建GES图,请前往GES管理控制台进行新建。 元数据来源 是 元数据来源支持以下两种方式: 已有文件:从OBS桶中选择已有的xml格式元数据文件。 新建元数据:根据MRS Hive中的点表和边表,生成xml格式元数据文件到 OBS桶中。
待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 cdm 密码 用户名密码。 - SSL加密 可选参数,支持通过SSL加密方式连接数据库,暂不支持自建的数据库。 否 引用符号 可选参数,连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。 ' 父主题:
该参数仅DWS连接类型有效。DWS表当前支持复制(Replication)和散列(Hash)两种分布策略。用户可选取多个字段。 REPLICATION方式:在每一个DN节点上存储一份全量表数据。这种存储方式的优点是每个DN上都有此表的全量数据,在join操作中可以避免数据重分布操作,从而减小网络开销;缺点是每个DN都
中,配置clusterId=clusters[0].clusterId,后续的Rest Client节点就可以用${clusterId}的方式引用到集群列表中的第一个集群的cluster Id。 响应消息体解析为参数传递定义时,传递的参数名(例如clusterId)在该作业的所有
中,配置clusterId=clusters[0].clusterId,后续的Rest Client节点就可以用${clusterId}的方式引用到集群列表中的第一个集群的cluster Id。 响应消息体解析为参数传递定义时,传递的参数名(例如clusterId)在该作业的所有
系统自动生成一个补数据的任务名称,允许修改。 作业名称 显示需要补数据的作业名称。 调度时间方式 单段连续业务日期 补数据的时间是连续的业务日期时间段。 多段离散业务日期 补数据的时间是不连续的离散的业务日期时间段。 业务日期 当“调度时间方式”选择为“单段连续业务日期”: 选择需要补数据的时间段。业务日期
“OBS支持”设置为“是”时,呈现此参数。 AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图1所示。 图1