检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FACT_LOGIC_TABLE: 事实表 FACT_MEASURE: 事实表度量 FUNCTION: 函数 INFO_ARCH: 信息架构(批量修改主题使用) MODEL: 模型 QUALITY_RULE: 质量规则 SECRECY_LEVEL: 密级 STANDARD_ELEMENT:
Studio实例中已经包含一个CDM集群(试用版除外),如果该集群已经满足需求,您无需再购买数据集成增量包,可以跳过这部分内容。 如果您需要再创建新的CDM集群,请参考购买批量数据迁移增量包章节,完成购买数据集成增量包的操作。 集群规格选择“cdm.xlarge”。 集群所属的VPC与MRS所属的VPC一致,同时也要与云专线连通的VPC的一致。
步”,将该策略同步到数据源中。 相关操作 同步策略:在行级访问控制页面,单击对应任务操作栏中的“同步”,即可将该策略同步到数据源中。当需要批量同步时,可以在勾选策略后,在列表上方单击“同步”。 只有处于“同步成功”状态的策略才能生效。如果策略同步失败,可通过查看策略详情查看策略运
FACT_LOGIC_TABLE: 事实表 FACT_MEASURE: 事实表度量 FUNCTION: 函数 INFO_ARCH: 信息架构(批量修改主题使用) MODEL: 模型 QUALITY_RULE: 质量规则 SECRECY_LEVEL: 密级 STANDARD_ELEMENT:
选择是否开启HBase的预写日志机制(WAL,Write Ahead Log)。 是:开启后如果出现HBase服务器宕机,则可以从WAL中回放执行之前没有完成的操作。 否:关闭时能提升写入性能,但如果HBase服务器宕机可能会造成数据丢失。 否 匹配数据类型 是:源端数据库中的Short、Int、Lon
FACT_LOGIC_TABLE: 事实表 FACT_MEASURE: 事实表度量 FUNCTION: 函数 INFO_ARCH: 信息架构(批量修改主题使用) MODEL: 模型 QUALITY_RULE: 质量规则 SECRECY_LEVEL: 密级 STANDARD_ELEMENT:
需要修改水印策略状态时,在动态水印页面单击对应水印策略中的或,即可启用或关闭水印策略。 删除策略:在动态水印页面,单击对应任务操作栏中的“删除”,即可删除策略。当需要批量删除时,可以在勾选策略后,在列表上方单击“删除”。 删除操作无法撤销,请谨慎操作。 查看策略详情:在动态水印页面,找到需要查看的策略,单击策略名即可查看策略详情。
更多案例参考 For Each节点可与其他节点配合,实现更丰富的功能。您可以参考以下案例,了解For Each节点的更多用法。 通过CDM节点批量创建分表迁移作业 根据前一个节点的输出结果进行IF条件判断 父主题: 使用教程
写入模式 enum UPSERT MODE DWS的写入模式,可在“目的端配置”中设置。 UPSERT MODE:为批量更新入库模式。 COPY MODE:为DWS专有的高性能批量入库模式。 实时处理集成作业推荐使用Copy Mode。 批写最大数据量 int 50000 DWS单次写入的最大条数,可在“目的端配置”中设置。
感数据发现结果并进行手工修正。推荐您使用方式1,相比于方式2,方式1支持修改数据密级、分类,无需切换页面即可完成敏感数据查看与修正,并支持批量操作。 (推荐)方式1:在“敏感数据分布”页签,单击展开数据源详情,查看敏感数据情况,并手工修正数据密级、分类以及数据状态。 确认:确认该
完成维度的发布。 企业模式下,进行发布时,可以选择发布到生产环境或开发环境。默认发布到生产环境,不勾选则无法发布。 您也可以执行以下步骤批量发布维度: 在数据架构控制台,单击左侧导航树中的“维度建模”,进入相应页面后,选择“维度”页签。 在维度列表中勾选需要发布的维度,单击列表上方的“发布”。
FACT_LOGIC_TABLE: 事实表 FACT_MEASURE: 事实表度量 FUNCTION: 函数 INFO_ARCH: 信息架构(批量修改主题使用) MODEL: 模型 QUALITY_RULE: 质量规则 SECRECY_LEVEL: 密级 STANDARD_ELEMENT:
更多案例参考 For Each节点可与其他节点配合,实现更丰富的功能。您可以参考以下案例,了解For Each节点的更多用法。 通过CDM节点批量创建分表迁移作业 根据前一个节点的输出结果进行IF条件判断 父主题: 数据开发进阶实践
工作空间级别的全局委托。适用于该空间内的所有作业。配置公共委托请参考配置公共委托。 访问标识(AK) 是 使用委托为否时显示该参数。 AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。
自定义作业的名称,只能包含英文字母、数字、中文、“-”、“_”、“.”,且长度为1~128个字符。 作业类型 选择作业的类型。 批处理作业:按调度计划定期处理批量数据,主要用于实时性要求低的场景。批作业是由一个或多个节点组成的流水线,以流水线作为一个整体被调度。被调度触发后,任务执行一段时间必须结束,即任务不能无限时间持续运行。
操作栏中的“编辑”,即可编辑hetu权限同步策略。 删除策略:在hetu权限同步页面,单击对应任务操作栏中的“删除”,即可删除策略。当需要批量删除时,可以在勾选策略后,在列表上方单击“删除”。 删除操作无法撤销,请谨慎操作。 查看策略详情:在hetu权限同步页面,找到需要查看的策
查看权限。 已在MapReduce服务创建MRS集群,确保与DataArts Studio实例网络互通。 已创建CDM集群,详情请参见购买批量数据迁移增量包章节。 创建数据迁移连接 登录DataArts Studio控制台,单击相应工作空间后的“数据集成”。 在集群管理页面,单击
桶类型分为对象桶和并行文件系统,对象桶过滤文件会比较慢,建议客户使用并行文件桶。 linkConfig.server 是 String OBS服务器的终端节点(Endpoint)。 linkConfig.port 是 String 数据传输协议端口,https是443,http是80。
即可编辑策略。 删除策略:在MRS Yarn队列详情页面,单击对应策略操作栏中的“删除”,即可删除策略。当需要批量删除时,可以在勾选策略后,在策略列表上方单击“批量删除”。 删除操作无法撤销,请谨慎操作。 修改权限:在DLI队列详情页面,单击对应授权项操作栏中的“修改权限”,即可修改对该用户所授予的权限。
通过DataArts Studio管理控制台 > 数据集成,在批量数据迁移集群列表可以获取到集群名称。 jobName 是 String 作业名称。 通过DataArts Studio管理控制台 > 数据集成,在批量数据迁移集群列表单击对应的集群管理,进入后在作业管理中获取作业名称。