检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
default数据库中的数据表进行脱敏。 *目标表名 用户手动输入,不能与目标端数据库表名重复。当输入的表名不存在时会创建该表。 输入请单击“测试”,测试创建目标表并检测目标表是否可用,否则将无法进行下一步操作。 执行引擎 *执行引擎 选择运行脱敏任务的引擎。不同脱敏场景下支持的引擎和注意事项如表3所示。
定期为员工开展数据安全意识培训,纠正工作中的不良习惯,降低因意识不足带来的数据安全风险。 技术能力培养方式。一方面,构建组织内部的数据安全学习专区,营造培训环境,通过线上视频、线下授课相结合的方式,按计划、有主题的定期开展数据安全技能培训,夯实理论知识。另一方面,通过开展数据安全
数据连接,根据DLF配置的调度身份执行CDM作业。 公共委托 否 适用组件勾选数据集成且“使用委托”选择“是”时,呈现此参数。 仅涉及用于测试该连接委托功能是否正常,作业运行将根据DLF配置的调度身份执行CDM作业。 访问标识(AK) - 适用组件勾选数据集成且“OBS支持”选择“是”时,呈现此参数。
默认在DataArts Studio数据开发组件执行脚本、测试运行作业时,数据源(此处指MRS/DWS数据源)会使用数据连接上的账号进行认证鉴权。因此在数据开发时,权限管控依然无法生效。需要您启用细粒度认证,使得在数据开发执行脚本、测试运行作业时,使用当前用户身份认证鉴权,从而做到实现不
略,因此需要先将IAM上的用户信息同步到数据源上,详见同步IAM用户到数据源。 如果希望在DataArts Studio数据开发执行脚本、测试运行作业时,使用当前用户身份认证鉴权以实现行级访问控制策略生效,则需要启用细粒度认证。 为确保行级访问控制策略生效,须确保策略中指定的用户
图1 数据连接 创建一个到DLI的连接,数据连接类型选择“数据湖探索(DLI)”,数据连接名称设置为“dli”。 完成设置后,单击“测试”,测试成功后单击“确定”,完成DLI数据连接的创建。 图2 创建数据连接 DLI连接创建完成后,跳转到数据开发页面。 图3 跳转到数据开发页面
rts Studio功能,工作空间的划分通常按照分子公司(如集团、子公司、部门等)、业务领域(如采购、生产、销售等)或者实施环境(如开发、测试、生产等),没有特定的划分要求。 工作空间从系统层面为管理者提供对使用DataArts Studio的用户(成员)权限、资源、DataArts
调试API工作流:在API工作流列表页面,单击对应工作流操作栏中的“更多 > 调试”,即可进入API工作流调试页面。 在添加请求参数后,单击“开始测试”,右侧返回结果回显区域打印API调用的Response信息。调试流程与API调试流程基本一致,可参考调试API。 发布API工作流:在A
”。 obs_rds(CDM Job节点):在节点属性中,关联创建CDM作业中创建的CDM作业“obs_rds”。 作业编排完成后,单击,测试运行作业。 如果日志运行正常,单击右侧的“调度配置”,配置作业的调度策略。 图12 调度配置 说明: 2018/10/10至2018/11/09,每天2点执行一次作业。
rts Studio功能,工作空间的划分通常按照分子公司(如集团、子公司、部门等)、业务领域(如采购、生产、销售等)或者实施环境(如开发、测试、生产等),没有特定的划分要求。 工作空间从系统层面为管理者提供对使用DataArts Studio的用户(成员)权限、资源、DataArts
{ "id" : "95d4e992-6e3c-11ea-8e90-fa163e35", "name" : "测试专用小规格(X86)", "disk" : 120, "cpu" : 8, "mem" : 16
套餐包方式购买数据集成集群:套餐包方式相对于按需计费更优惠,对于长期使用者,推荐该方式。 数据服务专享集群增量包 数据服务定位于标准化的数据服务平台,提供一站式数据服务开发、测试部署能力,实现数据服务敏捷响应,降低数据获取难度,提升数据消费体验和效率,最终实现数据资产的变现。数据服务当前提供共享版与专享版两种服务方
"flavor" : { "id" : "95d4e992-6e3c-11ea-8e90-fa163e35", "name" : "测试专用小规格(X86)", "disk" : 120, "cpu" : 8, "mem" : 16 }, "gateway_version"
、溪流和其他来源,并且是原始数据。 表2 数据湖与数据仓库的对比 维度 数据湖 数据仓库 应用场景 可以探索性分析所有类型的数据,包括机器学习、数据发现、特征分析、预测等 通过历史的结构化数据进行数据分析 使用成本 起步成本低,后期成本较高 起步成本高,后期成本较低 数据质量 包
源表名不存在的问题。 如下图所示: 图10 配置关键参数 配置完成后单击“保存并提交版本”,以保存主作业。 创建主作业和子作业完成后,通过测试运行主作业“集成管理”,检查数据集成作业创建情况。运行成功后,创建并运行CDM子作业成功。 图11 查看作业创建情况 注意事项 由于CDM
况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。 EMBEDDED 检查Hive JDBC连通性 是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群
支持使用变量。 作业开发 提供图形化设计器,支持拖拽式工作流开发,快速构建数据处理业务流水线。 预设数据集成、SQL、Spark、Shell、机器学习等多种任务类型,通过任务间依赖完成复杂数据分析处理。 支持导入和导出作业。 资源管理 支持统一管理在脚本开发和作业开发使用到的file、jar、archive类型的资源。
况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。 EMBEDDED 检查Hive JDBC连通性 是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群
规则,规则中只能包含字母、数字、下划线(_)和通配符(*),例如 匹配规则为test_*时,表示匹配以“test_”开头的表。您也可以通过测试窗口,验证匹配规则是否符合预期。 通配符匹配适用于规则较多、结果表较多的情况。 全部:无需筛选或输入规则,直接选择当前数据库下的所有表作为任务目标表。
引用符号 否 配置引用符号,例如"。 数据库包围标识符。对某些数据库意味着大小写敏感,如不需用请置空。 检查streamLoad连通性 否 测试Doris streamLoad连通性,当使用场景通过streamLoad方式写数据的时候时,需要保证该连通正常。 创建MRS安全集群的kerberos认证用户