检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API管理”页面,进入API管理页面。 勾选待同步的API所在行,在API列表上方,选择并单击“更多 > 同步至数据地图”。 图2 同步至数据地图 在同步结果页面,查看同步状态和详情,确认API同步结果。 图3 同步结果 仅已发布状态的API支持同步至数据地图。 仅以下数据源的API支持同步:DLI、DWS、HBase、Clickhouse。
性可以考虑设置为false关闭compaction操作,将Hudi Compaction单独拆成Spark作业交由MRS执行,具体可以参考如何配置Hudi Compaction的Spark周期任务?。 compaction.delta_commits int 5 实时处理集成生成compaction
式、审核人、安全认证以及请求参数。 入口API算子的配置方法,详见配置入口API算子。 API目录 普通API 必选 普通API是执行数据查询操作的算子。普通API即已创建的数据API,编排API时您可以从API目录内拖拽一个普通API作为执行算子进行取数,并将请求参数或结果集作为变量传递下去。
用作业节点名称同步变化禁用该功能。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试
中心三大子模块。具备的功能如下所示: 权限自助申请:用户可以选择自己需要权限的数据表,在线上快速发起申请。 权限审计:管理员可以快速方便地查看数据库表权限对应人员,进行审计管理。 权限回收/交还:管理员可以通过用户权限管理及时回收用户权限,用户也可以主动交还不再需要的权限。 权限
在任务创建、启动、全量同步、增量同步、结束等过程中,如有遇到问题,可先参考常见问题章节进行排查。 其他限制 - 操作步骤 本小节以MongoDB到DWS的实时同步为示例,介绍如何配置Migration实时集成作业。配置作业前请务必阅读使用前自检概览, 确认已做好所有准备工作。 参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。
风险”进行优化,保障数据使用过程的安全可靠。 另外,中风险及高风险等级的风险问题属于潜在的安全隐患,建议您尽快处理。下图以敏感数据保护为例查看该检查项目前的风险等级及诊断结果。 图3 安全诊断结果 父主题: 数据安全运营
} ] } 其他参数保持不变,单击“保存并运行”。 作业完成后,查询DWS表中的数据是否和HBase中的数据匹配。如果不匹配,请检查JSON文件中HBase和DWS字段的顺序是否一致。 父主题: 数据集成(CDM作业)
例如包含Import GES节点的作业,您只需要创建自定义策略,并勾选ges:graph:getDetail(查看图详情),ges:jobs:getDetail(查询任务状态),ges:graph:access(使用图)这三个授权项即可。 当满足如下条件之一时,MRS集群才支持委托方式提交作业。
标签”。在“标签”对话框中,单击“添加/编辑标签”为工作空间关联标签。 查看配额使用量:在“空间管理”页面,找到所需编辑的工作空间,单击其所在行的“配额使用量”,此时显示“配额使用量”页面。在“配额使用量”页面,您可以查看当前空间内,各配额规格的使用量。 置顶工作空间:在“空间管理”页面
线。 约束与限制 仅管理员角色的用户支持创建、删除、修改数据目录权限规则和设置数据目录权限生效状态。 开发者、运维者和访客角色的用户仅支持查看数据目录权限规则和规则列表。 管理数据目录权限规则 在DataArts Studio控制台首页,选择对应工作空间的“数据目录”模块,进入数据目录页面。
示业务指标及其详情。 DataArts Studio中的技术元数据来源于元数据采集任务,您需要在创建并运行元数据采集任务后才能在数据地图中查看元数据。 父主题: 采集数据源的元数据
请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 说明: 多个DataArts Studio实例需要指定工作空间。 当工作空间
删除敏感数据发现任务会删除对应任务的识别结果,请谨慎操作。 删除操作无法撤销,请谨慎操作。 查看运行实例日志:在敏感数据发现页面,找到需要查看实例的任务,单击展开,即可找到运行实例。随后单击“操作 > 查看日志”,查看运行实例日志。 运行失败可通过日志排查失败原因,问题修正后尝试重新运行。如果仍运行失败,请联系技术支持人员协助处理。
地址,获取到导出的zip文件。 图3 选择并导出作业 在弹出的“导出作业”界面,选择需要导出的作业范围和状态,单击“确定”,可以在下载中心查看导入结果。 图4 导出作业 导出环境变量 单击左侧导航上的“配置”,进入环境变量页面。 单击环境变量配置下的“导出”,导出环境变量。 图5
在数据架构控制台,单击左侧导航树中的“流程设计”,进入流程设计页面。 单击流程列表上方的“导出”按钮,等待几秒钟后,页面右上角提示“流程导出成功”,可以查看导出的流程。 “流程”作为层级联动性质, 导出均默认为全量导出, 不支持筛选。流程导出的是全部流程信息,并不是用户的勾选项。 导入流程 在
HH:mm:ss, -1, DAY)}', 执行Analyze语句 数据全部写入完成后会异步执行ANALYZE TABLE语句,用于优化Hive表查询速度。 执行的SQL如下: 非分区表:ANALYZE TABLE tablename COMPUTE STATISTICS 分区表:ANALYZE
务中的连接信息,避免任务连接失败后的自动重试导致数据库账号被锁定,影响使用。 不同链路、数据库、权限要求不同,可参考以下链接,选择对应链路查看使用须知:使用教程。 连接准备 准备DataArts Studio管理中心数据连接。 说明: 数据连接配置中必须勾选数据集成选项。 数据连
规则管理是配置规则的主要入口,支持通过指标的逻辑表达式定义规则。 业务场景管理 业务场景可以认为是业务指标质量作业,将创建的规则组进行调度运行。 运维管理 运维管理用于查看业务场景运行状态,处理运维问题。其中我的订阅中显示了所有订阅的任务运行情况。 父主题: 业务指标监控(待下线)
质量作业可将规则模板或自定义规则应用到表中,进行数据质量监控。 对账作业 对账作业可将创建的规则应用到两张表中进行质量监控,并输出对账结果。 运维管理 运维管理用于查看规则运行状态,处理运维问题。 质量报告 系统根据作业的结果,会自动生成质量报告。 父主题: 数据质量监控