检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过SDK调用API前,需要获取如下认证信息: 访问服务前,首先需要得到API的ID、请求URL和请求方法 在数据服务的“API目录”页面,单击API名称,在“完整信息”页面查看API的ID、请求URL和请求方法。 图1 API基础定义 对于APP认证的API,您必须提供有效的AppKey、AppSecret才能够生成认证签名。
这次疫情是对我国治理体系和能力的一次大考。全民抗疫的过程中,缺乏有效数据支持就是缺乏对于疫情的快速响应机制、缺乏对于医疗资源合理调配的能力。 通过数据治理,我们可以构建开放通用的数据采集接口,提高数据采集效率;统一数据标准,轻松融合数据;建立跨平台的数据提取和数据追溯,实现开放
作业关联的CDM集群删除后,如何快速修复? 可能原因 作业关联的CDM集群已删除。 解决方案 CDM集群被删除后,作业中的关联信息会保留原配置。用户只需在CDM中新建同名集群和作业,作业将使用新的同名CDM集群和作业,同时提示用户原CDM集群和作业将被替代。 限制条件: 该功能于1
DataArts Studio数据集成是一种高效、易用的数据集成服务,围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。 数据集成即云数据迁移(Cloud Data
概览 本章节汇总了基于Migration实时数据集成服务常见应用场景的操作指导,每个实践我们提供了详细的方案描述和操作指导,用于指导您快速实现数据库迁移和同步。 表1 Migration基础实践一览表 数据源分类 源端数据源 对应目的端数据源 相关文档 关系型数据 MySQL Hadoop:MRS
"sftp-connector" } ] } 连接参数 FTP和SFTP的连接参数相同。 参数 是否必选 类型 说明 linkConfig.server 是 String FTP或SFTP服务器的地址。 linkConfig.port 是 String FTP或SFTP服务器端口号。
Flink作业执行的程序关键参数,该参数由用户程序内的函数指定。多个参数间使用空格隔开。 MRS资源队列 否 选择已创建好的MRS资源队列。 说明: 需要先在数据安全服务队列权限功能中,配置对应的队列后,才能在此处选择到已配置的队列。当有多处同时配置了资源队列时,此处配置的资源队列为最高优先级。
Studio调度大数据服务时,需要注意的地方需要说明一下。 解决方案 DLI和MRS作为大数据服务,不具备锁管理的能力。因此如果同时对表进行读和写操作时,会导致数据冲突、操作失败。 如果您需要对大数据服务数据表进行读表和写表操作,建议参考以下方式之一进行串行操作处理: 将读表和写表操作拆分为同一作业的不同节点
挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
通过内置的正则表达式规则,校验数据表中指定字段的合法情况。 正则表达式校验 通过输入自定义的正则表达式,校验数据表中指定字段的合法情况。 IP地址校验 通过内置的正则表达式规则,校验数据表中指定字段的合法情况。 电话格式校验 通过内置的正则表达式规则,校验数据表中指定字段的合法情况。
挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
k系统中最重要的两个部分:JobManager和TaskManager。 作业任务配置中调整的处理器核数、并发数、执行内存参数等便是用来调整JobManager和TaskManager的,默认情况下单个作业使用2U8G资源,会对应创建出1个JobManager进程和1个TaskM
些账号拥有表和字段的权限,并可回收不必要的表和字段的权限,也可对用户进行批量授权。 仅空间管理员可审计用户权限,包含查看用户列表、回收用户权限、对用户进行授权。 查看拥有表权限的账号和对应的资产列表 选择“数据表权限 > 用户权限”,查看同一工作空间内,已申请表权限的账号。 图3
会发送短信或邮件通知用户。该功能产生的消息通知不会计入收费项。 用户隔离:控制其他用户是否能够查看、操作该集群中的迁移作业和连接。 开启该功能时,该集群中的迁移作业、连接会被隔离,华为账号下的其他IAM用户无法查看、操作该集群中的迁移作业和连接。 按组批量启动作业会运行组内所有
Studio必须基于华为云底座部署。资源隔离场景下,支持以全栈专属云模式部署,另外也支持以华为云Stack和HCS Online混合云模式部署。 关于全栈专属云、华为云Stack和HCS Online的适用场景和差异等更多信息,欢迎通过咨询了解。 父主题: 咨询与计费
规则名称:设置数据权限规则的名称。 类型:当前支持从标签、密级和分类的维度进行过滤筛选。 范围:选择实际的标签、密级和分类。 用户:配置的数据目录权限规则所适配的用户。 生效:打开,表示该数据目录权限规则生效。反之,不生效。 数据目录权限规则生效后,仅该数据目录权限规则所适配的用户,可管理限
可用区故障的影响。一个区域内可以有多个可用区,不同可用区之间物理隔离,但内网互通,既保障了可用区的独立性,又提供了低价、低时延的网络连接。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。
全部作业/脚本:工作空间内的所有作业和脚本都开启审批。 自定义作业/脚本:自定义添加需要审批的作业/脚本。 选择“审批作业”页签,单击“添加”,进入“请选择要审批的作业”界面,选择需要审批的作业。 添加作业时会自动添加其关联的脚本。当选中目录时,仅将当前目录下的作业添加到需要审批的作业中。若在该目录下新创建作业,则需要再次添加。单击“确定”。
置MaxSessions的值。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell和Python脚本都是发往ECS主机的/tmp目录下去运行的,需要确保/tmp目录磁盘不被占满。 参数 否 填写执行Python语句时,向语句传递的参数,参数之间使用空格分隔,例如:a