检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调度中,调用脚本、实例重跑、作业依赖、补数据等场景均是关联脚本/作业最新的已提交版本。 前提条件 已完成脚本开发任务。 提交脚本版本 “提交”会将当前开发态的最新脚本保存并提交为版本,并覆盖之前的脚本版本。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
SQL算子设置优先级。 历史作业实例取消策略 运维调度 配置等待运行作业实例的超期天数。当作业实例等待运行的时间,超过了所配置的期限天数时,作业实例将取消执行。超期天数,最小需配置2天,即至少需要等待2天,才可取消未运行的作业实例。超期天数默认为60天,单位:天。 历史作业实例告警策略 运维调度
时间-偏移量”。 TBL_E 使用SQL语句 “读取方式”选择“JDBC”时显示此参数。 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时显示此参数,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明:
CLIENT ON *.* TO '用户名'@'%'; 目标数据库连接账号 MRS用户需要拥有Hadoop和Hive组件的读写权限,建议参照下图所示角色及用户组配置MRS用户。 图1 MRS Hudi最小化权限 具体MRS集群角色权限管理请参考《MRS集群用户权限模型》。 建议创建单独用
不归档 脏数据写入连接 “脏数据策略”选择归档到OBS时显示该参数。 脏数据要写入的连接,目前只支持写入到OBS连接。 - 脏数据目录 脏数据写入的OBS目录。 - 脏数据阈值 是否写入脏数据为是时显示该参数。 用户根据实际设置脏数据阈值。 说明: 脏数据阈值仅针对每个并发生
只能授权给APP类型的应用。 IAM:IAM类型应用为IAM认证方式的API进行授权。IAM类型应用为实例级别配置,应用名称固定为华为账号,每个DataArts Studio实例下仅能创建一个,各工作空间之间均可见。 APP:APP类型应用为APP认证方式的API进行授权。您可以
id,name from sqoop.user; 模式或表空间 “使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。
驱动文件请根据驱动类型去相关官网上下载,并在选择弹窗中上传驱动,或在该弹窗中指定已上传的驱动文件。 数据源认证及其他功能配置 用户名 是 数据库的用户名,创建集群的时候,输入的用户名。 密码 是 数据库的访问密码,创建集群的时候,输入的密码。 数据集成配置 数据库名称 是 配置为要连接的数据库名称。 单次请求行数
图6 数据源路由表添加路由 云连接中转VPC的网络实例修改VPC CIDRs。 登录云连接控制台,在左侧导航栏,选择“云连接 > 云连接实例”,在列表中查找所用的云连接,单击名称进入配置界面,在“网络实例”页签中找到中转VPC的实例,单击右侧的“修改VPC CIDRs”按钮,在其他
系统支持批量导入对账作业,一次最大可导入4M数据的文件。导入作业时,导出的单元格内容最大长度支持65534个字符。 旧空间导出数据 请您登录控制台首页,选择并进入旧工作空间的“数据质量”模块,然后执行如下操作依次导出规则模板、导出质量作业、导出对账作业。 导出规则模板 在数据质
作业拆分字段 “拆分作业”选择“是”时,显示该参数,使用该字段将作业拆分为多个子作业并发执行。 - 拆分字段最小值 “拆分作业”选择“是”时,显示该参数,表示抽取数据时“作业拆分字段”的最小值。 - 拆分字段最大值 “拆分作业”选择“是”时,显示该参数,表示抽取数据时“作业拆分字段”的最大值。
xlarge),综合考虑迁移时间、成本、性能等,这里使用2个CDM超大规格集群并行迁移。CDM集群规格如表1所示。 表1 CDM集群规格 实例类型 核数/内存 最大带宽/基准带宽 并发作业数 适用场景 cdm.large 8核/16G 3/0.8 Gbps 16 单表规模≥1000万条。
该模块提供企业级的元数据管理,厘清信息资产。通过数据地图,实现数据资产的数据血缘和数据全景可视,提供数据智能搜索和运营监控。 查看工作空间数据地图 配置数据访问权限 配置数据安全策略(待下线) 采集数据源的元数据 数据目录典型场景教程
Studio实例(指DataArts Studio实例中的CDM集群)与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。 DataArts Studio实例(指DataArts Studio实例中的CDM集群)与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私
境或开发环境。默认发布到生产环境,不勾选则无法发布。 如果当前用户已被添加为审核人,则可以勾选“自助审批”,单击“确认提交”后,状态显示为“已发布”。 选择审核人时,系统支持选择多个审核人,全部审批通过后,状态才会显示为已发布。如果有任意一个人驳回,则状态为已驳回。 等待审核人员审核事实表。
数据安全运营 审计数据访问日志 诊断数据安全风险 查看表权限的拥有者(表权限视图) 查看用户的权限(成员权限视图) 父主题: 数据安全
表中可以查看已建好的数据标准且状态显示为“已发布”,已发布的数据标准才可被使用。 如果当前用户已被添加为审核人,则可以勾选“自助审批”,单击“确认提交”后,状态显示为“已发布”。 选择审核人时,系统支持选择多个审核人,全部审批通过后,状态才会显示为已发布。如果有任意一个人驳回,则状态为已驳回。
资源组VPC Migration实时计算资源组所属VPC,由于资源组创建在用户账户下属的资源租户,使用资源租户的VPC网段,因此不占用用户账户的VPC网段。 查看方式: 登录DataArts Studio控制台,进入实例,单击“资源管理”进入资源管理页面,在“实时资源管理”中单击指定资源组的下拉框,查看该资源组的VPC网段。
个工作空间分配。 总使用配额:表示当前实例下已使用的总配额,由系统自动统计。 总分配配额:表示当前实例下分配给所有工作空间可使用的总配额,由系统自动统计。 总配额:表示当前实例所拥有的最大总配额,固定值不可修改。 前提条件 修改工作空间的用户账号,需要满足如下任一条件: DAYU
然后进入到作业开发页面,拖动MRS Hive SQL节点到画布中并单击,配置节点的属性。 图3 配置MRS Hive SQL节点属性 关键属性说明: 节点名称:默认显示为SQL脚本“hive_sql”的名称,支持修改。 SQL脚本:关联开发Hive SQL脚本中开发完成的Hive SQL脚本“hive_sql”。