检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS场景时,在创建Hive连接前,需要用户在MRS管理界面的HDFS组件中配置OBS的AK、SK信息。 需确保MRS集群和DataArts Studio实例之间网络互通,网络互通需满足如下条件: DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群处于不同区域的情
开发一个MRS Flink作业 本章节介绍如何在数据开发模块上进行MRS Flink作业开发。 场景说明 本教程通过开发一个MRS Flink作业来实现统计单词的个数。 前提条件 具有OBS相关路径的访问权限。 已开通MapReduce服务MRS,并创建MRS集群。 数据准备 下
并保存该连接。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 前提条件 已具备CDM集群。 CDM集群与目标数据源可以正常通信。 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保C
则卡片中的,然后配置规则信息,如下图所示。 单击“下一步”,配置告警信息,如下图所示。 单击“下一步”,配置订阅信息,如下图所示。 单击“下一步”,配置调度信息,如下图所示。 单击“提交”,完成质量作业的创建。 在质量作业表中,单击操作列的“运行”,跳转到运维管理模块。 待质量作
"workspaceId" : [ { "value" : "1b59d3c777ad4d619b89eeac4f3cce87", "id" : "1b59d3c777ad4d619b89eeac4f3cce87", "count" : 1234,
Studio实例中的资源和数据,您需要注意以下几点: 购买DataArts Studio实例的区域需和免费试用的DataArts Studio实例的区域一致。 需购买同版本或更高版本的DataArts Studio实例。 试用实例的资源默认继承保留至第一个购买成功的实例中。 父主题:
请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于获取用户Token接口,如果调用后返回状态码为“201”,则表示请求成功。
如何查看表行数和库大小 在数据治理流程中,我们常常需要统计数据表行数或数据库的大小。其中,数据表的行数可以通过SQL命令或数据质量作业获取;数据库大小可以直接在数据目录组件中查看,详情请参考如下操作指导: 统计数据表行数 统计数据库大小 统计数据表行数 对于不同类型的数据源,DataArts
Storage Migration Service,简称OMS)是一种线上数据迁移服务,帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的对象存储服务(Object Storage Service,OBS)中。简言之,入云迁移、对象存储迁移。更多详情请参见对象存储迁移服务。
40/36 Gbit/s 64 - 其他场景中,可根据情况选择多个CDM集群同时迁移,加快迁移效率。MRS HDFS多副本策略会占用网络带宽,影响迁移速率。 华为云CDM创建连接 创建2个CDM集群: DataArts Studio实例中已经包含一个CDM集群(试用版除外),如果该集群
填写Json格式的请求消息体。当“HTTP方法”为“POST”、“PUT”时,显示该配置项。 是否需要判断返回值 否 设置是否判断返回消息的值和预期的一致。当“HTTP方法”为“GET”时,显示该配置项。 YES:检查返回消息中的值是否和预期的一致。 NO:不检查,请求返回200响应码(表示节点执行成功)。
资源管理”。单击“新建资源”,在数据开发模块中创建一个资源关联到1的JAR包,资源名称为“spark-example”。 图1 创建资源 提交Spark作业 用户需要在数据开发模块中创建一个作业,通过作业的DLI Spark节点提交Spark作业。 创建一个数据开发模块空作业,作业名称为“job_DLI_Spark”。
String 规则名称;rule_type为CUSTOM时用户可自定义名称,rule_type为BUILTIN时输入的名称需要和内置模板中的名称一致。 method 否 String 规则方式:REGULAR, NONE, DEFAULT;只有当rule_type为CUSTOM时才需要此参数。
CDM迁移数据到DWS时如何选取分布列? 问题描述 CDM迁移数据到DWS时如何选取分布列? 解决方案 在使用CDM迁移数据到数据仓库服务(DWS)或者FusionInsight LibrA,且CDM在DWS端自动创建一个新表时,在创建作业的字段映射界面,需要选择分布列,如图1所示。
认开启。 可覆盖 开启可覆盖时,新创建的策略将覆盖当前策略(新策略生效而旧策略不生效)。默认开启。 当用户需要创建一个临时访问策略时,“可覆盖”可以配合“有效时间”一起使用,那么即使临时访问策略超过有效期失效后,也不影响原有的权限策略继续生效。 审计日志 开启表示记录日志,日志内
考对应数据库的产品文档进行配置。 " 驱动版本 不同类型的关系数据库,需要适配不同的驱动,更多详情请参见如何获取驱动。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。
您可以在主题的搜索框中,输入所需查找的关键字进行查找,在公共空间下可查找所有。 编辑 您可以在主题列表中,选择一个对象,然后单击其名称右侧的按钮进行编辑。已发布的主题在编辑后如果要生效,需要在下拉框中选择修改后的草稿,然后进行发布。 删除 您可以在主题列表中,选择一个对象,单击上方“更多
说明: 当同一Agent连接多个MRS集群时,如果其中一个MRS集群被删除或状态异常,会影响另外一个正常的MRS集群数据连接。因此建议一个Agent对应一个MRS集群数据连接。 KMS密钥 否 通过代理连接时,是必选项。 通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。
不同类型的关系数据库,需要适配不同的驱动,更多详情请参见如何获取驱动。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 单次提交行数 可选参数,单击“显示高级属性”后显示。 指定每次批量提
压缩格式非无时,显示该参数。 该参数需要解压缩的文件后缀名。当一批文件中以该值为后缀时,才会执行解压缩操作,否则保持原样传输。当输入*或为空时,所有文件都会被解压。 * 文件分隔符 传输多个文件时,CDM使用这里配置的文件分隔符来区分各个文件,默认为|。列表文件选择“是”时,不显示该参数。