正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mysql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入
CDM迁移性能如何? 单个cdm.large规格实例理论上可以支持1TB~8TB/天的数据迁移,实际传输速率受公网带宽、集群规格、文件读写速度、作业并发数设置、磁盘读写性能等因素影响。更多详情请参见性能白皮书。 父主题: 数据集成
920:正在开机。 表4 ClusterDetailInstance 参数 参数类型 描述 flavor flavor object 节点的虚拟机规格,请参见flavor参数说明(查询集群列表时返回值为null)。 volume volume object 节点的磁盘信息,请参见vol
jar格式驱动。 前提条件 已创建集群。 已参见表1下载对应的驱动。 已参见FTP/SFTP连接参数说明创建SFTP连接并将对应的驱动上传至线下文件服务器(可选)。 如何获取驱动 不同类型的关系数据库,需要适配不同类型的驱动。注意,上传的驱动版本不必与待连接的数据库版本相匹配,直接参考表1获取建议版本的JDK8
推荐您在正式迁移前,可先用小数据量实测进行速度摸底。 环境信息 CDM集群为xlarge规格,2.9.1 200版本。 性能测试中,表数据规格为5000W行100列,HDFS二进制文件数据规格分别为3597W行100列、6667W行100列和10000W行100列。 多并发抽取/
Flink生态,实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值。 MapReduce服务(MRS HBase) HBase是一个开源的、面向列(Column-Ori
大抽取并发数上限。 目的端为DLI数据源时,抽取并发数建议配置为1,否则可能会导致写入失败。 其中,集群最大抽取并发数的设置与CDM集群规格有关,并发数上限建议配置为vCPU核数*2。例如8核16GB规格集群的最大抽取并发数上限为16。 3 分片重试次数 每个分片执行失败时的重试次数,为0表示不重试。
配置HDFS目的端参数 表1 HDFS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 写入目录 写入数据到HDFS服务器的目录。 /user/cdm/output 文件格式 传输数据时使用的格式。其中CSV和JSON仅支持迁移到数据表场景,二进制格式适用于文件迁移场景。
当用户不需要使用某个资源时,可以删除该资源。 删除资源前,请确保该资源未被作业使用。 删除资源的时候,如果资源被作业引用,单击删除时,会自动弹出“删除资源”的界面,单击“确定”,会自动弹出“引用列表”的界面,可以查看资源被哪些作业所引用,单击“查看”可跳转到作业页面进行查看详情。 在数据开发主界面的左侧导航栏,选择“配置管理
son存在反序列化漏洞(CNVD-2022-40233)等,如发现服务模块涉及漏洞影响,会迅速通过官方解决方案升级现网更新漏洞。 更新配置 DataArts Studio云服务通过版本更新升级更新配置。 父主题: 安全
工作空间级别的全局委托。适用于该空间内的所有作业。配置公共委托请参考配置公共委托。 访问标识(AK) 是 使用委托为否是显示该参数。 AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。
作业中目的连接为HDFS连接时,目的端作业参数如表1所示。 表1 HDFS作为目的端时的作业参数 参数名 说明 取值样例 写入目录 写入数据到HDFS服务器的目录。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。
HTTP请求方式,表示请求什么类型的操作,包含GET、POST等,遵循resultful风格。 GET:请求服务器返回指定资源,推荐使用GET请求。 POST:请求服务器新增资源或执行特殊操作。POST请求当前不支持body体,而是直接透传。 描述 对API进行简要描述。 标签
删除作业 当用户不需要使用某个作业时,可以参考如下操作删除该作业,以减少作业的配额占用。 作业删除后,将无法恢复,请确保删除作业后,不影响业务。 普通删除 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Stu
11 9:40,那么这条记录会保存在分区trip_data/2018/201805/20180511下面。对trip_data进行按时间维度统计汇总时,只需要对局部数据扫描,大大提升性能。 创建CDM集群并绑定EIP 关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm
配置SQLServer源端参数 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 表1 SQLServer作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句
若关联的SQL脚本,脚本参数发生变化,可单击刷新按钮同步。 运行模式 是 配置Flink作业的运行模式。 批处理:指Flink作业为批模式运行,节点会一直等待Flink作业执行完成才结束。 流处理:指Flink作业为流处理运行模式,节点执行时只要作业启动成功即执行成功。后续每次周期运行时检
果作业名称不符合规则,将导致提交MRS作业失败。 运行模式 是 配置Spark作业的运行模式。 批处理:指Spark作业为批模式运行,节点会一直等待Spark作业执行完成才结束。 流处理:指Spark作业为流处理运行模式,节点执行时只要作业启动成功即执行成功。后续每次周期运行时检
配置PostgreSQL源端参数 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 表1 PostgreSQL作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句
当使用AK/SK方式认证时,使用SDK对请求进行签名的过程中会自动填充该字段。 使用AK/SK认证时必选。 20150907T101459Z Host 请求的服务器信息,从服务API的URL中获取。值为hostname[:port]。端口缺省时使用默认的端口,https的默认端口为443。 使用AK/SK认证时必选。