检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MySQL迁移时报错“JDBC连接超时”怎么办? 创建了Hive到DWS类型的连接,进行CDM传输任务失败时如何处理? 如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题? 如何处理CDM连接器报错“配置项
配置Doris目的端参数 表1 Doris作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
配置GBase目的端参数 表1 GBase作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 SCHEMA_EXAMPLE 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
配置ClickHouse目的端参数 表1 ClickHouse作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
群配置文件的OBS存放路径。 keytab文件路径 是 认证类型为KERBEROS时显示该参数。 配置keytab文件的OBS存放路径。 Principal名称 是 认证类型为KERBEROS时显示该参数。 Kerberos认证用户名。kerberos集群时,需要上传相应的keytab文件。
选择驱动文件的来源方式。 驱动文件路径 是 “驱动文件来源”选择“OBS路径”时配置。 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。 驱动包下载地址:https://www.oracle.com/database/technologies/appdev/jdbc-downloads
配置OBS目的端参数 配置SAP HANA目的端参数 配置ClickHouse目的端参数 配置Doris目的端参数 配置HBase 目的端参数 配置MongoDB目的端参数 配置MRS Kafka目的端参数 配置GBase目的端参数 配置Redis目的端参数 配置HDFS目的端参数
目的端为Hive JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
可选择列表文件所在的OBS连接。 OBS_test_link 列表文件OBS桶 当“列表文件”选择为“是”时,才有该参数。该参数表示列表文件所在的OBS桶名。 01 列表文件或目录 当“列表文件”选择为“是”时,才有该参数。该参数表示列表文件所在的OBS桶中的绝对路径或目录。
目的端为HBase/CloudTable JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name":
目的端为Elasticsearch/云搜索服务 JSON样例 "to-config-values": { "configs": [ { "inputs": [
配置CDM作业目的端参数 配置OBS目的端参数 配置HDFS目的端参数 配置HBase/CloudTable目的端参数 配置Hive目的端参数 配置MySQL/SQL Server/PostgreSQL目的端参数 配置Oracle目的端参数 配置DWS目的端参数 配置DDS目的端参数 配置Redis目的端参数
CSV_FILE:CSV格式,用于迁移文件到数据表的场景。 JSON_FILE:JSON格式,一般都是用于迁移文件到数据表的场景。 BINARY_FILE:二进制格式,不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。 当选择“BINARY_FILE”时,目的端也必须为文件系统。
仅当在数据开发组件作业中通过DLI Spark节点选择自定义镜像时,需要容器镜像服务中的镜像读取权限,推荐账号管理员通过镜像授权的方式为用户授予权限(SWR管理员权限账号登录容器镜像服务SWR控制台,在左侧导航栏选择“我的镜像”,进入所需自定义镜像的镜像详情页面,为用户授予该镜像的读取权限)。否则,则需要为用户授予SWR
在本用户账户下创建虚拟私有云和子网,作为中转VPC,详情请参见创建虚拟私有云和子网。如当前账户已有可用VPC,可以跳过本步骤。 在华为云购买并配置云专线或VPN虚拟专用网络。 为了连通其他云计算环境与华为云计算环境,可以通过开通云专线或虚拟专用网络来实现。 购买和配置云专线DC的相关操作,可以参考通过云专线
选择自定义镜像和对应版本。仅当DLI队列为容器化队列类型时,出现本参数。 自定义镜像是DLI的特性。用户可以依赖DLI提供的Spark或者Flink基础镜像,使用Dockerfile将作业运行需要的依赖(文件、jar包或者软件)打包到镜像中,生成自己的自定义镜像,然后将镜像发布到S
数据治理框架 数据治理框架 数据治理模块域 数据治理各模块域之间的关系
管理工作空间 创建并管理工作空间 设置工作空间配额 (可选)修改作业日志存储路径
授权用户使用DataArts Studio 创建IAM用户并授予DataArts Studio权限 (可选)自定义工作空间角色 添加工作空间成员和角色
购买DataArts Studio实例 购买DataArts Studio基础包 (可选)购买DataArts Studio功能增量包 (可选)购买规格增量包