检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建数据连接时,在代理模式下为什么选不到需要的CDM集群? 可能原因 创建数据连接时,在代理模式下选不到需要的CDM集群,可能是由于CDM集群关机。 解决方案 请确认CDM集群是否被关机。如果关机,请重新启动。 父主题: 数据开发
已新增Shell脚本,请参见新建脚本。 已新建主机连接,该Linux主机用于执行Shell脚本,请参见主机连接参数说明。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_con
表格存储服务(CloudTable) 连接CloudTable时,具体参数请参见CloudTable连接参数说明。 FTP SFTP 连接FTP或SFTP服务器时,具体参数请参见FTP/SFTP连接参数说明。 HTTP 用于读取一个公网HTTP/HTTPS URL的文件,包括第三方对象存储的公共读取场景和网盘场景。
约束限制 该功能依赖于OBS服务。 OBS路径仅支持OBS桶,不支持并行文件系统。 前提条件 修改工作空间的用户账号,需要满足如下任一条件: DAYU Administrator或Tenant Administrator账号。 DAYU User账号,但为当前工作空间的管理员。 修改方法
MRS约束限制: 在MRS集群场景中,优先级配置只支持使用MRS API模式的数据连接类型,不支持代理模式的数据连接。 DataArts Studio的MRS节点支持优先级功能,如果MRS集群如果是安全模式(Kerberos认证为开启状态),需要增加MRS Hive配置的白名单,需要配置以下
linkConfig.serverlist 是 String 服务器地址列表,格式如:“host1:port1;host2:port2”。 linkConfig.password 是 String 连接Redis服务器的密码。 linkConfig.dbIndex 是 String
在本地数据中心或ECS上自建的MySQL。本教程为您介绍如何创建MySQL连接器。 前提条件 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。 本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或
云数据库MySQL/MySQL数据库连接参数说明 Oracle数据库连接参数说明 DLI连接参数说明 Hive连接参数说明 HBase连接参数说明 HDFS连接参数说明 FTP/SFTP连接参数说明 Redis连接参数说明 DDS连接参数说明 CloudTable连接参数说明 MongoDB连接参数说明 Cassandra连接参数说明
监听间隔,可设置为1-60之间,单位为分钟。 超时时间,可设置为1-1440之间,单位为分钟。 偏移量 偏移量的单位为天。 输入偏移量的值。输入值必须在-366到366之间。默认为1。 当工作空间模式为业务日期模式时,偏移量设置为1时,则表示处理的是昨天的业务数据,偏移量设置为-1时,
选择Redis部署方式。 包括Single模式、Cluster模式、Proxy模式。 若手动参数选择集群名模式时,仅支持Cluster模式。 Redis数据库索引 是 Redis部署方式为Single时的必选项。 类似关系数据库的数据库名称。 例如:0。 配置文件路径 是 认证类型为KERBEROS时显示该参数。
离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 Elasticsearch服务器列表 是 一个或多个通过分号分割的服务器列表(服务器域名或IP地址:服务器端口)。 例如:192.168.0.1:9200;192.168.0.2:9200。 KMS密钥 是
作业抽取并发数的配置原则如下: 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取,超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置,但不建议超过集群最大抽取并发数上限。 目的端为DLI数据源时,抽取并发
创建Oracle关系型数据库迁移作业时,无法获取模式名怎么处理? 问题描述 创建Oracle关系型数据库迁移作业时,无法获取模式名。 原因分析 这是由于可能上传了暂不支持的最新ORACLE_8驱动(如Oracle Database 21c (21.3) drivers)。 解决方案
Single:表示单机部署。 Cluster:表示集群部署。 Proxy:表示通过代理部署。 Single Redis服务器列表 Redis服务器地址列表,输入格式为“数据库服务器域名或IP地址:端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 密码
配置DLI源端参数 配置OBS源端参数 配置SAP HANA源端参数 配置Kafka源端参数 配置Rest Client源端参数 配置DWS源端参数 配置FTP/SFTP源端参数 配置Doris源端参数 配置HBase 源端参数 配置ClickHouse源端参数 配置ElasticSearch源端参数
“手动”选择为“集群名模式”时需要配置本参数。 选择DWS集群,系统会显示所有项目ID和企业项目相同的DWS集群。 IP或域名 是 “手动”选择为“连接串模式”时需要配置本参数。 “IP或域名”如果手动填写,必须写内网IP,端口必须为对资源组网段放开的端口(如需设置请参见设置安全组规则),否则可能导致网络连接不通。
说明 参数名称 是 只支持英文字母、数字、“-”、“_”,最大长度为64字符,且参数名称不允许重名。 参数名称需根据脚本变量定义中设置的格式来命名。例如,脚本变量定义中设置的格式为${dlf.},参数名称需要设置为dlf.xxx。 参数值 是 参数值当前支持常量和EL表达式,不支
发责任人、运维管理员设置为管理员角色。 开发者:开发者拥有工作空间内创建、管理工作项的业务操作权限。建议将任务开发、任务处理的用户设置为开发者。 运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客
获取集群列表为空/没有权限访问/操作时报当前策略不允许执行? 问题描述 在使用CDM时,可能遇到如下权限相关的问题: 跳转到CDM首页,获取到的集群列表为空。 提示没有权限访问,如图1所示。 执行启动作业/重启集群等操作时,报错当前策略不允许执行,如图2所示。 图1 没有权限访问
离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 服务器列表 是 一个或多个通过逗号分割的服务器列表(服务器域名或IP地址:服务器端口)。 例如: 192.168.0.1:27017,192.168.0.2:27017。 KMS密钥