检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请联系客服或技术支持人员。 基础与网络连通配置 主机名或IP 是 服务器的IP地址或者主机名。 例如：sftp.apache.org或192.168.0.1。 端口 是 主机的SSH端口号。 数据传输超时时间 是 数据传输过程中连接服务器超时时间，单位毫秒。 默认值为：600000。
CDM集群与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同，如果不同，需要修改工作空间的企业项目。
供，不再作为数据目录组件能力。 数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-北京四、华南-广州和西南-贵阳一区域部署上线。 约束与限制 仅管理员角色的用户支持管理审批人，可新建和删除审批人。 审批管理 用户可在审批中心页面，查看自己提交的申请及进度，查看
400 图1 配置节点并发数 单击“保存”，完成配置。 查看历史节点并发数 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 选择“节点并发数”。 在历史节点并发数界面，选择历史时间段。 单击“确定”。 查看历史节点并发数的时间区间最大为24小时。 父主题： 配置
担压力。 数据集成配置 数据库名称 是 配置为要连接的数据库名称。 例如：dbname 驱动版本 否 选择ClickHouse驱动版本。 CLICKHOUSE_0_3_1：适用于连接ClickHouse 20.7以下版本，此驱动版本不支持多IP连接数据库服务器。 CLICKHOU
拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，您还必须确保该云服务的实例与DataArts Studio工作空间所属
SQL脚本构建一个周期执行的作业，使得该脚本能定期执行。 创建一个批处理作业，作业名称为“job_dws_sql”。 然后进入到作业开发页面，拖动DWS SQL节点到画布中并单击，配置节点的属性。 图2 配置DWS SQL节点属性 关键属性说明： SQL脚本：关联开发DWS SQL脚本中开发完成的DWS SQL脚本“dws_sql”。
指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 连接属性 否 适用组件勾选数据集成后，呈现此参数。 可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下： connect
生产环境进行数据湖引擎配置，才可以实现开发生产环境隔离。配置开发生产环境隔离包含以下三种方式： 图1 配置开发生产环境隔离 配置两套数据湖服务，进行开发与生产环境隔离。 对于集群化的数据源（例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS等），DataArts
MySQL迁移时报错“JDBC连接超时”怎么办？ 创建了Hive到DWS类型的连接，进行CDM传输任务失败时如何处理？ 如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶？ 如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？ 如何处理CDM连接器报错“配置项 [linkConfig.iamAuth]
配置HDFS目的端参数 作业中目的连接为HDFS连接时，目的端作业参数如表1所示。 表1 HDFS作为目的端时的作业参数 参数名 说明 取值样例 写入目录 写入数据到HDFS服务器的目录。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配
作业调度等其他作业参数无需配置，保持默认即可。 图2 job1作业DIS Client节点配置 在另一个工作空间B，新建数据开发作业job_agent。分别选择Dummy节点和Subjob节点，选中连线图标并拖动，编排图3所示的作业。 图3 job_agent作业调度配置 Dummy节点不
表、业务指标、技术指标、数据集市汇总表的导入导出，暂不支持时间限定、审核中心和配置中心数据的导入导出。 本例中以导入和导出关系建模表为例说明如何进行导入导出，其他数据操作类似。如果您想了解其他数据如何导入导出以及使用场景等，请参考数据架构数据搬迁。 约束与限制 导入关系建模表、逻
在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 单击“调度身份配置”，公共调度身份选择“公共委托”。 单击右边的“+”在委托列表中选择合适的委托，也可重新创建委托。创建委托和配置权限，请参见参考：创建委托和参考：配置委托权限。 图1 配置工作空间级委托 单击“确定”，回到调度身份配置页面，再单击，完成公共委托配置。
配置OBS目的端参数 支持使用CSV、CarbonData或二进制格式批量传输大量文件到OBS。 表1 OBS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 写入数据的OBS桶名。 bucket_2 写入目录 写入数据到OBS服务器的目录，目录前面不加“/”。
云上数据平台快速搭建 快速将线下数据迁移上云，将数据集成到云上大数据服务中，并在DataArts Studio的界面中就可以进行快速的数据开发工作，让企业数据体系的建设变得如此简单。 优势 数据集成一键式操作 通过在服务界面配置化操作，可实现线上线下数据快速集成到云数据仓库。 支持多种数仓服务类型
确。 图1 资源权限配置页面 单击待创建权限策略HDFS组件下“hacluster”的“配置” ，进入配置界面单击“创建”，新建权限策略。 图2 新建权限策略 在弹出的策略配置页配置相关参数，配置完成单击“确定”，策略配置完成。 图3 配置权限策略 表2 配置HDFS权限策略参数说明
配置Redis源端参数 第三方云的Redis服务无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 作业中源连接为从本地Redis导出的数据时，源端作业参数如表1所示。 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例
虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，还需确保该MRS集群与DataArts Studio工作空间所属的企业
创建一个数据开发模块空作业，作业名称为“job_MRS_Spark_Python”。 图2 新建作业 进入到作业开发页面，拖动“MRS Spark Python”节点到画布中并单击，配置节点的属性。 图3 配置MRS Spark Python节点属性 参数设置说明： --master yarn --deploy-mode
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
