检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
equests”库。 pip install requests 如果pip安装requests遇到证书错误，请下载并使用Python执行此文件，升级pip，然后再执行以上命令安装。 获取并安装IntelliJ IDEA，如果未安装，请至IntelliJ IDEA官方网站下载。 已在IntelliJ
Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业，源连接选择为HBase连接或CloudTable连接时，高级属性的可选参数中可以配置时间区间。 图1 HBase时间区间 起始
Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业，源连接选择为HBase连接或CloudTable连接时，高级属性的可选参数中可以配置时间区间。 图1 HBase时间区间 起始
覆盖：如果质量作业名称有重复，会覆盖现有同名作业。 如果选择覆盖，请在导入文件前，停止所有作业调度，否则调度中的作业会导致上传文件失败。 单击“上传文件”，选择准备好的数据文件。 可通过如下两种方式填写数据文件： (推荐使用) 通过“导出”功能，可将数据直接/或修改后批量导入系统。
CDM集群和数据服务专享版集群在工作空间之间相互隔离，建议您在新空间提前准备好对应旧空间的集群。 搬迁依赖于OBS功能，请您提前规划OBS桶和文件夹目录。 DataArts Studio数据搬迁时，依赖各组件的备份或导入导出能力。您可以根据自己的数据需求，自由选择搬迁哪个组件的数据。
业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 table 高级属性 迁移行为 选择写入目的端的迁移方式。 新增：将文件记录直接插入指定的集合。 有则替换，无则新增：以指定的过滤键作为查询条件。如果在集合中找到匹配的记录，则替换该记录。如果不存在，则添加新记录。
PostgreSQL默认端口：5432 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 cdm 密码 用户名密码。 - 使用Agent Agent功能待下线，无需配置。 - Agent Agent功能待下线，无需配置。
position 63-64 : ordinal not in range ( 128 )”怎么处理？ 查看日志时，系统提示“OBS日志文件不存在，请检查文件是否被删除或者没有OBS写入权限。”怎么办？ Shell/Python节点执行失败，后台报错session is down 请求头
jar格式驱动。 前提条件 已创建集群。 已参见表1下载对应的驱动。 已参见FTP/SFTP连接参数说明创建SFTP连接并将对应的驱动上传至线下文件服务器（可选）。 如何获取驱动 不同类型的关系数据库，需要适配不同类型的驱动。注意，上传的驱动版本不必与待连接的数据库版本相匹配，直接参考表1获取建议版本的JDK8
支持自动血缘解析的作业节点及场景 作业节点 支持场景 DLI SQL 支持解析DLI中表与表之间数据插入产生的血缘。 支持通过建表语句产生的OBS文件到DLI表之间的血缘。 DWS SQL 支持Insert into等DML操作产生的DWS表之间的血缘。 MRS Hive SQL 支持Insert
支持自动血缘解析的作业节点及场景 作业节点 支持场景 DLI SQL 支持解析DLI中表与表之间数据插入产生的血缘。 支持通过建表语句产生的OBS文件到DLI表之间的血缘。 DWS SQL 支持Insert into等DML操作产生的DWS表之间的血缘。 MRS Hive SQL 支持Insert
SWR SWR Admin 仅当在数据开发组件作业中使用DLI Spark节点选择自定义镜像时，需要容器镜像服务中的镜像读取权限。 推荐通过镜像授权管理，添加所需镜像的读取权限。不推荐直接为用户授予SWR Admin系统角色， 可能存在权限过大的风险。 数据目录 OBS obs:object:GetObject
32GB 32 cdm.4xlarge 64核 128GB 128 图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。
32GB 32 cdm.4xlarge 64核 128GB 128 图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。
果。 下载脚本历史运行结果。 系统默认支持所有用户都能下载脚本的历史运行结果。 您可以在结果页签单击“下载结果”。 支持将CSV格式的结果文件下载到本地。查询结果和下载结果最大支持1000条。 作业运行历史 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。
resources 否 Array of longs 资源ID数组。 export_mode 否 String 导出模式，null表示导出到本地文件系统，obs表示导出至obs，仅限于导出质量报告使用。 obs_service_type 否 String 业务类型，technology
的账号是否有元数据查询的权限。 COLLECTION 迁移行为 将记录迁移到MongoDB目的端时，选择需要进行的插入行为操作。 新增：将文件记录直接插入指定的集合。 有则新增，无则替换：以指定的过滤键作为查询条件。如果在集合中找到匹配的记录，则替换该记录（找到多条匹配记录时，只
Studio控制台，单击相应工作空间后的“数据集成”。 在“集群管理”页面，单击所创建集群操作列“作业管理”，进入“作业管理”页面。 在表/文件迁移页签中，单击新建作业，创建数据迁移作业。 配置DWS源端作业参数、MRS Hive目的端作业参数，参数说明请参见配置DWS源端参数、配置MRS
单击“导出”，弹出“导出规则模板”对话框。 单击“导出”，切换到“导出记录”页签。 在导出文件列表中，单击最新导出文件对应的“下载”，可将规则模板的Excel表格下载到本地。 导入规则模板 系统支持将自定义的规则模板批量导入，一次最大可导入4MB数据的文件。 选择“数据质量监控 > 规则模板”，单击“导入”，弹出“导入规则模板”对话框。
器内部采集的数据。 单位：%。 0.001%~90% CDM集群实例 1分钟 disk_io 磁盘io 该指标为从物理机层面采集的磁盘每秒读取和写入的字节数，数据准确性低于从弹性云服务器内部采集的数据。 单位：Byte/sec 0~10GB CDM集群实例 1分钟 tomcat_heap_usage
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
