检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
取集合的首行数据作为字段列表样例，如果首行数据未包含该集合的所有字段，用户需要自己手工添加字段。 作业中源连接为MongoDB连接时，即从本地MongoDB或DDS导出数据时，源端作业参数如表1所示。 表1 MongoDB/DDS作为源端时的作业参数 参数类型 参数名 说明 取值样例
SDK。 图3 下载SDK 进行SDK包完整性校验。Windows操作系统下，打开本地命令提示符框，输入如下命令，在本地生成已下载SDK包的SHA256值，其中，“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名，请根据实际情况修改。 certutil -hashfile
称即是域名。 须添加所有节点IP（图中序号1）、域名信息（图中序号2），用回车分割。 图9 查看MRS集群节点IP和域名 登录MRS集群节点，详情请参见登录MRS集群节点，执行命令cat /etc/hosts，可以列出所有节点的IP和域名。 测试网络连接。 在DataArts S
称即是域名。 须添加所有节点IP（图中序号1）、域名信息（图中序号2），用回车分割。 图9 查看MRS集群节点IP和域名 登录MRS集群节点，详情请参见登录MRS集群节点，执行命令cat /etc/hosts，可以列出所有节点的IP和域名。 测试网络连接。 在DataArts S
下载的Flink作业资源包需要进行JAR包完整性校验。Windows操作系统下，打开本地命令提示符框，输入如下命令，在本地生成已下载JAR包的SHA256值，其中，“D:\wordcount.jar”为JAR包的本地存放路径和JAR包名，请根据实际情况修改。 certutil -hashfile
密码 是 数据库的访问密码，创建集群的时候，输入的密码。 数据集成配置 数据库名称 是 配置为要连接的数据库名称。 使用本地API 否 可选参数，选择是否使用数据库本地API加速。 创建MySQL连接时，CDM会自动尝试启用MySQL数据库的local_infile系统变量，开启MySQL的LOAD
0B030版本以上），以满足功能特性需求，详情请联系客服或技术支持人员。 参考创建DataArts Studio数据连接。 网络准备 数据库部署在本地IDC 参考数据库部署在本地IDC进行网络准备。 数据库部署在其他云 参考数据库部署在其他云进行网络准备。 数据库部署在华为云 参考数据库部署在华为云进行网络准备。
的数据库与运行实时同步任务的实时计算资源组之间网络连通，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。 数据库部署在本地IDC 数据库部署在其他云 数据库部署在华为云 父主题： 数据集成（实时作业）
已经开通了云搜索服务，且获取云搜索服务集群的IP地址和端口。 已获取Oracle数据库的IP、数据库名、用户名和密码。 如果Oracle数据库是在本地数据中心或第三方云上，需要确保Oracle可通过公网IP访问，或者已经建立好了企业内部数据中心到华为云的VPN通道或专线。 已在CDM集群的“作业管理
已完成无认证方式的API或API工作流的发布，在服务目录中可以查看已发布的API。 本章以Chrome浏览器为例，因此需要已安装Chrome浏览器。 约束与限制 如需在本地调用专享版API，则需在创建专享版集群时绑定一个弹性公网IP，作为实例的公网入口。共享版API默认可通过公网访问。 调用数据服务API时，
面向的读者 本文面向的读者包括：企事业各级管理人员、参与数据工作的相关人员、工具平台开发维护的相关人员等。
单击“测试运行”，执行该脚本作业。 待测试完成，执行“提交”。 在“作业监控”界面，查看作业执行结果。 图8 查看作业执行结果 日志验证。 运行成功后，登录MRS manager后在YARN上查看日志，发现有hello python的输出。 图9 查看YARN上日志 父主题： 使用教程
称即是域名。 须添加所有节点IP（图中序号1）、域名信息（图中序号2），用回车分割。 图7 查看MRS集群节点IP和域名 登录MRS集群节点，详情请参见登录MRS集群节点，执行命令cat /etc/hosts，可以列出所有节点的IP和域名。 测试网络连接。 在DataArts S
可自定义operation超时时间（单位ms）。 Apache Hive Apache Hive连接适用于用户在本地数据中心或ECS上自建的第三方Hadoop，其中本地数据中心的Hadoop需通过专线连接。 Apache Hive的连接参数如表3所示。 表3 Apache Hive连接参数
图不存在”的提示，需要执行如下操作进行授权： 以root用户登录oracle节点。 执行如下命令，切换到oracle用户。 su oracle 执行如下命令，登录数据库。 sqlplus /nolog 执行如下命令，登录sys用户 connect sys as sysdba; 输入sys用户的密码。
已被绑定脱敏算法的分类规则不支持被重复绑定。 图1 新建脱敏 适配脱敏算法后，支持用户在线进行测试。输入测试数据，单击“测试”，在测试结果文本框中进行验证。 开启或关闭状态，只有启用状态下的脱敏策略才可生效。 查看数据脱敏效果 在DataArts Studio控制台首页，选择实例，单击“进入
度。 无论数据是在用户本地自建的IDC中（Internet Data Center，互联网数据中心）、云服务中、第三方云中，或者使用ECS自建的数据库或文件系统中，CDM均可帮助用户轻松应对各种数据迁移场景，包括数据上云，云上数据交换，以及云上数据回流本地业务系统。 父主题： 数据集成（CDM作业）
待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 cdm 密码 用户名密码。 - 使用本地API 可选参数，选择是否使用数据库本地API加速。 创建MySQL连接时，CDM会自动尝试启用MySQL数据库的local_infile系统变量，开启MySQL的LOAD
分库分表同步支持的数据源类型 分库分表同步适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于多库多表同步场景。 支持分库分表同步的数据源如下所示： 源端为RDS(MySQL)时支持分库分表同步。 整库同步支持的数据源类型 整库同步适用于将本地数据中心或在ECS上自建
、密码，且该用户拥有DWS数据库的读、写和删除权限。 已获取Oracle数据库的IP、数据库名、用户名和密码。 如果Oracle数据库是在本地数据中心或第三方云上，需要确保Oracle可通过公网IP访问，或者已经建立好了企业内部数据中心到华为云的VPN通道或专线。 已在CDM集群的“作业管理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
