检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio或KPS使用KMS加密时，会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息，请参见什么是默认密钥。 KMS是一种安全、可靠、简单易用的密钥托管服务，对密钥的所有操作都会进行访问控制及日志跟踪，提供所有密钥的使用记录，满足审计和合规性要求。 绑定Agent
当源端为FTP/SFTP数据源时，仅支持配置二进制格式。 CSV格式 重复文件处理方式 当源端为HDFS数据源时配置。 只有文件名和文件大小都相同才会判定为重复文件。写入时如果出现文件重复，可选择如下处理方式： 替换重复文件 跳过重复文件 停止任务 具体使用方法可参见文件增量迁移。
错误码，如DS.6000，请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码： 401 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码，如DS.6000，请求处理失败。 error_msg
填入AppKey和AppSecret。 1 2 3 4 5 6 7 8 // 认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； // 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量SDK_AK和SDK_SK。
数据服务专享版集群正式商用后，如何继续使用公测期间创建的数据服务专享版集群和API？ 华为云计划于2021/07/30 00:00:00 GMT+08:00开启数据服务专享版集群商用计费。创建数据服务专享版集群和专享版API都将产生费用，具体价格请参考该服务的计费详情页。商用计费
错误码，如DS.6000，请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码： 401 表30 响应Body参数 参数 参数类型 描述 error_code String 错误码，如DS.6000，请求处理失败。 error_msg
pSecret。 1 2 3 4 5 6 7 8 # 认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； # 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量SDK_AK和SDK_SK。
填入AppKey和AppSecret。 1 2 3 4 5 6 7 8 // 认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； // 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量SDK_AK和SDK_SK。
关键配置如下： CDM集群的规格，按待迁移的数据量选择，一般选择cdm.medium即可，满足大部分迁移场景。 CDM集群所在VPC、子网、安全组，选择与MRS集群所在的网络一致。 CDM集群创建完成后，选择集群操作列的“绑定弹性IP”，CDM通过EIP访问MRS HDFS。 图1
数据迁移 数据迁移进阶实践 本最佳实践提供了数据集成CDM组件的高阶使用技巧，例如如何实现增量迁移、时间宏变量表达式写法等。 数据开发 数据开发进阶实践 本最佳实践提供了数据开发DLF组件的高阶使用技巧，例如如何使用IF条件判断、For Each节点使用等。 DataArts Studio+X
错误码，如DS.6000，请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码： 401 表24 响应Body参数 参数 参数类型 描述 error_code String 错误码，如DS.6000，请求处理失败。 error_msg
CDM上支持导出的数据包括配置的连接和作业，可以导出到本地保存。 约束与限制 数据集成中的集群配置、环境变量等数据不支持导入导出，如有需要，请您进行手动配置同步。 由于安全原因，CDM不会将对应数据源的连接密码导出。因此在重新导入前，需要通过手工编辑导出的JSON文件补充密码或在导入窗口配置密码。 从本地导入
错误码，如DS.6000，请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码： 401 表8 响应Body参数 参数 参数类型 描述 error_code String 错误码，如DS.6000，请求处理失败。 error_msg
错误码，如DS.6000，请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码： 401 表11 响应Body参数 参数 参数类型 描述 error_code String 错误码，如DS.6000，请求处理失败。 error_msg
错误码，如DS.6000，请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码： 401 表13 响应Body参数 参数 参数类型 描述 error_code String 错误码，如DS.6000，请求处理失败。 error_msg
的列名、字段类型和描述。 支持通过“责任人”和“更新时间”进行过滤查询，方便快速过滤出最近更新的脚本。 脚本开发支持细粒度权限管控，在数据安全模块对数据开发脚本目录权限管控策略进行配置。 脚本开发的使用流程如下： 图1 脚本开发流程 新建脚本：新建相应类型的脚本。具体请参见新建脚本。
错误码，如DS.6000，请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码： 401 表27 响应Body参数 参数 参数类型 描述 error_code String 错误码，如DS.6000，请求处理失败。 error_msg
API连接时支持为Spark SQL作业独立配置需要的资源（例如线程、内存、CPU核数并指定MRS资源队列等）。代理连接时不支持配置。 您需要先在数据安全组件中配置对应的队列（参考配置队列权限，）后，才能在此处选择到已配置的队列。当有多处同时配置了资源队列时，此处配置的资源队列为最高优先级。
已开通数据集成CDM，并创建CDM集群，为数据开发模块提供数据开发模块与MRS通信的代理。 CDM集群创建时，需要注意：虚拟私有云、子网、安全组与MRS集群保持一致，确保网络互通。 建立Hive的数据连接 开发Hive SQL前，我们需要在“管理中心 > 数据连接”模块中建立一个到MRS
错误码，如DS.6000，请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码： 401 表9 响应Body参数 参数 参数类型 描述 error_code String 错误码，如DS.6000，请求处理失败。 error_msg
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
