检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive连接 介绍 通过Hive连接，可以对MRS的Hive数据源进行抽取、加载数据。 连接样例 本示例为连接样例消息体。在实际使用中，AK（accessKey）和SK（securityKey）建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 { "links":
约束与限制 由于鉴权缓存机制的限制，自定义角色的权限发生变更后，绑定该角色的工作空间成员权限不会直接生效。需要绑定该角色的工作空间成员暂停访问DataArts Studio控制台并等待6分钟后，才能使该工作空间成员的权限变更生效。 对于工作空间管理员角色，即使自定义角色与其权限点
云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 另外，如果创建了企业项目，则企业项目也会影响CDM集群与其他云服务的网络互通，只有企业项目一致的云服务才能打通网络。 操作场景 DataArts Studio实例中已经包含一个仅用
文件不会被迁移。 ok.txt 等待时间 启动作业标识文件为是时支持此参数。 等待标识文件的时间。 超时后任务会失败，当等待时间设置为0且源端路径下不存在标识文件，任务会立即失败。单位：秒。 60 标识文件类型 启动作业标识文件为是时支持此参数。 标识文件的类型。 MARK_DO
选择执行Python语句的主机。需确认该主机配有用于执行Python脚本的环境。 须知： Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本
"ecs:servers:get", "ecs:servers:list", "ecs:servers:stop", "ecs:servers:start", "ecs:flavors:get"
Studio工作空间所属的企业项目相同，如果不同，您需要修改工作空间的企业项目。 当同一Agent连接多个MRS集群时，如果其中一个MRS集群被删除或状态异常，会影响另外一个正常的MRS集群数据连接。因此建议一个Agent对应一个MRS集群数据连接。 在管理中心创建数据连接 准备好数据湖之后，在DataArts
OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界
在弹出的导入资源窗口中，“文件位置”选择为“本地”，选择从旧空间导出的资源文件，“重名处理策略”默认选择“覆盖”，单击下一步。 图9 导入资源 资源开始导入，导入成功后系统会显示导入的资源名。 图10 导入资源成功 导入环境变量 单击左侧导航上的“配置”，进入环境变量页面。 单击环境变量配置下的“导入”，导入环境变量。
OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界
OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界
导出导入作业 导出作业，均是导出开发态的最新的已保存内容。 导入作业，会覆盖开发态的内容并自动提交一个新版本。 数据开发在跨时区导出导入作业时，需要手动修改expressionTimeZone字段为目标时区。 导出作业 参考访问DataArts Studio实例控制台，登录DataArts
Shell节点运行的输出结果不能大于30M，大于30M会报错。 主机连接 是 选择执行Shell脚本的主机。 须知： Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本
进入“我的凭证”页面，选择“访问密钥 > 新增访问密钥”，如图1所示。 图1 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret
图2 请求方法和调用地址 Params：如果Query参数已经以“?Query参数名=Query参数值”的形式添加到调用地址的最后，则此处会自动生成Query Params的值，否则就需要手动输入。 图3 Params 如果您需要对调用结果进行自定义调整，则还可以配置如下Query参数：
分库分表同步适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于多库多表同步场景。 支持分库分表同步的数据源如下所示： 源端为RDS(MySQL)时支持分库分表同步。 整库同步支持的数据源类型 整库同步适用于将本地数据中心或在ECS上自建的数据库，同步到云
写入数据的数据库名称。 dli 表名 写入数据的表名。 car_detail 导入前清空数据 选择导入前是否清空目的表的数据。 如果设置为是，任务启动前会清除目标表中数据。 否 空字符串作为null 如果设置为true，空字符串将作为null。 否 清空数据方式 导入前清空数据，如果设置为true时，呈现此参数。
RS_ECS_DEFAULT_AGENCY委托，并单击“授权”。 如果未找到MRS预置的MRS_ECS_DEFAULT_AGENCY委托，则可以通过自定义购买方式来购买MRS集群，在高级配置中选择绑定MRS_ECS_DEFAULT_AGENCY委托。MRS集群开始创建后，会自动生
通过KMS加解密数据源认证信息，选择KMS中的任一默认密钥或自定义密钥即可。 说明： 第一次通过DataArts Studio或KPS使用KMS加密时，会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息，请参见什么是默认密钥。 绑定Agent 是 使用集群配置为是时，是必选项。
户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
