检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse凭证和目的端MRS ClickHouse凭证,类型选择“大数据-ClickHouse”,认证方式选择“用户名/密码”。凭证的添加方法请参考添加资源凭证。 在MgC控制台左侧导航栏选择“调研 > 大数据血缘”,进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择步骤2.创建的项目。
ClickHouse凭证和目的端MRS ClickHouse凭证,类型选择“大数据-ClickHouse”,认证方式选择“用户名/密码”。凭证的添加方法请参考添加资源凭证。 在MgC控制台左侧导航栏选择“调研 > 大数据血缘”,进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择步骤2.创建的项目。
连接成功后,需要在Edge上分别添加源端“大数据-MaxCompute”凭证和目的端“大数据-数据湖搜索(DLI)”凭证,认证方式选择“AK/SK”。凭证的添加方法请参考添加资源凭证。 DLI侧的AK/SK获取方法请参考如何获取AK/SK。 MaxCompute侧的AK/SK获取方法请参考查看RAM用户的AccessKey信息。
ClickHouse凭证和目的端MRS ClickHouse凭证,类型选择“大数据-ClickHouse”,认证方式选择“用户名/密码”。凭证的添加方法请参考添加资源凭证。 阿里云EMR ClickHouse的凭证填写登录EMR ClickHouse Server的用户名和密码。您可以在EMR控制台Cl
设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。 自定义参数 可以通过自定义参数设置同步的特定表或分区、过滤条件等。 如果需要同步的是阿里云 EMR环境中的元数据,请添加如下参数: 参数名:conf
RS HBase凭证和目的端MRS HBase凭证,类型选择“大数据-HBase”,认证方式选择“用户名/密钥”。凭证的添加方法请参考添加资源凭证。其中用户名输入HBase客户端登录用户名,密钥需要上传以下配置文件: 非安全集群(未开启Kerberos认证)需要上传core-site
常见问题 安装Edge的主机有哪些要求? 以兼容性模式运行程序 Edge设备离线原因 Edge安装完成后,无法启动 如何升级Edge至最新版本? 如何卸载Edge? 如何重启Edge? 如何查询Edge当前版本? 采集失败,提示:The collector is not installed如何处理?
Lake执行机”凭证和目的端“MRS Delta Lake执行机”凭证,类型选择“大数据-执行机”,认证方式选择“用户名/密码”。凭证的添加方法请参考添加资源凭证。 在MgC控制台左侧导航栏选择“调研 > 大数据血缘”,进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择步骤2.创建的项目。
需求修改。 并发连接数 设置迁移并发数。默认为3,1≤取值范围≤10。 单文件SQL数 每批提交的文件中所包含的SQL条数。默认为3,1≤推荐取值范围≤50。 配置完成后,选择任务的运行方式。 创建的迁移任务可重复运行,每运行一次,即会生成一条任务实例。 单击任务名称,可以修改任务配置。
需求修改。 并发连接数 设置迁移并发数。默认为3,1≤取值范围≤10。 单文件SQL数 每批提交的文件中所包含的SQL条数。默认为3,1≤推荐取值范围≤50。 配置完成后,选择任务的运行方式。 创建的迁移任务可重复运行,每运行一次,即会生成一条任务实例。 单击任务名称,可以修改任务配置。
弹出启动工作流窗口,单击“确认”按钮,立即运行工作流。 在工作流列表,单击工作流名称,进入工作流详情页面,可以查看该迁移工作流的配置信息和资源迁移进度。 父主题: SFS1.0迁移至SFS 3.0
支持迁移的文件类型:普通文件、目录文件、软链接文件、硬链接文件。 注意: 文件句柄被占用或源端文件被删除,均会导致迁移失败。 不支持字符设备文件、块设备文件、套接字、管道文件等特殊文件的迁移。 软链接不支持元数据的迁移。 父主题: 存储迁移
collector-server\logs\rda-collector-server\run.log。 如果非以上两种原因,请排查Edge设备是否被多个用户同时用于采集,导致Edge侧的WinRM服务与源端断开。 解决方法 源端为Linux主机 在安装Edge的主机,打开命令行窗
标准存储 访问时延低和吞吐量高,因而适用于有大量热点文件(平均一个月多次)或小文件(小于1MB),且需要频繁访问数据的业务场景,例如:大数据、移动应用、热点视频、社交图片等场景。 低频访问存储 适用于不频繁访问(平均一年少于12次)但在需要时也要求快速访问数据的业务场景,例如:文件同步/共享、企业备份等场景。
弹出启动工作流窗口,单击“确认”按钮,立即运行工作流。 在工作流列表,单击工作流名称,进入工作流详情页面,可以查看该迁移工作流的配置信息和资源迁移进度。 父主题: 存储迁移相关最佳实践
弹出启动工作流窗口,单击“确认”按钮,立即运行工作流。 在工作流列表,单击工作流名称,进入工作流详情页面,可以查看该迁移工作流的配置信息和资源迁移进度。 步骤四:恢复桶的访问策略 迁移完成后,恢复源端桶的访问策略。 如果在步骤1.中执行命令的返回结果为 Policy: none,