检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建并执行DLI校验任务时,出现大量失败表,查看Edge日志报错信息如下: 问题分析 出现该问题可能是因为请求已达到接口流控上限。 解决方法 请联系技术支持,提高接口流控的阈值。 父主题: 大数据校验
一个方案最多添加 100 台主机。 操作步骤 登录迁移中心管理控制台。在页面左上角的当前项目下拉列表中选择在准备工作中创建的迁移项目。 在左侧导航栏选择“设计>迁移方案配置”,进入迁移方案配置页面。 单击页面右上角的“创建迁移方案”按钮,右侧弹出迁移方案模板窗口。 单击主机标准迁移框中的“开始配置”按钮,进入主机标准迁移页面。
概述 背景介绍 当您迁移Windows主机时,需要确保源端主机能够解析相关云服务的接口域名。这通常涉及到在每台源端主机上编辑hosts文件。如果迁移的主机数量众多,手动编辑将非常耗时。为了简化这一过程,我们提供了一个批量修改的脚本示例。您可以利用这个脚本,快速地将域名解析IP批量
大批量主机同时迁移时,可能出现的异常问题 大批量主机迁移时,会频繁调用API接口,API接口压力过大从而导致部分步骤报错,卡点后的步骤建议尽量分批次确定,或者重试即可。 大批量主机迁移时,可能会导致通信通道阻塞,无法正常显示工作流状态。 父主题: 主机迁移工作流
n-hangzhou.aliyuncs.com/ali-test/documents/example_table,其中oss-cn-hangzhou.aliyuncs.com为桶所在地域的Endpoint,ali-test为桶名,documents为表的根目录,example_t
支持手动回退。 IP冲突风险提示 源端与目的端在私有IP相同的情况下,可能会引发IP冲突,进而导致业务不可用。 未知风险提示 由于迁移无法对业务进行深入的嗅探和分析,因此使用IP不变功能后可能出现其他未被预见的问题。 用户责任 用户应当在迁移前进行充分的测试和准备,并在迁移后自行
jar包的OBS路径,以数组形式传入,路径带双引号,以英文逗号隔开。例如:["obs://mgc-test/data/datasource.jar","obs://mgc-test/data/fastjson-1.2.54.jar"] 如果是专线迁移,需要填写以下8个参数: spark
jar包的OBS路径,以数组形式传入,路径带双引号,以英文逗号隔开。例如:["obs://mgc-test/data/datasource.jar","obs://mgc-test/data/fastjson-1.2.54.jar"] 如果是专线迁移,需要填写以下8个参数: spark
09:22 test2 -rw-r--r-- 1 root root 14 Aug 8 09:22 test2.log 如果要使黑名单精确匹配以避免迁移"test2"文件,则应在黑名单中填写路径:/mgc-test/autotest/filter_test/test2 模糊匹配
09:22 test2 -rw-r--r-- 1 root root 14 Aug 8 09:22 test2.log 如果要使黑名单精确匹配以避免迁移"test2"文件,则应在黑名单中填写路径:/mgc-test/autotest/filter_test/test2 模糊匹配
过期时间为12小时,输出的结果保存到test2.txt文件中。您可以执行如下命令: mc share download --recursive --expire=12h minioLink/bucket-public01/ >> test2.txt 执行命令后,将生成3个文件的共享下载链接并保存在test2
jar包的OBS路径,以数组形式传入,路径带双引号,以英文逗号隔开。例如:["obs://mgc-test/data/datasource.jar","obs://mgc-test/data/fastjson-1.2.54.jar"] spark.sql.catalog.mc_catalog
迁移节点:根据创建集群时的参数配置创建 列举节点:根据创建集群时的参数配置创建 “oms_cluster_ecs_” + 节点id 承载迁移插件,实现对迁移任务的管理、调度以及数据的迁移。 NAT 是 否 1个 “oms_cluster_nat_” + 集群id 公网模式下,实现列举节点、迁
径。例如:桶名为“mgc01”,填写的文件夹为“/test”,则日志文件存放路径为:obs://mgc01/test/bigdata/task/日期/任务实例ID/日志文件;内容校验结果存放路径为:obs://mgc01/test/bigdata/task/任务实例ID/数据库名/表名/内容校验结果文件
并确保该文件能被访问。文件内写入相关云服务的接口域名映射,并以#Migration-proxy-start开始,以#Migration-proxy-end结束。相关云服务的接口域名映射需要根据具体的环境而定,请联系对应局点的环境接口人获取。 示例: #Migration-proxy-start
并确保该文件能被访问。文件内写入相关云服务的接口域名映射,并以#Migration-proxy-start开始,以#Migration-proxy-end结束。相关云服务的接口域名映射需要根据具体的环境而定,请联系对应局点的环境接口人获取。 示例: #Migration-proxy-start
spark-sql命令 Spark SQL是Spark中用于结构化数据处理的模块。在Spark应用中,可以无缝地使用SQL语句亦或是DataSet API对结构化数据进行查询。更多介绍请参见SparkSQL原理。建议保持默认。 spark-submit命令 通过Spark基本shell命令,提交Spark应用。命令为:
if (-not (Test-Path $csvFile)) { Log-Error "CSV file '$csvFile' not found." exit 1 } # Verify hosts file if (-not (Test-Path $hostsFile))
Edge远程在线采集架构图 通过调用API在线采集云平台资源 适用于公有云部署场景,针对不同云服务提供商(友商)的云资源进行数据采集。使用API接口与其它云服务提供商的系统进行交互,实现数据的在线采集。不需要在源端网络中安装Edge设备。 数据采集架构图,如图2所示。 图2 调用API在线采集云平台资源架构图
Initialize log directory and files function Initialize-Logs { if (-not (Test-Path $logDir)) { New-Item -Path $logDir -ItemType Directory