迁移中心 MGC-自定义参数说明
下载迁移中心 MGC用户手册完整版
自定义参数说明
在目的端配置中，支持配置的自定义参数及说明请参见表1和conf参数说明。
|
参数名称 |
取值范围 |
说明 |
是否必填 |
|---|---|---|---|
|
spark.dli.metaAccess.enable |
- |
填写true。 |
是 |
|
spark.dli.job.agency.name |
填写 DLI 委托权限名称。 |
||
|
mgc.mc2dli.data.migration.dli.file.path |
填写存放migration-dli-spark-1.0.0.jar包的OBS路径。例如：obs://mgc-test/data/migration-dli-spark-1.0.0.jar |
||
|
mgc.mc2dli.data.migration.dli.spark.jars |
填写存放fastjson-1.2.54.jar和datasource.jar包的OBS路径，以数组形式传入，路径带双引号，以英文逗号隔开。例如：["obs://mgc-test/data/datasource.jar","obs://mgc-test/data/fastjson-1.2.54.jar"] |
||
|
spark.sql.catalog.mc_catalog.tableWriteProvider |
填写tunnel |
专线迁移场景为必填 |
|
|
spark.sql.catalog.mc_catalog.tableReadProvider |
填写tunnel |
||
|
spark.hadoop.odps.end.point |
填写源端MaxCompute服务所在地域的VPC网络Endpoint信息。各地域VPC网络Endpoint信息请参考Endpoint对照表。例如：源端所在地域为“香港”，则填写“http://service.cn-hongkong.maxcompute.aliyun-inc.com/api” |
||
|
spark.hadoop.odps.tunnel.end.point |
填写源端MaxCompute服务所在地域的VPC网络Tunnel Endpoin信息。各地域VPC网络Tunnel Endpoin信息请参考Endpoint对照表。例如：源端所在地域为“香港”，则填写“http://dt.cn-hongkong.maxcompute.aliyun-inc.com” |
||
|
sc_type |
A、B、C |
计算资源类型，目前指定参数A, B, C。如果不指定，则按最小类型创建。
|
否 |
|
executorCores |
1- 4 |
Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 |
|
|
numExecutors |
1-100 |
Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 |
|
|
executorMemory |
1-16 G |
Spark应用的Executor内存，参数配置例如：2G, 2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必须带单位，否则会启动失败。 |
|
|
driverCores |
1-4 |
Spark应用Driver的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 |
|
|
driverMemory |
1-16 G |
Spark应用的Driver内存，参数配置例如：2G, 2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必须带单位，否则会启动失败。 |
