检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安全认证命令。配置前,需要您手动将包含认证密钥的.keytab文件上传至执行机。 keytab文件地址:输入.keytab文件在执行机的存放地址。 keytab文件用户名:输入.keytab文件对应的用户名。 执行命令 可以通过设置Beeline或Spark-sql命令行参数,对数据进行处理。
0以上的PowerShell。 SMS-Workflow.0201 源端Windows系统虚拟内存小于256MB 请在cmd命令行执行systeminfo查看可用虚拟内存,释放充足的内存后重试。 SMS-Workflow.0202 Linux源端环境检测失败,不满足迁移条件 请阅
Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据) Hudi(无元数据) 需要确保源端和目的端执行机都安装了大数据组件的命令行客户端。 源端和目的端执行机均需要创建连接。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页
dows版本的Edge。 不建议将Edge安装在源端待迁移的主机上,主要原因包括: 资源消耗:Edge在采集和迁移运行过程中会消耗CPU和内存资源。在迁移任务量大时,这可能会对源端的业务运行造成影响。 端口占用:Edge会占用源端主机上的一些端口,也可能会对源端业务产生影响。 安
各地域Endpoint信息请参考Endpoint对照表。 表11 阿里云云数据库ClickHouse连接参数配置说明 参数 配置说明 所属源 仅需在源端创建元数据连接。 连接名称 默认创建名称为“阿里云云数据库ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。 迁移工具
上云成本,避免资源浪费。为了降低用户选择或自定义X实例规格的复杂度,在迁移场景下,可借助MgC的源端主机性能采集功能,获取源端主机CPU和内存的实际使用情况,再基于性能的评估策略帮助您有效评估并精准调整资源规格配置,实现性能提升与成本控制的双重目标。 适用范围 主机来源:适用于阿
与源端断开。 解决方法 源端为Linux主机 在安装Edge的主机,打开命令行窗口,使用ping命令测试与源端主机的公网IP是否连通;使用telnet命令测试源端主机的端口(默认22端口)是否可以访问。命令格式分别为:ping {源端主机IP地址}、telnet {源端主机IP地址}
操作步骤 执行如下命令,进入Edge安装目录中的scripts目录。 cd /opt/cloud/Edge/scripts/ 执行如下命令,启动Edge卸载脚本。 ./uninstall.sh 当出现如下图所示提示时,表示Linux版的Edge需要更新环境变量。 执行如下命令,更新环境变量。
请按照以下步骤,手动启动Edge进程: 执行如下命令,进入Edge安装目录中的scripts目录。 cd /opt/cloud/Edge/scripts/ 执行如下命令,启动Edge。 ./start.sh 当出现如下图所示提示时,表示Edge已经启动。 执行如下命令,查看Edge进程。 ps -ef
-ef | grep 11083 确认占用端口的应用可以停用后,执行如下命令,将该应用进程停止。然后重新安装Edge。 kill -9 11083 Windows主机: 打开Windows命令行窗口,输入如下命令,查询占用端口的应用ID。 netstat -ano | findstr
C。如果不指定,则按最小类型创建。 A:(8核32G内存,driverCores:2,executorCores:1,driverMemory:7G,executorMemory:4G,numExecutor:6) B:(16核64G内存,driverCores:2,executorC
如果是,请将源端主机开机后重试。 如果否,请继续执行步骤2.。 在安装Edge的主机,打开命令行窗口,使用ping命令测试与源端主机的公网IP是否连通;使用telnet命令测试源端主机的端口(如22端口)是否可以访问。命令格式分别为:ping {源端主机IP地址}、telnet {源端主机IP地址}
程。 Linux版本 执行如下命令,进入Edge安装目录中的scripts目录。 cd /opt/cloud/Edge/scripts/ 执行如下命令,启动Edge。 ./start.sh 当出现如下图所示提示时,表示Edge已经启动。 执行如下命令,查看Edge进程。 ps -ef
v, 如果该参数不为空,则环境变量文件在命令执行前将被自动“source” SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 在元数据采集区域,单击“查看库
填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 表6 Delta Lake(无元数据)连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“Delt
进入Edge的安装目录(默认为C:\Edge)。 双击version.txt文件,查看当前Edge版本信息。 查询Linux版本 执行如下命令,进入Edge安装目录。 cd /opt/cloud/Edge 执行如下命令,可查看Edge的版本信息。 cat version.txt 父主题: 常见问题
oss:DescribeMetricData List 数据库 RDS rds:DescribeDBInstances Read rds:DescribeDBInstanceAttribute Read MongoDB rds:DescribeDBInstances Read rds:DescribeDBInstanceAttribute
如果端口填写错误,请修改为正确端口后重试。 如果端口填写正确,请继续执行步骤2.。 在安装Edge的主机,打开命令行窗口,使用telnet命令测试源端主机的端口是否可以访问。命令格式分别为:telnet {源端主机IP地址} {端口}。 如果端口无法访问,请检查源端主机安全组入方向规
源端CPU个数 x 舒适系数,向上取整。 内存 = 性能基准百分位的数值 x 源端内存大小 x 舒适系数,向上取整。 例如: 源端规格为8u16g,性能数据范围设为7天,CPU的性能基准百分位设为100%,CPU舒适系数为1.2,内存性能基准百分位设为95%,内存舒适系数为1,则会选取近7天的
maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。 spark.sql.badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated.scalar.query.enabled false 该参数设置为true: