检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
bigdata_env。 SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 表6 Delta Lake(无元数据)连接参数配置说明 参数 配置说明 所属源 选择源端。
并填写对应资源的用户名和密码。填写完成后,保存文件。 在导入凭证之前,请打开并检查已保存的 CSV 文件,以确保所有内容正确无误,没有出现串行或乱码。 在Edge控制台的凭证列表页面,单击列表上方的“导入凭证”按钮,弹出导入凭证窗口。 图3 导入凭证 单击“添加文件”,将填写完凭证新增的CSV文件上传。
已完成的数据源。 删除采集项失败。 请检查该采集项状态是否为等待中,仅允许删除等待中的采集项。 删除采集任务失败,存在运行中采集项。 刷新采集项列表查看是否存在运行中的采集项,运行中的采集项时不允许删除采集任务。 导入文件的大小超出限制。 请导入10MB以内的文件。 文件名无效。
建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 password 是 填写登录用户名对应的密码。 username 是 填写拥有可读权限的登录用户名。 port 是 填写Nacos的访问端口。例如:8848 ip 是 填写Nacos的访问地址。例如:http://127
环境变量地址 填写环境变量文件(配置文件)的绝对路径,例如:/opt/bigdata/client/bigdata_env。 SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。
须知: 模板中目标组件类型和上游组件类型支持的类型包括HiveSQL、MaxCompute。 模板中单元格不允许存在公式,否则会导致解析失败。 模板参数填写完成并保存后,单击窗口的“添加文件”,将填写后的模板文件上传至迁移中心。 注意: 文件大小不能超过100 MB。 单击“确认”,
ssl_client_certificate_key_file 否 填写证书与其私钥的串联文件(.pem)路径。如果证书的私钥存储在单独的文件中,则应将其与证书文件串联。 auth_source 否 填写MongoDB认证源。 times 是 设置采集次数,1≤取值范围≤1000。 interval
0通过配置VPC终端节点并添加与迁移集群相同的VPC来实现网络打通。 参考配置VPC终端节点,购买VPC终端节点。其中“虚拟私有云”参数配置选择创建集群时所选择的VPC。 配置VPC终端节点完成后,登录弹性文件服务管理控制台,在左侧导航栏选择“通用文件系统 > 文件系统列表”进入文件系统列表页面。 单击文件系统名称
对于源端和目的端存在的同名文件,源端文件直接覆盖目的端文件。 条件覆盖 对于文件迁移:源端和目的端存在的同名文件,保留最后修改时间较新的文件;如果最后修改时间相同,比较文件大小,大小不同则源端覆盖目的端文件;如果最后修改时间和大小都相同,则跳过; 对于文件夹迁移:当文件迁移完成后再比对
对于源端和目的端存在的同名文件,源端文件直接覆盖目的端文件。 条件覆盖 对于文件迁移:源端和目的端存在的同名文件,保留最后修改时间较新的文件;如果最后修改时间相同,比较文件大小,大小不同则源端覆盖目的端文件;如果最后修改时间和大小都相同,则跳过; 对于文件夹迁移:当文件迁移完成后再比对
说明 全量迁移 迁移源端桶/文件夹内的全部数据。 列表迁移 通过列表文件过滤迁移,只迁移列表文件中的对象。列表文件需要存放在目的端桶中。 前缀迁移 通过对象名称或者名称前缀过滤迁移,只迁移与对象名称或名称前缀一致的对象。 在待迁移桶列表中,单击操作列的“修改”,弹出修改迁移设置窗口。
网络连接特性的进程之间的关联关系。 表1 Windows进程与网络采集器参数配置说明 参数 必选 配置说明 host_path 是 填写待采集的Windows主机授权信息列表文件(csv文件)所保存的路径(如,D:\nodes.csv)。 授权信息列表文件(csv文件)需要您自行
SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 校验完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 参数配置完成后,单击“测试连接”,系统会校验配置信息并与执行机建立连接,测试通过代表与执行机连接成功。 测
true字段的表)。 由于阿里云最近更新了timestamp_ntz字段类型,目前该字段类型尚未被阿里云SDK所兼容支持,这一兼容性问题导致SDK无法识别并读取该字段,从而使该字段所在的表元数据迁移失败。 注意事项 CSV模板文件编辑 当使用MgC提供的CSV模板文件进行数据筛选
V格式的“排除表”模板,参考b.~e.在模板中添加不需要迁移的表信息,然后上传至MgC。 按表筛选 下载CSV格式的模板。 下载后用记事本打开该CSV模板文件。 注意: 请不要使用Excel对CSV模板文件进行编辑,通过Excel编辑并保存的模板文件无法被MgC识别。 保留CSV
cert_file 否 auth参数值为“3”时,填写SSL cert_file文件绝对路径。 ca_file 否 auth参数值为“3”时,填写SSL ca_file文件绝对路径。 password 否 填写登录用户名对应的密码。 username 否 auth参数值为“2”或“3”时,填写Kafka登录用户名。
环境变量地址 请添加环境变量文件的绝对路径,示例:/opt/bigdata/client/bigdata_env, 如果该参数不为空,则环境变量文件在命令执行前将被自动“source” SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知:
填写不需要采集的客户端IP地址,多个IP地址之间用逗号分隔。例如:127.0.0.1,192.168.1.1 import 是 填写general-log日志所在路径,例如:C:\data\logs MySQL-General_log开启方法如下: 在my.ini文件的[mysqld]下,添加如下配置:
OMS.01012 列表文件不存在 请检查列表文件是否存在。 OMS.01015 读列表文件失败 请检查列表文件的状态,确保文件可读。如果文件状态正常且可读,请重试。如果依然无法解决问题,请联系技术支持人员或提交工单。 OMS.01016 列表文件中的行数超过默认值,默认值10w
配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql