检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将HTTP/HTTPS数据源迁移到OBS时，如果存在URL不同但对象名称相同的情况，会如何处理？ 当从HTTP/HTTPS数据源迁移数据到对象存储服务（OBS）时，由于OBS不区分URL差异，只识别对象名称，因此同名对象会根据创建工作流时，迁移配置中所选的“同名覆盖方式”策略进行
在华为云账号框中，单击“配置”按钮。 在弹出的配置华为云凭证窗口，输入目的端华为云账号的AK/SK，单击“确认”，完成添加。 修改华为云凭证 如果您需要替换保存的华为云凭证，可以将其删除后，重新添加。 单击已保存凭证后面的“删除”按钮，确认删除后，单击“确定”按钮，删除凭证。 参考添加华为云凭证，重新添加新的华为云凭证。
<BUCKET-NAME> 替换为实际的S3存储桶名称，<FILE-URL>替换为您希望保存文件列表的本地文件名（例如：s3url.txt）。 打开生成的列表文件（在本文示例中为s3url.txt），您将看到桶内所有文件的共享s3地址列表。将“s3://及其之前的所有参数”替换为“http:/
页面。 选择所有应用程序页签，单击应用程序名称，进入该应用的概述页面。在概要区域可以获取客户端（应用）ID和租户ID。 在左侧导航树选择“证书和密码”，选择“客户端密码”页签，单击“新客户端密码”，创建一个新的密码。新创建的密码只能在创建时立即查看，请务必复制并备份。 父主题： 资源采集
check_hostname,True" ca 否 使用了SSL认证的verify_ca模式时，填写CA证书所在路径。 Linux系统MySQL证书默认存放位置取决于MySQL的安装方式和版本。通常MySQL证书存放在以下位置： MySQL 5.6及以下版本：/etc/mysql/ MySQL 5
\tools\plugins\collectors\rda-collector-server\bin\start.bat，其中rda-collector-server可替换其他采集器的目录，目前包含采集器： 数据库采集器 ：rda-collector-database。 容器采集器 ：rda-collector-kubernetes。
出于安全考虑，建议使用源端服务器的WinRMhost（即主机名或IP地址）替换TrustedHosts 的值"*"。不替换代表信任任意主机。 测试远程连接。 使用以下命令测试与源端服务器的连接，“登录账号”和“源端服务器IP”需要替换为源端服务器实际的登录账号和IP地址。 Enter-PSSession
executorCores 1- 4 Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16
csv。 ssl_ca_file 否 使用SSL连接，填写CA证书文件（.pem）路径。建议使用一组特定的CA证书，而不是由知名机构颁发签署的服务器证书。 ssl_client_private_key_password 否 如果证书密钥文件中包含的私钥已加密，则需要填写密码或口令短语。
27080 例如，查询到的应用ID为11083。 输入如下命令，根据获得的应用ID查询应用进程。此处的应用ID仅为举例，请根据实际查询结果进行替换。 ps -ef | grep 11083 确认占用端口的应用可以停用后，执行如下命令，将该应用进程停止。然后重新安装Edge。 kill
步骤一：设置MinIO文件共享并生成下载链接 以下步骤中提到的minioLink、bucket-public01、http://100.85.xxx.xx:xxxx等应替换为您实际的MinIO服务别名、存储桶名称和MinIO服务的访问地址。 在部署MinIO的服务器上，打开命令行界面。 使用mc命令设置文件共享下载，命令格式如下：
yml edge.mgc-host MgC服务地址 华南-广州: https://mgc.cn-south-1.myhuaweicloud.com edge.vars.sms-agent-url SMS服务桶地址 https://sms-resource-cn-cn-north-4.obs
Kafka采集器（app-discovery-kafka） 通过连接到Kafka节点，获取Kafka节点IP、版本、消费者信息等。参数配置说明参见表1。 表1 Kafka采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果（app-discovery-kafka-xxx
SSL/TLS端口 安全集群下，与源端ClickHouse 服务器通信的HTTPS 端口。 可以登录源端集群的FusionInsight Manager，选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”，搜索“https_port”参数获取。 在元数据采集区域，单击“创建任务
_table 目的端：obs://hw-test/documents/example_table 说明： 以上路径仅为示例，请在实际使用中替换为正确的路径。 配置完成后，选择任务的运行方式。 创建的迁移任务可重复运行，每运行一次，即会生成一条任务实例。 单击任务名称，可以修改任务配置。
/spark3-delta/delta-storage-*.jar' 注意： 参数值需要根据实际环境目录和Delta Lake 的版本进行替换。 参数配置完成后，单击“确认”按钮，创建数据湖元数据同步任务完成。 单击“采集任务”，进入元数据采集页面。在任务管理页签，可以查看已创建
配置策略信息。 策略名称：用户自定义，例如：dli-obs-agency。 策略配置方式：选择“JSON视图”。 在策略内容中粘贴以下自定义策略。 请替换“bucketName”为存放jar包的桶名称。 { "Version": "1.1", "Statement": [
服务器通信的 HTTP 端口。默认为8123。 HTTP SSL/TLS端口 安全集群下，填写与目的端ClickHouse 服务器通信的HTTPS 端口。 表4 Hive Metastore连接参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“Hive-
安全集群下，与MRS ClickHouse 服务器通信的HTTPS 端口。 可以登录目的端集群的FusionInsight Manager，选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”，搜索“https_port”参数获取。 分别创建源端阿里云EMR ClickHouse和目的端MRS
/spark3-delta/delta-storage-*.jar' 注意： 参数值需要根据实际环境目录和Delta Lake 的版本进行替换。 如果源端是阿里云 EMR Delta 2.1.0版本并且配置了Spark 2.4.8来处理Delta Lake数据，请添加如下参数： 参数名：mgc
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
