hadoop-c* hadoop-m* hadoop-y* zookeeper-* 从安全集群客户端复制新包并存放到指定目录。请根据实际情况替换xxxx@xxx.xx.xx.xx为安全集群的用户名和IP地址。 scp hadoop-s* hadoop-c* hadoop-m* hadoop-y*
/opt/cloud/MgC-Agent/logs/agent-server 使用vi命令来查看具体的日志文件。 vi xxx.log xxx.log需要替换为具体的日志文件名。不同类型的日志文件名和说明参加下表: 日志文件名 说明 debug.log MgC Agent运行时调试日志。 error
zookeeper-* hbase-* hadoop-h* 进入集群HBase客户端的lib目录,执行如下命令,复制新包并存放到指定目录。请根据实际情况替换xxxx@xxx.xx.xx.xx为MgC Agent所在主机的用户名和IP地址。 scp hadoop-c* hadoop-m* hadoop-y*
M 表示JVM最大允许分配的堆内存为1024M。可按需添加其他JVM参数。 该语句在文件中存在两处都需要修改,如下图所示: 图1 替换一 图2 替换二 单击保存,退出start.bat。完成Agent_Tomcat服务器JVM参配置。 重启Agent_Tomcat服务器。如果主机上的MgC
<BUCKET-NAME> 替换为实际的S3存储桶名称,<FILE-URL>替换为您希望保存文件列表的本地文件名(例如:s3url.txt)。 打开生成的列表文件(在本文示例中为s3url.txt),您将看到桶内所有文件的共享s3地址列表。将“s3://及其之前的所有参数”替换为“http:/
27080 例如,查询到的应用ID为11083。 输入如下命令,根据获得的应用ID查询应用进程。此处的应用ID仅为举例,请根据实际查询结果进行替换。 ps -ef | grep 11083 确认占用端口的应用可以停用后,执行如下命令,将该应用进程停止。然后重新安装MgC Agent。
enter-collector-server\bin\start.bat,其中designcenter-collector-server可替换其他采集器的目录,目前包含采集器: 平台采集器 :designcenter-collector-platform。 主机采集器 :desi
MySQL-jdbc采集器(app-discovery-mysql-jdbc) 通过jdbc连接MySQL的processlist表,采集客户端host和port信息。参数配置说明参见表1。 表1 MySQL-jdbc采集器参数配置说明 参数 必选 配置说明 output_path
出于安全考虑,建议使用源端服务器的WinRMhost(即主机名或IP地址)替换TrustedHosts 的值"*"。不替换代表信任任意主机。 测试远程连接。 使用以下命令测试与源端服务器的连接,“登录账号”和“源端服务器IP”需要替换为源端服务器实际的登录账号和IP地址。 Enter-PSSession
executorCores 1- 4 Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16
executorCores 1- 4 Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16
配置策略信息。 策略名称:用户自定义,例如:dli-obs-agency。 策略配置方式:选择“JSON视图”。 在策略内容中粘贴以下自定义策略。 请替换“bucketName”为存放jar包的桶名称。 { "Version": "1.1", "Statement": [
配置策略信息。 策略名称:用户自定义,例如:dli-obs-agency。 策略配置方式:选择“JSON视图”。 在策略内容中粘贴以下自定义策略。 请替换“bucketName”为存放jar包的桶名称。 { "Version": "1.1", "Statement": [
MongoDB采集器(app-discovery-mongodb) 采集MongoDB服务信息,获取客户端连接信息。参数配置说明参见表1。 表1 MongoDB采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果(app-discovery-mongodb-xxx
如果需要更安全的连接方式,可以配置WinRM使用HTTPS连接。请确保源端服务器上已安装有效的SSL证书。 通过以下命令查看已安装的SSL证书及其指纹: Get-ChildItem -Path Cert:\LocalMachine\My 找到一个有效的SSL证书,记录其指纹(Thumbprint)。 运行以下命令配置WinRM使用HTTPS:
_table 目的端:obs://hw-test/documents/example_table 说明: 以上路径仅为示例,请在实际使用中替换为正确的路径。 配置完成后,选择任务的运行方式。 创建的迁移任务可重复运行,每运行一次,即会生成一条任务实例。 单击任务名称,可以修改任务配置。
_table 目的端:obs://hw-test/documents/example_table 说明: 以上路径仅为示例,请在实际使用中替换为正确的路径。 配置完成后,选择任务的运行方式。 创建的迁移任务可重复运行,每运行一次,即会生成一条任务实例。 单击任务名称,可以修改任务配置。
/spark3-delta/delta-storage-*.jar' 注意: 参数值需要根据实际环境目录和Delta Lake 的版本进行替换。 参数配置完成后,单击“确认”按钮,创建数据湖元数据同步任务完成。 在任务管理页签,可以查看已创建的数据湖元数据同步任务列表以及参数配置
/spark3-delta/delta-storage-*.jar' 注意: 参数值需要根据实际环境目录和Delta Lake 的版本进行替换。 参数配置完成后,单击“确认”按钮,创建数据湖元数据同步任务完成。 单击“采集任务”,进入元数据采集页面。在任务管理页签,可以查看已创建
/spark3-delta/delta-storage-*.jar' 注意: 参数值需要根据实际环境目录和Delta Lake 的版本进行替换。 参数配置完成后,单击“确认”按钮,创建数据湖元数据同步任务完成。 在任务管理页签,可以查看已创建的数据湖元数据同步任务列表以及参数配置
您即将访问非华为云网站,请注意账号财产安全