华为云用户手册

  • 响应参数 状态码: 200 表5 响应Body参数 参数 参数类型 描述 illegal_db_id Array of strings 添加失败的数据库实例id legal_db_id Array of strings 添加成功的数据库实例id 状态码: 400 表6 响应Body参数 参数 参数类型 描述 error Object 错误信息返回体。 表7 ErrorDetail 参数 参数类型 描述 error_code String 错误请求返回的错误码。 error_msg String 错误请求返回的错误信息。 状态码: 403 表8 响应Body参数 参数 参数类型 描述 error Object 错误信息返回体。 表9 ErrorDetail 参数 参数类型 描述 error_code String 错误请求返回的错误码。 error_msg String 错误请求返回的错误信息。 状态码: 500 表10 响应Body参数 参数 参数类型 描述 error Object 错误信息返回体。 表11 ErrorDetail 参数 参数类型 描述 error_code String 错误请求返回的错误码。 error_msg String 错误请求返回的错误信息。
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token 表3 请求Body参数 参数 是否必选 参数类型 描述 databases 是 Array of databases objects 添加数据库信息列表 total_count 否 Integer 总数 表4 databases 参数 是否必选 参数类型 描述 id 是 String 数据库ID db_name 是 String 数据库名称 status 是 String 数据库状态 port 是 String 数据库端口 ip 是 String 数据库IP instance_name 是 String 数据库实例名称 version 是 String 数据库版本 type 是 String 数据库类型 enterprise_id 是 String 企业项目ID enterprise_name 否 String 企业项目名称
  • 前提条件 已安装包含Spark服务的集群客户端,安装目录如“/opt/hadoopclient”。 Spark服务运行状态正常。 在租户资源中添加租户,例如创建租户sparkstatic1,具体请参见创建租户章节。 对于开启了Kerberos认证的集群,需要创建一个业务用户,例如创建用户“sparkuser”,该用户属于hive、hadoop、supergroup组,主组为hive,角色绑定sparkstatic1。
  • 使用HBase客户端( MRS 3.x及之后版本) 安装客户端,具体请参考安装客户端章节。 以客户端安装用户,登录安装客户端的节点。 执行以下命令切换到客户端目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建HBase表的权限,具体请参见角色管理配置拥有对应权限的角色,参考创建用户章节,为用户绑定对应角色。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit 组件业务用户 例如,kinit hbaseuser。 直接执行HBase组件的客户端命令。 hbase shell
  • 前提条件 已安装客户端。例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。 “机机”用户需要下载keytab文件,“人机”用户第一次登录时需修改密码。 非root用户使用HBase客户端,请确保该HBase客户端目录的属主为该用户,否则请参考如下命令修改属主。 chown user:group -R 客户端安装目录/HBase
  • 使用HBase客户端(MRS 3.x之前版本) 安装客户端,具体请参考安装客户端章节。 以客户端安装用户,登录安装客户端的节点。 执行以下命令切换到客户端目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建HBase表的权限,具体请参见创建角色配置拥有对应权限的角色,参考创建用户章节,为用户绑定对应角色。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit 组件业务用户 例如,kinit hbaseuser。 直接执行HBase组件的客户端命令。 hbase shell
  • 补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.8 发布时间 2024-04-23 解决的问题 MRS 3.2.0-LTS.1.8修复问题列表: 解决Spark JD BCS erver在session关闭超时的时候会出现session一直存在的问题。 解决Spark列字段中的子查询带有distinct聚合函数时执行查询语法报错的问题。 解决 DataArts Studio API方式连接Spark SQL查询遇到特殊字符,比如换行时标准的解析会自动换行的问题。 解决Yarn监控图缺失问题。 解决使用Sqoop将MySQL数据导入到Hive中失败的问题。 解决Yarn配置本地化日志级别参数被设置为不支持修改的问题。 Hudi clean与archive逻辑解耦,不执行clean也能执行归档。 解决Hudi的.schema目录下文件找不到的问题。 解决Hudi clean触发时偶现文件mv to trash失败,导致.clean为空,影响Flink流读作业的问题。 Hudi支持changelog特性。 Hudi支持temp view特性。 MRS实时任务告警通知支持显示具体作业名称。 Flink读开启changelog后的表。 解决多AZ集群无法缩容的问题。 解决capacity调度原生页面无法访问队列任务详情的问题。 解决Flink作业无法通过checkpoint恢复的问题(遇到无法从checkpoint启动时:Cannot map checkpoint/savepoint state for operator xxxxx to the new program, because the operator is not available in the new program。需要在第一次启动作业以及通过checkpoint恢复作业时,均添加内核参数table.exec.uid.generation=ALWAYS。)。 Flink用hms方式同步Hive,支持参数配置化。 解决ResourceManager内存泄漏,开源单YARN-11489。 解决Yarn精细化监控部分指标没有数据的问题。 解决3AZ环境DataNode 5个节点,健康度阈值是80%,构造每个AZ下一个DataNode磁盘属主root:root,只有一个DataNode的AZ报了AZ不健康的问题。 解决AZ下缩容DataNode,副本未按照预期AZ策略补齐,导致退服失败的问题。 解决Flink在mysql数据库insert timestamp类型数据,数据通过Flink写入Hudi后和原数据差8小时的问题。 解决HetuEngine SQL查询偶现数组越界报错的问题。 解决 IAM 同步的用户加入supergroup用户组后,无法删除的问题。 补丁兼容关系 MRS 3.2.0-LTS.1.8补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。 父主题: MRS 3.2.0-LTS.1.8补丁说明
  • 后续操作 您可以在“服务器管理”页面查看服务器的状态、IP地址等信息,在“实例管理”页面查看云手机状态、名称等信息。云手机数量取决于购买服务器时所选择的云手机规格,假设规格中“手机开数”为60,则可创建的云手机数量为60台。 所有云手机共用一个服务器的公网IP,每台云手机都拥有独立的私有IP。 云手机购买成功后,您可能需要连接云手机,目前支持ADB连接方式。ADB方式是通用的连接方式,所有规格的云手机均支持。 连接云手机后,您可能希望完成一些高阶功能,请参考如下链接: 通过Airtest快速获取云手机画面 修改云手机的GPS定位信息 如果共享带宽大小不能满足当前的业务需求,您可以升级共享带宽(仅支持API方式)。
  • 步骤2:通过ADB连接云手机 下载ADB工具。 访问https://developer.android.com/studio/releases/platform-tools,在页面右上角切换语言为“English”,选择“Download SDK Platform-Tools for Windows”。 在弹出的对话框中勾选“I have read and agree with the above terms and conditions”,并单击“DOWNLOAD ANDROID SDK PLATFORM-TOOLS FOR WINDOWS”进行下载。 如果您无法访问上述网站,也可以单击如下链接下载: https://dl.google.com/android/repository/platform-tools-latest-windows.zip 下载后得到“platform-tools_r29.0.5-windows.zip”文件,解压该zip文件至您选定的目录,例如“C:\Users\Administrator\Downloads”。 “platform-tools_r29.0.5-windows.zip”文件中的版本号“29.0.5”仅为示例,请以实际下载的版本为准。 打开命令提示符窗口,进入“C:\Users\Administrator\Downloads\platform-tools”目录。 在步骤1:建立SSH隧道中,如果执行建立SSH隧道的命令后提示“Authorized users only. All activities may be monitored and reported.”,请保持该窗口不关闭,并重新打开一个命令提示符窗口进行本步骤操作。 cd C:\Users\Administrator\Downloads\platform-tools 执行如下ADB命令,创建与云手机的ADB连接。 adb connect 127.0.0.1:本地空闲端口 其中,本地空闲端口为2中所使用的空闲端口。 示例:adb connect 127.0.0.1:1234 检测当前端口是否已连接,可输入adb devices命令检查。 ADB连接的故障排查,请参考如下链接: ADB连接云手机时报错“unable to connect to :5555”? ADB连接突然中断,如何解决?
  • 步骤1:建立SSH隧道 在本地设备打开命令提示符窗口,以Windows 10操作系统为例,方法如下: 同时按下“Win + R”,在打开的“运行”对话框中输入cmd,按“Enter”。 执行以下命令,建立SSH隧道。 ssh -L 本地空闲端口:云手机监听地址 SSH隧道用户名@公网IP地址 -i 私钥文件路径 -o ServerAliveInterval=30 -Nf 各参数说明及获取方式如下所述: 本地空闲端口:用户自由选择的本地设备中任意未被占用的端口,通过该端口映射云手机应用端口。获取方式见2。 云手机监听地址:云手机的内网IP与端口。获取方式见3。 SSH隧道用户名:云手机所在区域的项目ID。获取方式见1。 公网IP地址:服务器的公网IP。获取方式见4。 私钥文件路径:服务器的密钥对所对应的私钥文件在本地的保存路径。获取方式见5。 假设本地空闲端口为1234,云手机监听地址为10.237.0.61:5555,SSH隧道用户名为05e1aexxx,公网IP地址为xxx.xxx.xxx.xxx,私钥文件路径为C:\Users\Administrator\Downloads\KeyPair-a49c.pem,命令如下: ssh -L 1234:10.237.0.54:5555 05e1aexxx@xxx.xxx.xxx.xxx -i C:\Users\Administrator\Downloads\KeyPair-a49c.pem -o ServerAliveInterval=30 -Nf 该命令表示从本地PC建立一个到云手机的SSH隧道,使用本地端口转发模式,监听本地PC的1234端口;访问本地PC的1234端口时,通信数据将会被转发到云手机的5555端口。 执行命令后,SSH程序会在后台执行隧道的转发,执行后无报错或者报“Authorized users only. All activities may be monitored and reported.”即为SSH隧道建立成功。 若您购买云手机服务器时选择开启IPv6,可以使用IPv6建立隧道连接云手机。命令结构和IPv4一致,例如: ssh -L 1234:[fd00::aed:96]:5555 05e1aexxx@ xxx:xxx:xxx:xxx -i C:\Users\Administrator\Downloads\KeyPair-a49c.pem -o ServerAliveInterval=30 -Nf 目前建立隧道连接云手机,会话连接无超时退出机制,用户使用结束后需要及时终止连接。 以Windows系统为例,在关闭对应的终端窗口后,需要在任务管理器的后台进程中,找到ssh.exe进程,选中并结束任务。 以Linux系统为例,通过ps –ef|grep ssh命令找到对应的后台进程,再通过kill -9 {进程号}结束对应的进程。 建立SSH隧道的故障排查,请参考如下链接: 通过公网访问云手机时,建立SSH隧道失败了,如何解决? 建立SSH隧道时报错“too open”? 建立SSH隧道时报错“Permission denied”? 建立SSH隧道时报错“no match mac found”? 如何保持SSH会话不中断?
  • 使用限制 单账号跟踪的事件可以通过 云审计 控制台查询。多账号的事件只能在账号自己的事件列表页面去查看,或者到组织追踪器配置的OBS桶中查看,也可以到组织追踪器配置的 CTS /system日志流下面去查看。 用户通过云审计控制台只能查询最近7天的操作记录。如果需要查询超过7天的操作记录,您必须配置转储到 对象存储服务 (OBS)或 云日志 服务(LTS),才可在OBS桶或LTS日志组里面查看历史事件信息。否则,您将无法追溯7天以前的操作记录。 云上操作后,1分钟内可以通过云审计控制台查询管理类事件操作记录,5分钟后才可通过云审计控制台查询数据类事件操作记录。
  • 响应消息 正常响应参数说明 表4 响应Body参数 参数 参数类型 描述 total_count Integer 总条数。 physical_processes Array of 表5 objects 实例的物理会话列表。 表5 PhysicalProcessInfo 参数 参数类型 描述 id Long 物理会话ID。 user String 当前连接的用户。 host String 所属的IP和端口。 db String 数据库名。 command String 连接状态,一般是休眠或空闲(sleep),查询(query),连接(connect)。 time Long 连接状态持续的时间,单位是秒(s)。 state String 当前SQL语句的状态。 info String 当前所执行的SQL语句。 trx_executed_time Long 事务持续时间,单位是秒(s)。 正常响应示例 { "physical_processes": [ { "id": 1973, "user": "DDMRW1613058863", "hots": "172.16.241.84:58908", "db": "ddm_db_test_0001", "state": "", "command": "Sleep", "info": null, "time": 13977, "trx_executed_time": 0 } ], "total_count": 1 } 异常响应 请参见异常请求结果。
  • URI URL格式 GET /v3/{project_id}/instances/{instance_id}/physical-processes?offset={offset}&limit={limit} 参数说明 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户在某一region下的project ID。 获取方法请参见获取项目ID。 instance_id 是 String 关联RDS实例ID。 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer 索引位置,偏移量。 从第一条数据偏移offset条数据后开始查询,默认为0。 取值必须为数字,且不能为负数。 limit 否 Integer 查询个数上限值。 取值范围:1~128。 不传该参数时,默认值为10。 keyword 否 String 会话结果筛选关键字,支持返回结果全字段模糊匹配,长度最大255。
  • 代码托管常见问题 升级CodeArts Repo的SSH功能 从本地推送代码仓到CodeArts Repo时,报错"Error: Deny by project hooks setting 'default': message of commit" 在一台电脑上,如何配置多个SSH Key? TLS协议握手失败并报错"ssl handshake failure" fatal: refusing to merge unrelated histories 在CentOS系统下使用HTTPS协议克隆代码时,报错"The requested URL returned error: 401" 使用git pull拉取CodeArts Repo的代码失败,报错"Merge branch 'master' of https://test.com Please Enter a commit" 在本地提交合并请求时,报错"failed to push some refs to '....git'" 如何阻止涉密文件被推送到CodeArts Repo代码仓库 执行git push命令时,报错'origion' does not appear to be a git repository...
  • CodeArts IDE常见问题 登录华为云失败 如何配置默认的Maven配置文件settings.xml 新建主机连接失败 CMake Build Tool插件运行调试时中文乱码 连接远程主机失败 终端输出中文乱码 报错“Error: command‘clangd.applyFix’already exists” 报错“WeCode-DB is unable to watch for file changes in this large workspace” 依赖项视图长时间显示“等待语言服务初始化完成”
  • 如何避免频繁登录CodeArts? CodeArts采用华为云统一的会话超时策略,会话超时时长默认为1个小时。 当用户超过设置的时长未操作界面,会话将会失效,需要重新登录。 管理员可以通过 统一身份认证 服务(IAM)的“安全设置”页面设置会话超时策略。 登录华为云控制台,鼠标移动至右上方的用户名,在下拉列表中选择“安全设置”。 单击“登录验证策略”页签,在页面中找到“会话超时策略”,根据需要设置时长,可以在15分钟~24小时之间进行设置。 在页面底部单击“应用”。 如果需要配置更多登录验证策略,请参考登录验证策略。 父主题: 整体咨询类问题
  • 部署常见问题 主机/代理机连通性验证问题排查方法有哪些? 执行docker login命令失败 启动/停止SpringBoot服务步骤中执行启动命令失败 部署失败,提示“权限不够” SpringBoot服务路径有误 执行Docker命令参数错误 部署失败,提示“Openjdk does not support arm” Nginx配置文件格式错误 使用sudo权限执行报错“需要密码” 部署报错,提示“环境下没有主机”
  • 代码检查常见问题 执行代码检查任务时提示:Cppcheck cannot tokenize the code correctly 执行代码检查任务时提示:no such file or directory 执行代码检查任务时提示:在Maven仓库中找不到依赖 执行代码检查任务时提示:调用CodeArts Repo失败,未授权 执行代码检查任务时提示:CC.00070400.500 C#前端使用WPF组件的项目检查失败 任务执行完成后没有数据 TypeScript任务检查失败,日志显示404
  • NPM方式安装SDK 安装方法:在项目根目录下通过运行“npm i lts-web-sdk”命令,安装SDK软件包。 您可以在开源仓地址下载最新的SDK。 示例代码: const LTS_WEB_SDK = require('lts-web-sdk').default; // import LTS_WEB_SDK from 'lts-web-sdk'; // 初始化 const weblog = new LTS_WEB_SDK({ // 上报region region: string, // 华为云项目ID projectId: string, // 上报地址 url: string, // LTS日志组ID groupId: string, // LTS日志流ID streamId: string, // 调试日志等级 debug: string, // 上报条数阈值 cacheThreshold: number, // 上报时间阈值 timeInterval: number, }); // 立即上报单条带标签 weblog.reportImmediately({ 'name': 'xiaoming', 'age': 18 }, { 'key': 'value' }); // 立即上报单条 不带标签 weblog.reportImmediately([{ key: 'value', number: 1, array: [], json: { json: 'json' } }, { 'key': 'value' }]); // 缓存上报多条 带标签 weblog.report([{ 'name': 'xiaohong', 'age': 18 }, { 'name': 'xiaobai', 'age': 20 }], { 'key': 'value' }); // 缓存上报多条 不带标签 weblog.report([{ 'name': 'xiaohong', 'age': 18 }, { key: 'value', number: 1, array: [], json: { json: 'json' } }]); // 缓存上报多条 带多个标签(最多50个) weblog.report([{ 'name': 'xiaohong', 'name': 'xiaolan' }], {'version': '1.0.0', 'render': 'web', 'link': '/', from: 'web'});
  • 版本更新说明 表1 版本更新说明 版本号 更新说明 1.0.24 支持更多region:华东-上海一、华南-广州。 1.0.21 废弃config方法,优先使用new SDK创建一个新的实例。 去除代码中对三方包的依赖和存在的中文符号。 1.0.19 修改时间阈值的范围从1-60改为1-1800,其默认值从30改为3。 1.0.18 调整日志级别等级。 支持labels嵌套。 1.0.15 新增多实例。
  • 安装ICAgent的限制说明 Linux环境:ICAgent支持的Linux操作系统,请参考Linux操作系统。 Windows环境:仅支持在如下64位系统的Windows环境中安装ICAgent。 Windows Server 2016 R2 Datacenter Windows Server 2016 R2 Standard Windows Server 2016 Datacenter English Windows Server 2016 R2 Standard English Windows Server 2012 R2 Datacenter Windows Server 2012 R2 Standard Windows Server 2012 Datacenter English Windows Server 2012 R2 Standard English Windows Server 2008 R2 Enterprise Windows Server 2008 R2 Standard Windows Server 2008 Enterprise English Windows Server 2008 R2 Standard English Windows环境不支持在云日志服务主机管理界面对ICAgent进行升级和卸载操作。如果需要使用新版本,请先卸载旧版本ICAgent,再安装新版本ICAgent。请在ICAgent安装包解压目录下,双击执行“ICAgent安装包解压目录\ICProbeAgent\bin\manual\win\uninstall.bat”脚本,当显示“ICAgent uninstall success”时,表示卸载成功。
  • 安装方式说明 ICAgent有两种安装方式,请按照您的场景进行选择。 表1 安装方式 方式 适用场景 首次安装 该服务器上未安装过ICAgent。 在服务器上执行ps -aux | grep icagent命令,查看没有ICAgent进程,则确认没有安装过ICAgent。 首次安装(Linux环境) 首次安装(Windows环境) 继承安装(Linux环境支持) 您有多个服务器需要安装ICAgent,其中一个服务器已经通过首次安装方式装好了ICAgent,对于没有安装ICAgent的其他多个服务器,您可以采用该安装方式。 继承安装(Linux环境) 继承批量安装(Linux环境)
  • 继承批量安装(Linux环境) 如果您有多个服务器需要安装ICAgent,其中一个服务器已经通过首次安装方式装好了ICAgent,且该服务器“/opt/ICAgent/”路径下存在ICAgent的安装包ICProbeAgent.tar.gz,对于没有安装ICAgent的服务器,可以通过该方式对服务器进行一键式继承批量安装。 批量安装的服务器需同属一个VPC下,并在同一个网段中。 批量安装功能依赖python3.*版本,如果安装时提示找不到python请在服务器上安装python版本后重试。
  • 参数获取方式 上线区域表,使用华为云主机时参考以下信息: 表2 区域表 区 域名 称 RegionName Endpoint 华北-北京四 cn-north-4 https://lts-access.cn-north-4.myhuaweicloud.com:8102 华东-上海一 cn-east-3 https://lts-access.cn-east-3.myhuaweicloud.com:8102 华南-广州 cn-south-1 https://lts-access.cn-south-1.myhuaweicloud.com:8102 亚太-新加坡 ap-southeast-3 https://lts-access.ap-southeast-3.myhuaweicloud.com:8102 当前仅华北-北京四、华东-上海一、华南-广州区域使用SDK时支持跨云/本地上报日志,Endpoint端口使用443。 日志组ID:在云日志服务控制台,选择“日志管理”,鼠标悬浮在日志组名称上,可查看日志组名称和日志组ID。 日志流ID:单击日志组名称对应的按钮,鼠标悬浮在日志流名称上,可查看日志流名称和日志流ID。
  • 方式二:使用obsutil校验上传数据的一致性 obsutil支持在上传数据时通过附加参数(vmd5)来校验数据的一致性。 以在Windows操作系统上传本地一个位于D盘的test.txt文件至mytestbucket桶为例,开启一致性校验的命令示例如下: obsutil cp D:\test.txt obs://mytestbucket/test.txt -vmd5 校验通过后,数据上传成功,系统显示Upload successfully的回显信息。 图2 obsutil校验
  • 方式一:使用OBS Browser+校验上传数据的一致性 OBS Browser+默认关闭MD5校验,在OBS Browser+上启用MD5校验一致性并上传数据的步骤如下: 登录OBS Browser+。 单击客户端右上方的,并选择“高级设置”。 勾选“MD5校验”,如图1所示。 图1 配置MD5校验 单击“确定”。 选择待上传文件的桶,上传文件。 若MD5校验成功,则文件上传成功。 若MD5校验失败,则文件上传失败,且在任务管理中提示失败原因:校验文件MD5失败。
  • Oracle数据库连接参数说明 连接Oracle数据库时,连接参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 Oracle数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 oracle_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 192.168.0.1 端口 配置为要连接的数据库的端口。 默认端口:1521 数据库连接类型 选择Oracle数据库连接类型: Service Name:通过SERVICE_NAME连接Oracle数据库。 SID:通过SID连接Oracle数据库。 SID 实例名称 配置Oracle实例ID,用于实例区分各个数据库。“数据库连接类型”选择“SID”时才有该参数。 dbname 数据库名称 配置为要连接的数据库名称。“数据库连接类型”选择“Service Name”时才有该参数。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 cdm 密码 用户密码。 - 使用Agent Agent功能待下线,无需配置。 - Agent Agent功能待下线,无需配置。 - Oracle版本 创建Oracle连接时才有该参数,根据您Oracle数据库的版本来选择。当出现“java.sql.SQLException: Protocol violation异常”时,可以尝试更换版本号。 高于12.1 一次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 Oracle到DWS迁移时,可能出现目的端写太久导致迁移超时的情况。此时请减少Oracle源端“一次请求行数”参数值的设置。 1000 连接属性 可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下: oracle.net.CONNECT_TIMEOUT=60000与oracle.jdbc.ReadTimeout=300000:迁移数据量较大、或通过查询语句检索全表时,会由于连接超时导致迁移失败。此时可自定义连接超时时间与读取超时时间(单位ms),避免超时导致失败。 sslmode=require 引用符号 可选参数,连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。 " 驱动版本 不同类型的关系数据库,需要适配不同的驱动,更多详情请参见如何获取驱动。 - 父主题: 配置连接参数
  • SAP HANA连接参数说明 连接SAP HANA时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 SAP HANA连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 sap_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同,请根据具体情况配置。 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 cdm 密码 用户名密码。 - 使用Agent Agent功能待下线,无需配置。 - Agent Agent功能待下线,无需配置。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性 可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下: connectTimeout=360000与socketTimeout=360000:迁移数据量较大、或通过查询语句检索全表时,会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间(单位ms),避免超时导致失败。 useCursorFetch=false: CDM 作业默认打开了JDBC连接器与关系型数据库通信使用二进制协议开关,即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错,可以关闭此开关;开源MySQL数据库支持useCursorFetch参数,无需对此参数进行设置。 sslmode=require 引用符号 可选参数,连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。 ' 父主题: 配置连接参数
  • FusionInsight HDFS 连接FusionInsight HD上的HDFS数据源时,相关参数如表2所示。 表2 FusionInsight HDFS连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 FI_hdfs_link Manager IP FusionInsight Manager平台的地址。 127.0.0.1 Manager端口 FusionInsight Manager平台的端口。 28443 CAS Server端口 与FusionInsight对接的CAS Server的端口。 20009 用户名 登录FusionInsight Manager平台的用户名。 从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 cdm 密码 FusionInsight Manager平台的密码。 - 认证类型 访问集群的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。 KERBEROS 运行模式 选择HDFS连接的运行模式: EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。 STANDALONE:连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE认证模式,只能使用STANDALONE模式。 说明:STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时,存在jar包冲突的情况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。 STANDALONE Agent Agent功能待下线,无需配置。 - 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hdfs_01 单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性,可单击属性后的“删除”按钮进行删除。
  • Apache HDFS 连接Apache Hadoop上的HDFS数据源时,相关参数如表3所示。 表3 Apache HDFS连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 hadoop_hdfs_link URI 表示NameNode URI地址。可以填写为:hdfs://namenode实例的ip:8020。 hdfs://IP:8020 认证类型 访问集群的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。 KERBEROS 运行模式 选择HDFS连接的运行模式: EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。 STANDALONE:连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE认证模式,只能使用STANDALONE模式。 说明:STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时,存在jar包冲突的情况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。 STANDALONE IP与主机名映射 运行模式选择“EMBEDDED”、“STANDALONE”时,该参数有效。 如果HDFS配置文件使用主机名,需要配置IP与主机的映射。格式:IP与主机名之间使用空格分隔,多对映射使用分号或回车换行分隔。 10.1.6.9 hostname01 10.2.7.9 hostname02 Agent Agent功能待下线,无需配置。 - 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 当“是否使用集群配置”为“是”或“认证类型”为“KERBEROS”时,此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hdfs_01
共100000条