环境准备-华为云

可信智能计算服务 TICS-创建连接器:创建连接器

创建连接器用户登录 TICS 控制台。进入TI CS 控制台后，单击页面左侧“计算节点管理”。在“计算节点管理”页面，查找需要发布数据的计算节点名称，单击“计算节点名称”进入计算节点详情页。图1 选择计算节点在“计算节点详情”页，单击“前往计算节点”，在登录页正确输入部署计算节点时设置的“登录用户名”和“密码”。图2 前往计算节点登录成功后，进入到计算节点界面，选择左侧导航栏中“连接器管理”，单击“创建”，在弹出的界面配置创建连接器的参数，配置完成后单击“确定”。测试功能为数据源连通性及密码正确性的检查测试。图3 创建连接器（以RDS服务为例）表1 参数说明参数名描述连接器类型 “连接器类型”选择Hive连接时，需要选择Hive版本，当前仅支持 MRS 2.x和MRS3.x版本，选择的MRS集群需与当前计算节点部署CCE或IEF（非云上IEF节点不支持接入Hive）在同一VPC。“用户名”为MRS集群中拥有Hive权限的集群用户，“用户认证凭据”需要上传对应用户的认证凭据，请在 MapReduce服务的下载用户认证文件中获取。 “连接器类型”选择RDS服务时，所选择的RDS服务实例需与计算节点在同一VPC下，且端口开放。填写的用户名，需具有数据库的读写权限（参考修改权限）。“密码”为该用户登录RDS实例的密码。 “连接器类型”选择MySql时，需保证计算节点与数据库所在虚机的连通性，“驱动文件”需与目标MySQL数据库版本一致。驱动类名com.mysql.cj.jdbc.Driver，仅支持mysql-connector-java-5.x以后的版本，驱动文件请在Mysql驱动下载地址中获取。 “连接器类型” 选择DWS连接时，填写的用户名，需具有数据库的读写权限（参考权限管理）。“密码”为该用户登录DWS实例的密码。 “连接器类型” 选择ORACLE连接时，需保证计算节点与数据库的连通性，当前仅支持ORACLE 12c和19c版本。驱动文件需与目标ORACLE数据库版本一致，请在ORACLE驱动下载地址中获取。 “连接器类型” 选择API连接时，需保证计算节点与api接口的连通性，当前仅支持基础认证方式。连接器名称根据实际情况设置即可。数据库版本 “连接器类型”选择MySql和ORACLE时，呈现此参数。根据实际情况设置即可。数据库名称 “连接器类型”选择ORACLE时，呈现此参数。根据实际情况设置即可。数据库服务器 “连接器类型”选择ORACLE时，呈现此参数。用户根据实际情况设置。端口 “连接器类型”选择ORACLE时，呈现此参数。用户根据实际情况设置。实例名称 “连接器类型”选择RDS或DWS服务时，呈现此参数。下拉选择实例即可。数据库 “连接器类型”选择DWS服务时，呈现此参数。可手动输入DWS服务里面购买的数据库名称。用户名用户根据实际情况设置。密码用户根据实际情况设置。驱动类名 “连接器类型”选择MySql和ORACLE时，呈现此参数。根据实际情况设置，注意驱动类名com.mysql.cj.jdbc.Driver仅支持mysql-connector-java-5.x以后的版本。 JDBC URL “连接器类型”选择MySql时，呈现此参数。JDBC访问端口。取值样例：198.0.0.1：3306。驱动文件 “连接器类型”选择MySql和ORACLE时，呈现此参数。JDBC驱动。其他属性 “连接器类型”选择MySql时，呈现此参数。用户根据实际情况设置任务所需的Key和Value。

可信智能计算服务 TICS 环境准备

可信智能计算服务 TICS-创建连接器:前提条件

前提条件计算节点处于运行中，且所在空间信息的“认证状态”为“已认证”。建议使用者提前了解MapReduce服务（MRS Hive）集群。 “连接器类型”选择MapReduce服务（MRS Hive）时，选择的MRS集群需与当前计算节点部署CCE在同一VPC。填写的用户名，需具有Hive的读写权限。“集群名称”为用户所需要使用的MRS Hive数据源所在的MRS集群。“用户名”为MRS集群中拥有Hive权限的集群用户。

可信智能计算服务 TICS 环境准备

湖仓构建 LAKEFORMATION-简介

简介在进行湖仓构建应用开发时，要准备的环境如表1所示。同时需要准备运行调测的环境，用于验证应用程序运行正常。表1 准备项准备项说明准备LakeFormation实例在LakeFormation控制台创建实例，或者使用已有LakeFormation实例。创建客户端在LakeFormation控制台接入管理界面创建客户端。修改DNS信息在云解析服务中，修改linux环境所在子网的内网域名信息。父主题：环境准备

湖仓构建 LAKEFORMATION 环境准备

云应用引擎 CAE-安装KooCLI工具:初始化配置KooCLI

初始化配置KooCLI 登录Jenkins所在Linux虚拟机。执行命令进行初始化配置，输入命令后按回车进入交互模式，根据界面提示输入各参数值，各参数配置参考表1。 hcloud configure init 表1 初始化配置参数说明 Access Key ID （必填参数）访问密钥ID，即AK。获取方法，请参考访问密钥。 Secret Access Key （必填参数）与访问密钥ID（AK）结合使用的密钥，即SK，初始化时必填。获取方法，请参考访问密钥。 Region （选填参数）区域，即CAE服务部署区域。获取方法，请参考地区和终端节点。

云应用引擎 CAE 环境准备

云应用引擎 CAE-安装KooCLI工具:方式一：联网安装

方式一：联网安装登录Jenkins所在虚拟机. 执行安装命令： curl -sSL https://hwcloudcli.obs.cn-north-1.myhuaweicloud.com/cli/latest/hcloud_install.sh -o ./hcloud_install.sh && bash ./hcloud_install.sh -y 如上命令默认将KooCLI下载至“/usr/local/hcloud/”目录下，同时在“/usr/local/bin/”目录下创建KooCLI的符号链接。

云应用引擎 CAE 环境准备

云应用引擎 CAE-安装KooCLI工具:方式二：软件包安装

方式二：软件包安装登录Jenkins所在虚拟机，执行如下命令确认所需安装操作系统： echo $HOSTTYPE 若执行如上命令的输出值是“x86_64”，请下载AMD 64位系统；若执行如上命令的输出值是“aarch64”，请下载ARM 64位系统。执行如下命令下载对应的软件包。 AMD wget "https://hwcloudcli.obs.cn-north-1.myhuaweicloud.com/cli/latest/huaweicloud-cli-linux-amd64.tar.gz" -O huaweicloud-cli-linux-amd64.tar.gz ARM wget "https://hwcloudcli.obs.cn-north-1.myhuaweicloud.com/cli/latest/huaweicloud-cli-linux-arm64.tar.gz" -O huaweicloud-cli-linux-arm64.tar.gz 执行如下命令解压软件包。 AMD tar -zxvf huaweicloud-cli-linux-amd64.tar.gz ARM tar -zxvf huaweicloud-cli-linux-arm64.tar.gz 在解压后的目录执行如下命令创建软链接到“/usr/local/bin”目录： ln -s $(pwd)/hcloud /usr/local/bin/ 执行如下命令验证是否安装成功： hcloud version 系统显示类似“当前KooCLI版本:3.4.1.1”版本信息，表示安装成功。图1 koocli版本查验

云应用引擎 CAE 环境准备

天筹求解器服务 OPTVERSE-登录华为云账号

登录华为云账号使用Chrome浏览器访问系统环境地址：https://console.huaweicloud.com/optverse/?agencyId=053a59ad180026111f2ac011f5934368®ion=cn-north-4&locale=zh-cn#/optverse/overview，出现如下界面，输入华为云账号用户名和密码，点击“登录”按钮，登录成功后，进入OptVerse首页界面，如下图所示：父主题：华为云账号环境准备

天筹求解器服务 OPTVERSE 华为云账号环境准备

对象存储服务 OBS-下载并安装obsfs:配置运行环境

配置运行环境 obsfs的运行环境依赖openssl-devel、fuse、fuse-devel等软件包，运行obsfs之前，您需要通过命令配置其依赖环境。 obsfs支持使用的libfuse版本为2.9.7，2.9.8或2.9.9。如果当前您的libfuse是其他版本，请参考libfuse安装指导进行安装。您可以通过操作系统自有的查看命令查看libfuse版本，也可以通过以下命令查找libfuse.so以获得当前已安装版本。 find / -name libfuse.so* CentOS 7 yum install -y openssl-devel fuse fuse-devel Ubuntu 16 apt-get install -y libfuse-dev libcurl4-openssl-dev

对象存储服务 OBS 环境准备

HAYDN解决方案工厂-资源准备:资源准备

资源准备若有实际的数据需要进行探源、迁移入湖等，则需要把相关数据准备好。本最佳实践准备的相关资源如下：表1 资源准备准备项资源内容说明源端系统连接信息 MySQL数据库门店基本信息表： store_mgmt.t_user_store_info 订单表： order_mgmt.t_trade_order 本实践需要采集客户源端系统的MySQL数据库数据结构（含门店基本信息表和订单表），因此需要准备好该数据库的连接地址、端口、账号信息以及需要采集的数据库名、表名等。目标端系统连接信息 MRS Hudi：门店DB：store_mgmt、dwi_store_mgmt 订单DB：order_mgmt 本实践需要将源端系统数据采集至云上MRS Hudi，因此需要准备好目标端的MRS实例、Hudi的连接信息。其中，dwi_store_mgmt是DWI层的数据库，用于存储经过整合处理后的数据。数据探源服务器 Linux操作系统服务器： 4vCPUs | 8GiB | Si2.xlarge.2 为了批量自动获取客户源端系统的数据结构，可使用解决方案工作台的探源工具进行数据探源，因此需要准备好可运行该探源工具的服务器。要求：Linux操作系统且该服务器与要探源的源端系统网络互通即可。云服务资源准备 MRS 普通集群 CDM 集群 DataArts Studio 初级版及以上按照需求准备好需要用到的云服务资源，如本实践使用CDM进行数据迁移入湖至MRS，并使用DataArts Studio进行数据治理，则需要开通相应资源。其他 DWS、 DLV 等资源由于本最佳实践主要演示在解决方案工作台上对该项目进行管理以及实施交付，不涉及DWS、DLV的操作，因此实际应用中按需求开通即可，本文档中不展开。

HAYDN解决方案工厂环境准备

对象存储服务 OBS-下载并安装obsfs:配置运行环境

配置运行环境 obsfs的运行环境依赖openssl-devel、fuse、fuse-devel等软件包，运行obsfs之前，您需要通过命令配置其依赖环境。 obsfs支持使用的libfuse版本为2.9.7，2.9.8或2.9.9。如果当前您的libfuse是其他版本，请参考libfuse安装指导进行安装。您可以通过操作系统自有的查看命令查看libfuse版本，也可以通过以下命令查找libfuse.so以获得当前已安装版本。 find / -name libfuse.so* CentOS 7 yum install -y openssl-devel fuse fuse-devel Ubuntu 16 apt-get install -y libfuse-dev libcurl4-openssl-dev

对象存储服务 OBS 环境准备

对象存储服务 OBS-下载并安装obsfs:安装obsfs

安装obsfs 在一台Windows计算机上，根据您Linux运行机的版本，下载到对应的obsfs软件包。如果您在Linux系统中使用如下命令进行下载，请忽略步骤2。 wget obsfs下载地址通过常见的跨平台传输工具（比如WinSCP），将软件包传输至您的Linux运行机。在Linux运行机上，执行以下解压命令。 tar -xzvf obsfs软件包绝对路径/obsfs_xxx.tar.gz 您也可以使用以下命令，将软件包解压至指定目录。 tar -xzvf obsfs软件包绝对路径/obsfs_xxx.tar.gz -C 指定目录切换到root用户，进入obsfs解压目录，执行以下命令安装obsfs。 bash install_obsfs.sh 请务必使用root用户进行安装，否则某些功能将无法正常使用。您在执行安装命令后，crontab会添加一条定时任务，用于obsfs日志压缩转储，转储位置为/var/log/obsfs/。 crontab中的添加样例: */10 * * * * [ -f /opt/dfv/obsfs/obsfs_log_rotate.sh ] && bash /opt/dfv/obsfs/obsfs_log_rotate.sh

对象存储服务 OBS 环境准备

云应用引擎 CAE-安装obsutil工具:验证obsutil上传文件到OBS是否正常

验证obsutil上传文件到OBS是否正常创建测试文件。例如：test.txt。 touch test.txt 使用obsutil上传创建的文件到obs。 ~/tools/obsutil/obsutil_linux_amd64_5.4.6/obsutil cp test.txt obs://{OBS桶名称} 请将{OBS桶名称}替换为已创建的待使用的OBS桶名称，本示例选择的桶名为cae-obs，将在当前目录新建的test.txt文件上传到cae-obs桶中。提示“Upload successfully”表示上传成功。图1 上传文件到obs 登录OBS控制台，选择“桶列表”。单击本示例桶名名称cae-obs，进入“概览”页面。选择“对象”，可查看已经上传的文件test.txt。图2 查看已上传文件

云应用引擎 CAE 环境准备

对象存储服务 OBS-资源准备:注册华为账号并开通华为云

注册华为账号并开通华为云在使用obsfs之前，您需要拥有一个华为账号并且成功开通OBS。OBS提供按需和资源包两种计费方式，充值或购买资源包即开通OBS服务。成功开通OBS后即可进行访问和使用。如果您已有账号且账号已开通OBS服务，可以略过此部分内容。打开华为云网站www.huaweicloud.com。注册账号。使用OBS前需注册一个华为账号。如果您已有账号，请从3开始。在顶部导航栏右侧，单击“注册”。在注册页面，根据提示信息完成注册。注册成功后，系统会自动跳转至您的个人信息界面。在顶部导航栏右侧，单击“登录”，输账号名和密码。在顶部导航栏右侧，单击“控制台”，进入华为云控制台。

对象存储服务 OBS 环境准备

可信智能计算服务 TICS-配置CCE服务:CCE服务委托授权

CCE服务委托授权由于CCE在运行中对计算、存储、网络以及监控等各类云服务资源都存在依赖关系，因此当您首次登录CCE控制台时，CCE将自动请求获取当前区域下的云资源权限，从而更好地为您提供服务。 CCE的服务授权为全局配置，只要您所使用的账号在当前Region曾经进行过服务授权，则无需重新配置，可以跳过本节操作。图1 服务授权当您同意授权后，CCE将在 IAM 中创建名为“cce_admin_trust”委托，统一使用系统账户“op_svc_cce”对您的其他云服务资源进行操作，cce_admin_trust委托具有Tenant Administrator权限。Tenant Administrator拥有除IAM管理外的全部云服务管理员权限，用于对CCE所依赖的其他云服务资源进行调用，且该授权仅在当前区域生效。关于资源委托详情，您可参考委托进行了解。

可信智能计算服务 TICS 环境准备

Atlas 300应用（型号 3000）-安装依赖

安装依赖请切换到普通用户执行如下操作。执行以下命令安装DDK相关依赖。 sudo -E apt-get install gcc g++ cmake make python-pip python3-pip python3 python 安装 Python开发环境。 Python2环境安装环境部署依赖pip；安装TE软件包依赖：numpy，decorator，执行如下命令分别安装： $ pip2 install numpy==1.16.0 --user$ pip2 install decorator --user Python2环境检查使用如下命令分别检查python、pip： $ python2 --version$ pip2 --version 若分别返回如下所示信息，则说明安装成功： Python 2.7.5pip 9.0.1 from /usr/lib/python2.7/dist-packages (python 2.7) Python3(3.5+)环境安装环境部署依赖pip3；安装TE软件包依赖：numpy，decorator，执行如下命令分别安装： $ pip3 install numpy==1.16.0 --user$ pip3 install decorator --user Python3(3.5+)环境检查使用如下命令分别检查python3、pip3： $ python3 --version$ pip3 --version 若分别返回如下所示信息，则说明安装成功： Python 3.5.2pip 9.0.1 from /usr/lib/python3/dist-packages (python 3.5) 切换至root用户，执行如下命令，安装python2及python3的setuptools依赖。 $ pip2 install setuptools==41.0.1$ pip3 install setuptools==41.0.1 如果依赖安装过程中pip安装异常，请参见Mind Studio或DDK安装过程中提示pip2或pip不可用解决。上述安装成功后返回信息中的版本号只是样例，请以实际环境中的返回信息为准。父主题：环境准备

Atlas 300应用（型号 3000）环境准备

云服务器内容精选

环境准备

7*24

备案

专业服务

退订

建议反馈

售前咨询热线