华为云用户手册

  • License配置 数据建模引擎运行SDK的运行由License进行授权控制。当您已完成“通用服务器(SDK)”基础版数据建模引擎的购买并获取License文件之后,可参考如下配置说明绑定License。 如果您当前暂未申请License,且获取的SDK包处于免费使用期,可跳过此配置。 配置参数 是否必选 参数说明 示例 xdm.license.licenseFile 是 License文件的绝对路径。 /root/deploytest/test.dat xdm.license.keyFile 是 License密钥文件的绝对路径。 /root/deploytest/testKeyFile.txt
  • Kafka配置 如果您已在资源规划(数据建模引擎运行SDK)中规划了Kafka的资源/云服务,并希望使用xDM-F的“同步至LinkX-F”功能,可参考如下说明进行配置。 配置参数 是否必选 参数说明 示例 kafka.init 否 设置是否开启Kafka。 true:开启Kafka,默认为true。开启后,需要设置“KAFKA_BOOTSTRAP_SERVERS”参数。 false:关闭Kafka。 true KAFKA_BOOTSTRAP_SERVERS 仅当“kafka.init”为“true”时,此配置参数必选。 Kafka的连接地址。 127.0.0.1:9094
  • 单点登录配置 如果您希望通过单点登录的方式访问应用运行态,可参考如下说明进行配置。xDM-F的SDK部署模式当前支持如下两种单点登录方式,请根据实际的资源规划(数据建模引擎运行SDK)进行配置。 IAM 服务的单点登录 此方式的单点登录依赖于华为云IAM服务,请确认已规划对应资源。 配置参数 是否必选 参数说明 示例 ssf.sysmgr.sessionfilter.loginUrl 是 IAM服务的单点登录地址。 格式为: https://{IAM_ LOG IN_ENDPOINT}/authui/login.action?service={ssf.login.cas.serviceUrl} https://auth.huaweicloud.com/authui/login.action?service=http://127.0.0.1:8003/rdm_123456_app/services/v1/cas/login ssf.login.loginSuccessRedirectUrl 是 登录应用运行态后的默认主页。 格式为: http://{数据建模引擎运行SDK部署服务器的IP地址}:{数据建模引擎运行SDK部署服务器的端口号}/rdm_{应用ID}_app/services/index.html http://127.0.0.1:8003/rdm_123456_app/services/index.html ssf.login.cas.serviceUrl 是 应用运行态的单点登录地址。 格式为: http://{数据建模引擎运行SDK部署服务器的IP地址}:{数据建模引擎运行SDK 部署服务器的端口号}/rdm_{应用ID}_app/services/v1/cas/login http://127.0.0.1:8003/rdm_123456_app/services/v1/cas/login ssf.login.logoutUri 是 IAM服务的单点登出地址。 格式为: https://{IAM_LOGIN_ENDPOINT}/authui/logout https://auth.huaweicloud.com/authui/logout ssf.login.cas.validateUrl 是 IAM验签地址。 格式为: https://{IAM_LOGIN_ENDPOINT}/authui/serviceValidate https://auth.huaweicloud.com/authui/serviceValidate IAM_LOGIN_ENDPOINT 是 承载IAM服务的服务器 域名 或IP地址。 https://auth.huaweicloud.com LOGIN_URL 是 IAM服务的单点登录地址。 格式为: https://{IAM_LOGIN_ENDPOINT}/authui/login.action https://auth.huaweicloud.com/authui/login.action LOGOUT_URL 是 应用运行态的单点登出地址。 格式为: https://{IAM_LOGIN_ENDPOINT}/authui/logout https://auth.huaweicloud.com/authui/logout XDM_SDK_DEPLOY_ENABLE 是 表示当前部署方式是否为SDK部署。 true:是SDK部署方式,默认为true。 false:不是SDK部署方式。 true 本地环境的单点登录 配置此方式的单点登录之前,您需要先在资源规划(数据建模引擎运行SDK)的数据库资源中创建一个schema,其schema名称格式为{应用运行态的schema名称}_ssf;然后在schema中执行如下命令,更新配置信息。 set global log_bin_trust_function_creators=true; 配置参数 是否必选 参数说明 示例 XDM_LOGIN_TYPE 是 应用运行态的登录类型,配置为“LOCAL”。 LOCAL ssf.sysmgr.sessionfilter.loginUrl 是 本地环境的单点登录地址。 LOCAL ssf.sysmgr.sessionfilter.ignorePattern 是 设置忽略请求格式。 /getIndexUrl;/v1/health;/v1/login/login;/v1/login/logout;/v1/login/verifycode;/v1/firstlogin/users;/v1/firstlogin/userpasswords:PUT;/static/**;/index.html;/HuaweiLog.ico;/HuaweiLog.png ssf.login.logoutUri 是 本地环境的单点登出地址。 格式为: https://{数据建模引擎运行SDK部署服务器的IP地址}:{数据建模引擎运行SDK部署服务器的端口号}/rdm_{应用ID}_app/services/index.html http://127.0.0.1:8003/rdm_123456_app/services/index.html OPEN_IAM_TOKEN_VALIDATION 是 设置是否开启Token认证。 true:开启Token认证。开启后,您还需要进行Token配置。 false:关闭Token认证,默认为FALSE。 FALSE RUNTIME_ENV_TYPE 是 设置应用运行态的运行环境,配置为“IES”。 IES SSF_RDS_TYPE 否 本地环境单点登录的数据库类型,默认为“mariadb”。 请根据实际的资源规划(数据建模引擎运行SDK)进行设置。 如果是MySQL类型数据库,设置为“mariadb”。 如果是PostgreSQL类型数据库,设置为“postgresql”。 mariadb SSF_DRIVER 否 本地环境单点登录的数据库驱动,默认为“org.mariadb.jdbc.Driver”。请根据实际的资源规划(数据建模引擎运行SDK)进行设置。 如果是MySQL类型数据库,设置为“org.mariadb.jdbc.Driver”。 如果是PostgreSQL类型数据库,设置为“org.postgresql.Driver”。 org.mariadb.jdbc.Driver XDM_SDK_DEPLOY_ENABLE 是 表示当前部署方式是否为SDK部署。 true:是SDK部署方式,默认为true。 false:不是SDK部署方式。 true
  • MongoDB配置 如果您已在资源规划(数据建模引擎运行SDK)中规划了MongoDB的资源/云服务,并希望使用xDM-F的“系统版本”功能,可参考如下说明进行配置。 配置参数 是否必选 参数说明 示例 mongodb.init 否 设置是否开启MongoDB。 true:开启MongoDB。开启后,需要设置“MONGODB_URI”和“MONGODB_DATABASE”参数。 false:关闭MongoDB,默认为false。 true MONGODB_URI 仅当“mongodb.init”为“true”时,此配置参数必选。 MongoDB的连接串。 mongodb://rwuser:admin@127.0.0.1:8635/test?authSource=admin MONGODB_DATABASE 仅当“mongodb.init”为“true”时,此配置参数必选。 MongoDB的库名。 test
  • Elasticsearch配置 如果您已在资源规划(数据建模引擎运行SDK)中规划了Elasticsearch的资源/云服务,并希望使用xDM-F的“搜索服务管理”功能,可参考如下说明进行配置。 配置参数 是否必选 参数说明 示例 ES_URL 是 Elasticsearch的连接串。 127.0.0.1:9200 ES_PORT 是 Elasticsearch的端口号。 9200 ES_USERNAME 是 Elasticsearch的用户名。 admin ES_PASSWORD 是 Elasticsearch的密码。 admin ES_SCHEMA 是 Elasticsearch的类型。 http
  • 资源规划(数据建模引擎运行SDK) 将数据建模引擎运行SDK部署至本地通用服务器,您需要规划其他云平台或本地资源的数量、名称以及主要参数等信息,资源规划详情如表1所示。 表1 数据建模引擎运行SDK资源规划详情 资源/云服务 是否必须 推荐规格 说明 物理机 虚拟机 弹性云服务器(E CS ) 是 4U8G*2 用于部署数据建模引擎运行SDK。 数据库 云数据库 RDS 是 规格:4U8G 版本: MySQL 5.x MySQL 8.x PostgreSQL 13.x PostgreSQL 14.x 用于持久化实例数据。 Redis 分布式缓存服务(DCS) 是 规格:8G 版本: Redis 5.x Redis 6.x 用于缓存数据,提高查询效率。 MongoDB 文档数据库服务(DDS) 否 如果不选取,应用运行态将不支持“系统版本”功能。 规格:4U8G 版本:MongoDB 4.x 用于持久化非结构化JSON数据。 Elasticsearch 云搜索服务 CSS ) 否 如果不选取,应用运行态将不支持“搜索服务”功能。 规格:4U8G 版本:Elasticsearch7.10.2 用于语义搜索、分词搜索等操作。 Kafka 分布式消息服务Kafka版 否 如果不选取,应用运行态将不支持“同步至LinkX-F”功能。 规格:4U8G(cluster) 版本:kafka2.7 用于同步数据至LinkX-F。 物理磁盘 对象存储(OBS) 否 如果不选取,应用运行态的所有文件将存储在部署的服务器中。 按需配置 用于存储文件。 xDM-F的上传文件、导入/导出、离线同步等操作的文件可能会占用较大的本地磁盘空间,推荐选择OBS服务。 统一身份认证 (IAM) 否 如果不选取,应用运行态将无法使用IAM登录和token认证。 - 用于单点登录应用运行态页面。 用于应用运行态接口的token认证鉴权。 应用运维管理 AOM ) 否 如果不选取,应用运行态将不支持“系统日志”功能。 - 用于应用运行态日志上报。 用于全量数据服务接口异常的告警上报。 API网关(APIG) 否 如果不选取,应用运行态将无法使用API监控、管理、配置、流控等。 - 用于支持API监控、管理、配置、流控等。 数据加密 服务(DEW) 否 如果不选取,应用运行态将不支持“属性的值加密”功能。 - 用于加解密数据库存储的敏感数据,以密文形式存储。 目前xDM-F SDK仅支持在通用服务器中部署,不支持容器化部署。 在搭建数据建模引擎运行SDK环境时,您可以根据实际业务需求,结合性能、价格、工作负载等因素,做出性价比与稳定性最优的决策。例如,您可以自行搭建依赖资源,也可以在华为云购买依赖云服务。 非必须的依赖资源/云服务缺省时,将会导致xDM-F的部分功能无法使用。 父主题: 部署数据建模引擎运行SDK
  • 操作步骤 如下操作以CentOS 7.6 64位操作系统的ECS为例。 登录Linux弹性云服务器。 将已获取的SDK包和License文件上传至弹性云服务器,具体操作请参见上传文件到云服务器方式概览。 执行如下命令,将SDK包解压缩到部署服务器的工作目录。 tar -xvf {SDK包的名称} -C {部署服务器的工作目录} 例如,将SDK包“workflow-sdk-1.24.100-SNAPSHOT”解压缩到“/root/deploytest”路径下。 tar -xvf workflow-sdk-1.24.100-SNAPSHOT -C /root/deploytest 解压缩后的SDK包会在“/root/deploytest”路径下生成如下结构的目录文件。 |--- {iDME SDK版本号}-SNAPSHOT:包含流程编排服务和流程运行服务的依赖项。 |--- design:流程编排服务。 |--- lib:包含流程编排服务的所有依赖项。 |--- runtime:流程运行服务。 |--- lib:包含流程编排服务的所有依赖项。 执行如下命令,进入流程编排服务的工作目录,例如“/root/deploytest/1.24.100/design”。 cd /root/deploytest/1.24.100/design 执行如下命令,打开“application.properties”文件。 vim application.properties 按i切换至编辑模式,并根据实际的资源规划(流程引擎流程SDK),参考资源配置说明(流程引擎流程SDK),按需添加对应资源配置信息,完成流程编排服务的配置。 # 流程编排服务配置 basic.runtime.application.id=123456 basic.runtime.domain.id=123abc basic.runtime.protocol=http basic.server.domain=localhost.huawei.com server.servlet.context-path=/workflowDesign server.port=60001 store.s3.bucketname=basic-dabao-test store.s3.endpoint=obs.cn-north-7.ulanqab.huawei.com config.obs.endpoint=https://obs.cn-north-7.ulanqab.huawei.com store.s3.ak=123ABC store.s3.sk=456DEF basic.workspace.workflow-runtime.url=http://localhost.huawei.com:60004/workflowRuntime basic.runtime.domain=localhost.huawei.com:60004 workflow.prefix=/workflowRuntime security.group.privatekey=abc123 security.group.publickey=def456 xdm.license.licenseFile=/root/deploytest/license.dat basic.runtime.application.admin-list=123,456 # 数据库配置 application.dbType=pgsql datasource.jdbcDriverClass.1=org.postgresql.Driver datasource.user.1=root datasource.password.1=123456 datasource.url.1=jdbc:postgresql://120.0.0.7:5432/test?targetServerType=master¤tSchema=definition_test&stringtype=unspecified rdm.hibernate.dialect=com.huawei.it.rdm.configuration.PostgreSQL10XdmDialect rdm.dbType=postgresql # Redis配置 redis.redisClusterConfiguration.clusters=7.0.0.1:6379,7.0.0.2:6379 spring.redis.type=CLUSTER spring.redis.password=123456 # 单点登录配置 basic.auth.orgId.enable=TRUE basic.auth.orgId.redirect-url=http://localhost.huawei.com:${server.port}${server.servlet.context-path}/index.html ssf.login.oauth2.client-id=111aaa ssf.login.oauth2.client-secret=222bbb basic.runtime.org.code=333 # 其他配置 xdmf.init=TRUE 其中,“xdm.license.licenseFile”的License文件路径需与2的存放路径保持一致。 按Esc,输入:wq,保存文件并返回。 执行如下命令,进入流程运行服务的工作目录,例如“/root/deploytest/1.24.100/runtime”。 cd /root/deploytest/1.24.100/runtime 执行如下命令,打开“application.properties”文件。 vim application.properties 按i切换至编辑模式,并根据实际的资源规划(流程引擎流程SDK),参考资源配置说明(流程引擎流程SDK),按需添加对应资源配置信息,完成流程运行服务的配置。 # 流程运行服务配置 server.servlet.context-path=/workflowRuntime basic.server.domain=localhost.huawei.com server.port=60004 security.group.privatekey=abc security.group.publickey=efg xdm.license.licenseFile=/root/deploytest/license.dat basic.xdm.module.sync.service-url=http://localhost:8003/rdm_123_app/services basic.runtime.application.admin-list=123,456 basic.workspace.definition.url=http://localhost.huawei.com:60001/definitionmicro # OBS配置 store.s3.bucketname=testObs store.s3.endpoint=obs.cn-north-7.ulanqab.huawei.com config.obs.endpoint=https://obs.cn-north-7.ulanqab.huawei.com store.s3.ak=testak store.s3.sk=testsk # 数据库配置 application.dbType=pgsql datasource.jdbcDriverClass.1=org.postgresql.Driver datasource.user.1=admin datasource.password.1=admin datasource.url.1=jdbc:postgresql://127.0.0.1:8888/testdb?targetServerType=master¤tSchema=testschema&stringtype=unspecified rdm.hibernate.dialect=com.huawei.it.rdm.configuration.PostgreSQL10XdmDialect rdm.dbType=postgresql # redis配置 redis.redisClusterConfiguration.clusters=1.111.11.111:6379,2.222.22.222:6379 spring.redis.type=CLUSTER spring.redis.password=admin # 单点登录配置 basic.auth.orgId.enable=TRUE basic.auth.orgId.redirect-url=http://localhost.huawei.com:${server.port}${server.servlet.context-path}/index.html ssf.login.oauth2.client-id=abc123 ssf.login.oauth2.client-secret=abc123 basic.runtime.application.id=abc123 basic.runtime.domain.id=123 basic.runtime.org.code=333 # 其他配置 xdmf.init=TRUE 其中,“xdm.license.licenseFile”的License文件路径需与2的存放路径保持一致。 按Esc,输入:wq,保存文件并返回。 执行如下命令,将node相关依赖复制到指定目录“/usr/local”。 cp -r ./lib/node_modules /usr/local cd /usr/local/node_modules/.bin # 解压后符号链接丢失 需重新设置 ln -sf ../acorn/bin/acorn acorn ln -sf ../browserslist/cli.js browserslist ln -sf ../cssesc/bin/cssesc cssesc ln -sf ../errno/cli.js errno ln -sf ../esbuild/bin/esbuild esbuild ln -sf ../eslint/bin/eslint.js eslint ln -sf ../eslint-config-prettier/bin/cli.js eslint-config-prettier ln -sf ../he/bin/he he ln -sf ../image-size/bin/image-size.js image-size ln -sf ../jsesc/bin/jsesc jsesc ln -sf ../json5/lib/cli.js json5 ln -sf ../js-yaml/bin/js-yaml.js js-yaml ln -sf ../less/bin/lessc lessc ln -sf ../mime/cli.js mime ln -sf ../nanoid/bin/nanoid.cjs nanoid ln -sf ../needle/bin/needle needle ln -sf ../which/bin/node-which node-which ln -sf ../npm-run-all/bin/npm-run-all/index.js npm-run-all ln -sf ../@babel/parser/bin/babel-parser.js parser ln -sf ../pidtree/bin/pidtree.js pidtree ln -sf ../prettier/bin-prettier.js prettier ln -sf ../resolve/bin/resolve resolve ln -sf ../rimraf/bin.js rimraf ln -sf ../rollup/dist/bin/rollup rollup ln -sf ../npm-run-all/bin/run-p/index.js run-p ln -sf ../npm-run-all/bin/run-s/index.js run-s ln -sf ../semver/bin/semver.js semver ln -sf ../typescript/bin/tsc tsc ln -sf ../typescript/bin/tsserver tsserver ln -sf ../update-browserslist-db/cli.js update-browserslist-db ln -sf ../vite/bin/vite.js vite ln -sf ../vue-tsc/bin/vue-tsc.js vue-tsc chmod -R 700 /usr/local/node_modules 执行如下命令,创建“vueproject”文件夹。 mkdir -p /usr/local/vueproject chmod -R 700 /usr/local/vueproject 分别进入流程编排服务和流程运行服务的工作目录,依次执行如下命令,复制OLC配置文件。 如果您在设置流程编排服务和流程运行服务的“application.properties”文件时,未开启OLC限流降级,可跳过此步骤。 执行如下命令,创建临时文件夹“temp_unzip”,并解压缩OLC文件至该临时文件夹。 mkdir temp_unzip tar -xf ./lib/MetaWorkflowRuntimeService-1.4.0-SNAPSHOT-small.jar -C temp_unzip 执行如下命令,创建文件夹“olc”,并将“temp_unzip/olc/”目录下的所有文件复制到“olc”目录中。 mkdir olc cp -r temp_unzip/olc/* olc/ 执行如下命令,删除临时文件夹。 rm -rf temp_unzip 分别进入流程编排服务和流程运行服务的工作目录,执行如下命令,创建并启动脚本。 在流程编排服务的工作目录下,依次完成如下操作。 执行如下命令,创建启动流程编排服务的脚本文件。 vim startDesign.bash 按i切换至编辑模式,输入以下内容,设置启动流程编排服务脚本。 # 指定启动类 START_CLASS=com.huawei.it.plm.definitiondemo.WfDefinitionDemoApplication # 指定启动类所在路径,为lib目录下 LOAD_CLASSPATH=./lib/*:./ # 执行java命令,以配置文件application.properties启动服务,并把日志输入到当前目录下的xdm.log中 sh -c "java -Xms8g -Xmx8g -Dspring.config.additional-location=./application.properties -cp $LOAD_CLASSPATH $START_CLASS" 按Esc,输入:wq,保存文件并返回。 执行如下命令,设置“startDesign.bash”脚本文件权限。 chmod +x startDesign.bash 执行如下命令,启动流程编排服务。 ./startDesign.bash 在流程运行服务的工作目录,依次完成如下操作。 执行如下命令,创建启动流程运行服务的脚本文件。 vim startRuntime.bash 按i切换至编辑模式,输入以下内容,设置启动流程运行服务脚本。 # 指定启动类 START_CLASS=com.huawei.it.workflowdemo.WorkflowRuntimeApplication # 指定启动类所在路径,为lib目录下 LOAD_CLASSPATH=./lib/*:./ # 执行java命令,以配置文件application.properties启动服务,并把日志输入到当前目录下的xdm.log中 sh -c "java -Xms8g -Xmx8g -Dspring.config.additional-location=./application.properties -cp $LOAD_CLASSPATH $START_CLASS" 按Esc,输入:wq,保存文件并返回。 执行如下命令,设置“startRuntime.bash”脚本文件权限。 chmod +x startRuntime.bash 执行如下命令,启动流程运行服务。 .startRuntime.bash 完成部署后,流程引擎支持如下几种验证方式。您可以根据实际情况选择验证。 方式一:查看服务日志 执行如下命令,查看服务日志。 tail -f xdm.log 显示结果为类似如下信息,则说明启动成功。 流程编排服务 INFO WfDefinitionDemoApplication:61 - Started WfDefinitionDemoApplication in xxx seconds 流程运行服务 INFO WorkflowRuntimeApplication:61 - Started WorkflowRuntimeApplication in xxx seconds 方式二:调用指定接口 启动“startDesign.bash”和“startRuntime.bash”脚本文件后,约等待2分钟,调用如下健康检查接口,查询服务是否正常启动。 http://{部署服务器的IP地址}:{部署服务器的端口号}${流程编排服务文根/流程运行服务文根}/health/check 如果返回如下信息,则说明启动成功。 true 方式三:访问可视化页面 如果您已在资源规划(流程引擎流程SDK)中规划了单点登录的相关资源/云服务,并在部署时配置了单点登录信息,可以选择此方式进行验证。 在浏览器中访问如下地址,查看服务是否启动成功。 流程编排服务 http://{承载流程编排服务的服务器域名或IP地址}:{流程编排服务的端口号}/{流程编排服务文根}/index.html#/processApplicationForm?tenantId=-1&applicationId={应用ID} 流程运行服务 http://{承载流程运行服务的服务器域名或IP地址}:{流程运行服务的端口号}/{流程运行服务文根}/wfAdminIndex.html#/process-tasks?tenantId=-1&applicationId={应用ID} 转入流程引擎登录页面,输入登录账号和登录密码,成功登录并进入流程引擎页面,即表示启动成功。
  • Redis配置 分别在流程编排服务和流程运行服务配置文件中配置Redis时,其配置信息建议保持一致,以便实现Session登录共享。 配置参数 是否必选 参数说明 示例 spring.redis.host 是 Redis地址。 127.0.0.1 spring.redis.port 是 Redis端口。 6379 spring.redis.password 是 Redis密码。 admin spring.redis.type 是 Redis服务类型,支持如下两种模式。 SINGLE:单点模式或主备模式 CLUSTER:集群模式 SINGLE spring.redis.master.enable 否 仅当“spring.redis.type”为“SINGLE”时,此配置项必选。 设置是否开启Redis的主备模式。 true:开启Redis的主备模式。开启后,需要设置“spring.redis.master.slaves”参数。 false:关闭Redis的主备模式,默认为false。 true spring.redis.master.slaves 否 仅当“spring.redis.master.enable”为“true”时,此配置项必选。 Redis备节点地址。 127.0.0.1:7002,127.0.0.1:7003 redis.redisClusterConfiguration.clusters 否 仅当“spring.redis.type”为“CLUSTER”时,此配置项必选。 Redis集群地址。 127.0.0.1:6379,127.0.0.1:6380
  • 数据库配置 如下为MySQL、PostgreSQL和 GaussDB 类型数据库所需要的配置项。 分别在流程编排服务和流程运行服务配置文件中配置数据库信息时,其数据库类型(即“application.dbType”参数)需要保持一致,数据库连接串(即“datasource.url.1”参数)的DATABASE和SCHEMA不能相同。 如果您使用的是MySQL类型数据库,其Schema编码字符集推荐设置为utf8mb4,排序规则推荐设置为utf8mb4_general_ci。如果使用其他字符集,可能会存在语法不兼容问题。 配置参数 是否必选 参数说明 示例 application.dbType 是 数据库类型。 mysql:MySQL数据库 pgsql:PostgreSQL数据库 gaussdb: GaussDB数据库 mysql datasource.jdbcDriverClass.1 是 数据库驱动名称。 org.mariadb.jdbc.Driver datasource.user.1 是 数据库用户名。 admin datasource.password.1 是 数据库密码。 admin datasource.url.1 是 数据库连接串格式。 jdbc:mariadb://{IP}:{PORT}/{DATABASE}?allowMultiQueries=true&targetServerType=master&stringtype=unspecified&serverTimezone=Asia/Shanghai rdm.hibernate.dialect 是 Hibernate数据库方言。 com.huawei.it.rdm.configuration.XdmMySqlDialect rdm.dbType 是 Hibernate数据库方言对应的数据库类型。 mysql
  • 检查SDK包(可选) 为防止数据建模引擎运行SDK包在存储、下载、传输过程中被篡改,建议在部署前检查SDK包是否完整。 您可以使用如下校验函数进行校验,当生成的文件签名与您获取的SDK包文件签名一致时,表示SDK包完整。 public static String getSHA256(File file) { FileInputStream fileInputStream = null; try { MessageDigest messageDigest = MessageDigest.getInstance("SHA-256"); fileInputStream = new FileInputStream(file); byte[] buffer = new byte[8192]; int length; while ((length = fileInputStream.read(buffer)) != -1) { messageDigest.update(buffer, 0, length); } return new String(HexUtil.encodeHex(messageDigest.digest())); } catch (Exception ex) { log.error("getSHA256 error.", ex); return null; } finally { try { if (fileInputStream != null) { fileInputStream.close(); } } catch (IOException ex) { log.error("getSHA256 error when close inputStream.", ex); } } } 其中,“MessageDigest”为“java.security”组件,“HexUtil”为“hutool”组件。
  • 背景信息 在工业数据管理软件的开发与推广过程中,企业面临着多种部署模式的挑战,主要包含如下模式。 云化部署:适用于对数据安全性要求相对较低、希望减少IT基础设施投入和维护成本的企业。这种模式适合中小型企业、创业公司以及需要高度灵活性和可扩展性的企业。 本地私有化部署:主要针对那些对数据安全性、合规性要求较高的企业,尤其是涉及国家秘密、商业机密或个人隐私数据的行业。这种模式有助于企业放心地管理和利用其核心资产。 工业数据管理软件的供应商需要根据不同企业的具体需求和行业特点,提供灵活的部署方案,以适应云化部署和本地私有化部署的多样化应用场景。 为了解决上述问题,工业数字模型驱动引擎-数据建模引擎(xDM Foundation,简称xDM-F)提供了数据建模引擎运行SDK和流程引擎流程SDK,在确保企业在享受数据管理软件带来的便利和效率的同时,也能够维护其数据资产的安全和合规性。 iDME私有化部署如下图所示: 图1 iDME私有化部署
  • 约束与限制 xDM-F SDK当前处于试运行阶段,如需使用,请咨询对应销售经理或提交工单咨询处理。 目前xDM-F SDK仅支持在通用服务器中部署,不支持容器化部署。 为了满足用户对xDM-F SDK的了解和使用,iDME支持免费使用xDM-F SDK。即:每个应用下,自首次生成SDK成功之日起,用户可以免费使用30天的数据建模引擎运行SDK或流程引擎流程SDK。 例如,2024年06月01日生成数据建模引擎运行SDK,其有效时间为2024年06月01日 - 2024年06月30日。免费使用到期后,数据建模引擎运行SDK将触发停服,该运行SDK不可使用。 xDM-F SDK的运行由License进行授权控制,购买“通用服务器(SDK)”基础版数据建模引擎成功后,请及时申请License。 License授权有效期:License授权自申请License之日起即激活,授权有效期为下单购买“通用服务器(SDK)”基础版数据建模引擎的购买时长。 License授权宽限期:为确保您的xDM-F SDK正常使用以及License授权到期前后有充足时间进行调整,在License授权到期后将进入30天的宽限期。宽限期内您的xDM-F SDK依旧可以正常使用,宽限期后如果您未进行续费将无法使用xDM-F SDK。 一个License只能配置一个应用ID,至多可配置八台机器。即,一个xDM-F SDK至多可部署在八台不同的机器中,且实际部署的机器需与License文件配置的机器保持一致,否则会部署失败。 购买“通用服务器(SDK)”基础版数据建模引擎,并将xDM-F SDK部署至本地通用服务器之后,系统会自动与现有存量用户进行匹配。如果现有存量用户大于已购买“通用服务器(SDK)”的用户数,现有存量用户不影响使用,新增用户仅支持查看,不支持操作。
  • 数据库配置 如下为MySQL和PostgreSQL类型数据库所需要的配置项。 配置参数 是否必选 参数说明 示例 RDS_IP 是 数据库服务地址。 127.0.0.1 RDS_PORT 是 数据库端口。 5432 RDS_TYPE 是 数据库类型。 mysql RDS_NAME 是 数据库用户名。 admin RDS_PASSWORD 是 数据库密码。 admin RDS_DATABASE 是 数据库schema名称。 test spring.datasource.url 仅为PostgreSQL类型数据库时,此配置参数必选。 数据库连接串格式。 jdbc:postgresql://${RDS_IP}:${RDS_PORT}/${RDS_DATABASE}?sslmode=require&stringtype=unspecified rdm.hibernate.dialect 仅为PostgreSQL类型数据库时,此配置参数必选。 hibernate数据库方言。 com.huawei.it.rdm.configuration.XdmPostgresqlDialect spring.datasource.driverClassName 仅为PostgreSQL类型数据库时,此配置参数必选。 数据库驱动名称。 org.postgresql.Driver rdm.dbType 仅为PostgreSQL类型数据库时,此配置参数必选。 数据库类型。 postgresql 此外,如果您使用的是MySQL类型数据库,其Schema编码字符集推荐设置为utf8mb4,排序规则推荐设置为utf8mb4_general_ci。如果使用其他字符集,可能会存在语法不兼容问题。
  • 什么时候需要更换License文件? 当您存在如下变更场景时,需要更换License文件: 用户数变更 例如,您已购买500个用户的SDK服务,在使用过程中发现500个用户已无法满足您的业务诉求,重新购买1000个用户的SDK服务用以扩充用户数量。 更换绑定的应用 例如,您之前配置了A应用的信息,因业务调整,A应用不再使用,现在希望配置成其他应用。 机器部署范围变更 例如,您之前配置了4台部署机器,因业务调整,新增2台部署机器。 授权时长变更 例如,您申请的License文件将于2024年09月30日到期,您希望将此License文件延期至2026年09月30日。
  • 如何在本地通用服务器中部署流程运行服务依赖的Node.js环境? 通过流程引擎的流程编排服务生成的流程元模板需要通过Node.js编译后,才能在流程运行服务中启动。如果您的本地通用服务器未部署Node.js,可以参考如下操作进行部署。 准备事项 操作系统:Linux 系统,本文以CentOS 7.6 64位操作系统为例。 Node.js:流程运行服务的运行环境,推荐安装Node.js 16.15.0或Node.js 16.20.2版本。 Python:Node.js的依赖环境,推荐安装Python 2.6或Python 2.7版本,不建议安装Python 3.0及以上版本。 操作步骤 登录Linux弹性云服务器。 执行如下命令,查看当前ECS是否已经安装Python 2.6或2.7版本。 不建议安装Python 3.0及以上版本。 python --version 如果未安装,则依次执行如下命令,安装Python。 wget http://www.python.org/ftp/python/2.6/Python-2.6.tgz 本步骤以下载Python 2.6安装包为例,您可以前往Node.js 官网获取更多安装信息。 tar -xzf Python-2.6.tgz cd Python-2.6 ./configure --prefix=/usr/local make && make install ln -sf /usr/local/bin/python2.6 /usr/bin/python2.6 如果已安装,则执行3。 执行如下命令,下载Node.js Linux 64位二进制安装包。 wget https://nodejs.org/dist/v16.20.2/node-v16.20.2-linux-x64.tar.xz 本步骤以下载Node.js 64位二进制安装包为例,请对应您实际云服务器的规格,前往Node.js 官网获取更多安装信息。 执行如下命令,解压安装包。 tar -xf node-v16.20.2-linux-x64.tar.xz 依次执行如下命令,创建软链接。 ln -sf /usr/local/node/node-v16.15.0-linux-x64/bin/npm /usr/local/bin/ ln -sf /usr/local/node/node-v16.15.0-linux-x64/bin/node /usr/local/bin/ 成功创建软链接后,即可在弹性云服务器任意目录下使用node及npm命令。 执行如下命令,查看Node.js及npm版本信息。 node -v npm -v 显示Node.js的版本信息,即表示部署成功。
  • 如何生成jwt-token? xDM-F在JSON Web Token(JWT)这种结构化令牌的基础上实现了一套基于用户体系对用户的API进行授权访问的机制,满足用户个性化安全设置的需求。xDM-F支持的jwt-token的加密算法为RSA非对称加密算法,密钥的加密位数推荐为3072。 您可以通过如下方式生成用于jwt-token生成与验证的私钥与公钥。其中,私钥用于授权服务签发JWT,公钥配置到JWT插件中用于API网关对请求验签。 在本地通用服务器中,执行如下命令,生成对应私钥与公钥。 # 生成一个3072位的RSA密钥对 openssl genpkey -algorithm RSA -out private.key -pkeyopt rsa_keygen_bits:3072 openssl rsa -pubout -in private.key -out public.key # 查看私钥 cat private.key # 查看公钥 cat public.key
  • 下单后如何获取License文件,需要提供哪些信息? 当您购买的“通用服务器(SDK)”基础版数据建模引擎订单付款成功后,需要通过提交工单的方式申请License文件。在此之前,您需要提前准备如下相关信息: SDK所属应用的应用ID(License文件不支持跨应用使用)。 已支付订单中购买的用户数量。 已支付订单中订阅的时长。 SDK部署机器的信息,至多支持配置8台机器。 如果部署机器是Windows系统,提供机器MAC地址。 如果部署机器是Linux系统,提供机器的UUID。
  • 其他配置 其他配置包括是否开启限流降级、WSF防护等,您可以根据实际业务需求进行配置。 配置参数 是否必选 参数说明 示例 xdmf.init 否 设置是否开启xDM-F数据库表单初始化。 首次启动时,必须为true,后续可根据实际业务需求进行修改。 true:开启xDM-F数据库表单初始化,默认为true。 false:关闭xDM-F数据库表单初始化。 true olc.app.switch 否 设置是否开启OLC(Overload Control)限流降级。 true:开启OLC限流降级。 false:关闭OLC限流降级,默认为false。 false basic.wsf.enabled 否 设置是否开启WSF参数校验,用于防护XSS攻击、SQL注入攻击,以及DOC攻击。 true:开启WSF参数校验,默认为true。 false:关闭WSF参数校验。 true
  • IAM机机认证配置 流程引擎的机机认证默认使用JSON Web Token(JWT)进行校验,如果您已在资源规划(流程引擎流程SDK)中规划了IAM服务,并希望使用IAM机机认证,可参考如下说明进行配置。 配置参数 是否必选 参数说明 示例 basic.auth.iam.machine.enable 否 设置是否开启IAM服务的机机认证。 true:开启IAM服务的机机认证。 false:关闭IAM服务的机机认证。 true basic.iam.token.validDomainId 否 仅当“basic.auth.iam.machine.enable”为“true”时,此配置项必选。 当前IAM的租户ID。 如需添加多个租户ID,请用英文逗号隔开。 123456,456789
  • 单点登录配置 如果您希望通过单点登录的方式访问流程引擎,可参考如下说明进行配置。流程引擎的SDK部署模式当前支持如下两种单点登录方式,请根据实际的资源规划(流程引擎流程SDK)进行配置。 IAM服务的单点登录 此方式的单点登录依赖于华为云IAM服务,请确认已规划对应资源。 配置参数 是否必选 参数说明 示例 basic.auth.iam.enable 是 设置是否开启IAM服务的单点登录。 true:开启IAM服务的单点登录。 false:关闭IAM服务的单点登录。 true OrgID的单点登录 此方式的单点登录依赖于华为云OrgID服务,请确认已规划对应资源。 配置参数 是否必选 参数说明 示例 basic.auth.orgId.enable 是 设置是否开启OrgID的单点登录。 true:开启OrgID的单点登录。 false:关闭OrgID的单点登录。 true ssf.login.oauth2.client-id 是 OrgID的Client ID。 获取方法请参见获取组织凭证。 abc123 ssf.login.oauth2.client-secret 是 OrgID的Client Secret。 获取方法请参见获取组织凭证。 abc123 basic.runtime.org.code 是 OrgID给用户颁发的code。 获取方法请参见快速开始。 abc123 完成单点登录配置后,您可以根据如下登录地址,分别登录流程编排服务和流程运行服务。 流程编排服务登录地址: http://{承载流程编排服务的服务器域名或IP地址}:{流程编排服务的端口号}/{流程编排服务文根}/index.html?#/processApplicationForm?tenantId={租户ID}&applicationId={应用ID} 流程运行服务登录地址: http://{承载流程编排服务的服务器域名或IP地址}:{流程运行服务的端口号}/{流程运行服务文根}/wfAdminIndex.html#/process-tasks?tenantId={租户ID}&applicationId={应用ID} 其中,租户ID和应用ID为部署xDM-F SDK时公共信息配置中的TENANT_DOMAIN_ID和APP_IDENTIFIER。
  • 资源规划(流程引擎流程SDK) 将流程引擎流程SDK部署至本地通用服务器,您需要规划其他云平台或本地资源的数量、名称以及主要参数等信息,资源规划详情如表1所示。 表1 流程引擎流程SDK资源规划详情 资源/云服务 是否必须 推荐规格 说明 物理机 虚拟机 弹性云服务器(ECS) 是 4U8G*2 用于部署流程引擎流程SDK。 数据库 云数据库 RDS 是 规格:4U8G 版本: MySQL 5.x MySQL 8.x PostgreSQL 13.x PostgreSQL 14.x GaussDB 2.x 用于持久化实例数据。 Redis 分布式缓存服务(DCS) 是 规格:8G 版本: Redis 5.x Redis 6.x 用于缓存数据,提高查询效率。 支持单点、主备和集群。 物理磁盘 对象存储(OBS) 是 按需配置 用于存储文件。 统一身份认证(IAM) 否 如果不选取,流程引擎将无法使用IAM登录和token认证。 - 用于单点登录流程引擎页面。 用于流程引擎接口的token认证鉴权。 组织成员账号(OrgID) 否 如果不选取,流程引擎将无法使用OrgID登录。 - 用于单点登录流程引擎页面。 应用运维管理(AOM) 否 如果不选取,流程引擎将不支持“系统日志”功能。 - 用于流程引擎日志上报。 用于流程引擎接口异常的告警上报。 API网关(APIG) 否 如果不选取,流程引擎将无法使用API监控、管理、配置、流控等。 - 用于流程引擎支持API监控、管理、配置、流控等。 目前xDM-F SDK仅支持在通用服务器中部署,不支持容器化部署。 在搭建流程引擎流程SDK环境时,您可以根据实际业务需求,结合性能、价格、工作负载等因素,做出性价比与稳定性最优的决策。例如,您可以自行搭建依赖资源,也可以在华为云购买依赖云服务。 非必须的依赖资源/云服务缺省时,将会导致流程引擎的部分功能无法使用。 父主题: 部署流程引擎流程SDK
  • 操作指引 图1 编排Agent的流程 表1 编排Agent的流程详解 序号 流程环节 说明 1 创建及发布Agent 将准备好的模型服务、工具、工作流、知识库等编排成Agent应用,并将应用程序及相关组件进行发布,使其能够正常运行。 2 体验Agent Agent体验是指以对话的形式,对创建的Agent或平台资产中心预置的AI应用进行体验调测,以发现并解决Agent接口上的问题和错误。 3 使用Agent 支持通过API接口调用或Web界面访问两种方式使用Agent。
  • 使用Agent Web UrI 直接打开Web链接访问应用。 如果创建Agent时,使用配置变量的方式实现了记忆能力,体验时输入变量值,作为Agent记忆信息存储,单击“保存”。 在Agent的对话输入框输入问题,按Enter键或单击使用Agent。 如果创建Agent时,使用配置变量的方式实现了记忆能力,在使用Agent时,会自动识别对话与变量匹配的内容,自动更新变量取值,单击页面右上角的“变量”,可以查看变量使用效果。 如果创建Agent时,开启了“片段记忆”,在使用Agent时,会自动识别并保留用户个性化信息,单击页面右上角的“片段记忆”,可以查看片段记忆使用效果。 如果创建Agent时,开启了“文件盒子”,根据以下操作体验文件盒子: 单击对话框右上角的“文件盒子”,上传文件。 只支持上传pdf、docx、txt等纯文本文件,文件大小小于10M。 文件上传完成后,在“编辑文件盒子”弹窗中,单击文件列表操作列的。 在对话输入框对引用文件提问,Agent会根据输入问题对引用文件进行回答、解读。 对于Agent生成的答案可以进行复制、点赞、点踩等。 :重新生成答案。 :复制答案。 :对答案点赞。 :对答案点踩。 API地址 可参考调用Agent进行使用。
  • AI原生应用引擎使用前准备 使用AI原生应用引擎前,需要先准备如表1所示内容。 表1 准备事项 准备事项 说明 购买AI原生应用引擎 首次使用需要先购买AI原生应用引擎,具体操作请参见购买AppStage。 为AppStage关联组织 首次购买AppStage后,其账号需创建并关联使用AppStage的组织(仅可关联一个组织),才能使用AppStage服务及后续购买AppStage相关产品套餐或增量包等,具体操作请参见关联组织。 添加部门/成员信息 为已关联的组织添加部门及成员,完善组织架构,具体操作请参见组织管理。 申请权限 已添加成员在使用AI原生应用引擎前需要先申请AI原生应用引擎权限,具体操作请参见申请权限。
  • 体验资产中心预置的AI应用 在AI原生应用引擎的左侧导航栏选择“资产中心”。 在资产中心页面,选择“AI应用”页签。 将鼠标光标移至应用卡片上,单击“体验”。 在Agent体验页面的对话输入框输入问题,按Enter键或单击进行体验。 对于Agent生成的答案可以进行复制、点赞、点踩等。 :重新生成答案。 :复制答案。 :对答案点赞。 :对答案点踩。 单击应用卡片,进入Agent详情页面,在“对话日志”页签中可以查看所有问答的对话日志。
  • 发布Agent Agent发布后,用户即可通过API接口调用或Web界面进行访问。 Agent创建完成后,在创建页面单击“发布”。 也可以在“我创建的”列表中,单击Agent列表操作列的“发布Agent”,进入发布页面。 选择发布渠道并设置发布密钥,单击“发布”。 表3 发布参数说明 参数 说明 选择发布渠道 API:以API的方式发布Agent,发布成功后可复制API地址进行分享。 Web UrI:以Web Url的方式发布Agent,发布成功后可复制Web链接进行分享。 设置发布密钥 设置该密钥是确保发布分享Agent后,用户能正常调用Agent相关联的模型、工具、工作流和知识库。 API Key:输入API Key。 说明: 仅AI原生应用引擎管理员角色可以创建API Key,请通过管理员获取API Key。 发布后,在Agent列表的“复制发布地址”列,单击或,复制发布地址进行分享。
  • 操作指引 图1 模型使用操作指引 表1 模型使用流程详解 序号 流程环节 说明 1 基于微调数据集进行模型微调 创建微调数据集 收藏预置微调数据集 对于需要个性化定制模型或者在特定任务上追求更高性能表现的场景,往往需要对大语言模型进行模型微调以适应特定任务。微调数据集是模型微调的基础,通过在微调数据集上进行训练从而获得改进后的新模型。 创建模型微调任务 模型微调是指调整大型语言模型的参数以适应特定任务的过程,适用于需要个性化定制模型或者在特定任务上追求更高性能表现的场景。这是通过在与任务相关的微调数据集上训练模型来实现的,所需的微调量取决于任务的复杂性和数据集的大小。在深度学习中,微调用于改进预训练模型的性能。 2 生成模型服务 将已有模型部署为模型服务 自建模型并发布为模型服务 模型需要部署成功后才可正式提供模型服务。部署成功后,可以对模型服务进行模型调测,并支持在创建Agent时使用或通过模型调用接口调用。 3 调测模型 通过调测模型,可检验模型的准确性、可靠性及反应效果,发现模型中存在的问题和局限性,确保模型能够在实际应用中正常运行,并且能够准确地预测和处理数据。
  • 更多操作 一条数据标注完成后,可执行如下表1所示的操作。 表1 更多操作 操作 说明 删除标注 在“数据标注”页面的标注数据集列表中,单击“操作”列“删除”。 发布标注 在“数据标注”页面的标注数据集列表中,单击“操作”列“发布”。 在“发布”对话框,有两种发布方式: 选择发布后“更新原始数据集”,单击“确定”,覆盖原数据集信息(数据集名称不变)。 选择发布后“创建新数据集”,设置新数据集名称,然后单击“确定”。
  • 标注数据集 在“数据标注”页面的标注数据集列表中,单击“操作”列“标注”。 在“标注信息”页面,在“数据集文件列表”下拉列表中选择文件。 单击“全部信息”页签下的“创建对话”顺次生成一条不完整信息(对话样式),用户根据实际需要填写对话的instruction(指令)、input(输入/提问)、output(输出/回答),完成一条数据标注。 对于单条标注,还可执行以下操作: 单击标注右侧“添加回答”可继续添加多条output。 单击标注右侧“删除”,可删除标注。 对于标注中的output,还可执行以下操作: 单击output所在行右侧的“自动生成”,由平台内置的模型自动生成当前行的output信息。 单击output所在行右侧的“重新生成”,由平台内置的模型重新生成当前行的output信息。 单击output所在行右侧的“删除”,可删除当前行的output信息。
  • AI原生应用引擎优势 提供企业专属大模型开发的整套工具链,包括数据准备、模型选择/调优、知识工程等能力,广泛纳入业界优秀大模型,快速接入模型,提供行业模型评测能力,对多系列、多规格、多版本、多领域、多场景的大模型完成分级分权等精细化管理。 提供基于大模型快速构建AI原生应用的整套工具链,支持可视化画布流程编排,开箱即用的RAG/Prompt模板应用,应用部署及应用集成能力,帮助企业用好大模型。 构建企业应用与大模型之间的安全隔离带,保障AI原生应用安全可信。
共100000条