检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本文以Linux CentOS环境为例，介绍Python版本的Kafka客户端连接指导，包括Kafka客户端安装，以及生产、消费消息。 前提条件 已获取MQS连接信息，具体请参见开发准备。 已安装开发工具和Python开发语言环境，具体请参见开发准备。 引入Kafka客户端 MQS基于Kafka社区版本1
钥获取AK/SK。 租户名称 仅当“登录方式”选择“租户”时需要配置。即华为云租户账号。 IAM用户名称 仅当“登录方式”选择“租户”时需要配置。即华为云IAM账号 ak 仅当“登录方式”选择“ak/sk”时需要配置。AK/SK是用户在云服务平台的长期身份凭证，您可以参考访问密钥获取AK/SK。
Hive配置文件。配置文件获取请参考获取FI Hive配置文件。 获取FI Hive配置文件： 参考下载用户认证文件，在MRS Manager下载用户认证文件，解压后得到“krb5.conf”和 “user.keytab”文件，即FI Hive配置文件。 完成数据源接入配置后，单击
单击“上传文件”，上传MRS Hive配置文件。配置文件获取请参考获取MRS Hive配置文件。 获取MRS Hive配置文件： 参考下载用户认证文件，在MRS Manager下载用户认证文件，解压后得到“krb5.conf”和 “user.keytab”文件，即MRS Hive配置文件。 文件名只能
选择连接数据库模式。 否：由系统根据用户配置自动拼接数据源连接字符串。 是：由用户自己输入数据源连接字符串。 连接地址 仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写数据库的连接IP地址。 端口 仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写数据库的端口。 服务名称
C#客户端使用说明 操作场景 本文介绍C#版本的Kafka客户端连接指导，包括Kafka客户端安装，以及生产、消费消息。 前提条件 已获取MQS连接信息，具体请参见开发准备。 已安装开发工具和C#开发语言环境，具体请参见开发准备。 引入Kafka客户端 MQS基于Kafka社区版本1
执行、编辑配置信息等。 前提条件 已接入数据源。 操作步骤 登录ROMA Connect，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM > 模型采集 > 采集任务”，单击“创建采集任务”，进入创建采集任务页面。 配置采集任务信息，见下表。
API的后端服务。 单击“快速导入”，导入API。 如果您需要在导入前，对导入API的请求信息、后端服务信息进行统一配置，您可以单击“全局配置”，并根据页面向导配置API的信息。完成后单击“提交”，导入API。 导入的API未发布到环境，您需要手动发布API。 导出API 登录ROMA
状态 流任务的运行状态。 （可选）配置访问日志，实现异常监控日志的存储。 如果组合应用未启动，请单击“启动并配置运行记录”，选择一个实例启动此组合应用。 如果组合应用已启动，单击“点击开启”弹出“运行记录配置”窗口，然后配置日志接入信息。 表2 配置访问日志 参数 说明 日志组 选择日志流所在的日志组。
登录新版ROMA Connect控制台。 在左侧导航栏选择“资产中心>我的资产”。 在“我的创建”页签下，单击“新建资产”。 在“新建资产”弹窗中，配置如下参数。 表1 新建资产说明 参数 说明 资产类型 选择资产类型。 API产品 组合应用资产 资产名称 输入资产名称。 资产图标 上传资产图标。
填写连接器的描述信息，用于识别不同的连接器。 支持的动作 有序集合基本操作 集合基本操作 哈希基本操作 列表基本操作 字符串基本操作 键的基本操作 字符串基本操作 配置参数 以下配置等价于使用命令ZADD key score member，可以向有序集合中添加元素，其中key是有序集合的名称，score是元素的分
作为导入API的后端服务。 单击“立即导入”。 如果您需要在导入前，对导入API的请求信息、后端服务信息进行统一配置，您可以单击“全局配置(可选)”，并根据页面向导配置API的信息。完成后单击“提交”，导入API。 在弹窗中选择是否现在发布，若选择“现在发布”，则需要选择API要发布的环境。
在左侧的导航栏选择“服务集成 APIC > API管理”，在“环境管理”页签中单击“创建环境”。 在创建环境弹窗中配置环境信息，完成后单击“确定”。 表1 环境配置 参数 配置说明 环境名称 填写环境的名称，根据规划自定义。建议您按照一定的命名规则填写环境名称，方便您快速识别和查找。 描述
Kafka。如果写入数据时发生异常，将不会提交消费偏移量，等待修复问题后，重启任务，可以重新消费并处理未成功入库的数据。所以即使修改了任务配置，如果数据还是不符合目标端的要求，那么任务仍然执行失败。 解决方案 可参考以下三种方法进行处理： Kafka通道的topic中的数据老化时
把数据源定义为API，并对外开放。 配置API授权（可选） 仅使用APP认证方式的API，才需要配置调用授权，把API授权给指定集成应用，用户使用集成应用的Key和Secret进行API请求的安全认证。 创建并开放函数API 创建函数API 把自定义函数定义为API，并对外开放。 配置API授权（可选）
仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写DWS集群中数据库的连接IP地址和端口号。 端口 仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写DWS集群中数据库的端口号。 数据库 仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写DWS集群中要接入的数据库名。
接入数据源 概述 在创建采集任务之前，您需要先接入数据源，确保可以正常从数据源采集模型。根据数据源类型的不同，数据源的接入配置有所差异。 操作步骤 接入DWS数据源 接入GaussDB数据源 接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源
管理模型采集任务 概述 模型采集中的采集任务创建后，您可以查看和管理采集任务，包括任务的启动，执行，配置信息等。 启动采集任务 登录ROMA Connect，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM > 模型采集 > 采集
“延时”处理器用于创建指定时间的延迟。其典型使用场景是若某步骤为耗时任务，且后续步骤依赖于该步骤的执行结果时，可在两步骤之间添加“延时”处理器，以保证后续步骤可正常执行。 配置参数 参数 说明 延迟时间(ms) 延迟的时长，单位为ms。 父主题： 处理器
DWS数据源的接入配置示例如下图所示。 图1 DWS数据源配置示例 完成数据源接入配置后，单击“开始检测”，检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功！”，则继续下一步。 若测试结果为“数据源连接失败！”，则检查数据源状态和数据源连接参数配置，然后单击“重新检测”，直到连接成功为止。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
