检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据下载的消费模式 同Kafka类似,当前dis kafka adapter支持三种消费模式。 assign模式 由用户手动指定consumer实例消费哪些具体分区,此时不会拥有group management机制,也就是当group内消费者数量变化或者通道扩缩容的时候不会有重新分配分区的行为发生。代码样例如下所示:
数据下载的消费模式 同Kafka类似,当前dis kafka adapter支持三种消费模式。 assign模式 由用户手动指定consumer实例消费哪些具体分区,此时不会拥有group management机制,也就是当group内消费者数量变化或者通道扩缩容的时候不会有重新分配分区的行为发生。代码样例如下所示:
手动输入,不可配置为空。 - 数据库模式 一个数据库包含一个或多个命名的模式,模式又包含表。模式还包含其他命名的对象,包括数据类型、函数,以及操作符。同一个对象名可以在不同的模式里使用而不会导致冲突。 - DWS数据表 存储该通道数据的DWS数据库模式下的数据表。 - 数据分隔符 用
成功,此文件的逻辑是读取DIS通道中的数据并统计每个单词出现次数。 DISSparkStreamingExample是一个使用Assign模式的样例,不具备停止再启动时从上一次停止位置开始的能力。使用到的SDK构造方法如下: ConsumerStrategies.Assign[String
在监控页面,可查看所有监控指标的小图。 图1 查看监控指标 单击小图右上角的,可进入大图模式查看。 可查看不同监控指标“近1小时”、“近3小时”、“近12小时”等周期的原始监控数据曲线图。您可以选择是否开启“自动刷新”功能,云监控服务提供了“60秒”自动刷新周期。 父主题: 使用CES监控DIS
setTransferTaskName(taskName); // 配置MRS集群信息:集群名称和集群ID。可通过弹性大数据服务(简称MRS)控制台创建和查询,集群需为非安全模式 descriptor.setMrsClusterName("mrs_dis"); descriptor.setMrsClusterId(
存储该通道数据的DWS数据库名称。 dws_schema 是 String 存储该通道数据的DWS数据库模式。 dws_table_name 是 String 存储该通道数据的DWS数据库模式下的数据表。 dws_delimiter 是 String 用户数据的字段分隔符,根据此分隔符分隔用户数据插入DWS数据表的相应列。
表示日期,HH表示小时,mm表示分钟,ss表示秒,GMT表示时区。例如:2017/05/09 08:00:00 GMT+08:00。 计费模式:目前仅支持按需付费方式。 操作:当前操作列表支持删除通道、扩缩容、查看授权管理、查看转储任务和变更源数据类型的操作。 父主题: 管理通道
使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 单击“购买接入通道”配置相关参数。 表1 接入通道参数说明 参数 参数解释 参数示例 计费模式 按需计费 按需计费 区域 指的是云服务所在的物理位置。您可以在下拉框中选择并切换区域。 华北-北京1 基本信息 通道名称 用户发送或者接
PROXY_PASSWORD 否 配置代理密码。 请根据实际情况配置 [flows] 监控的文件信息,可同时配置多个监控文件信息。 当前支持如下模式上传: DISStream:持续监控文本文件,实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV),配置项说明请参见表3。
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题: 使用DIS
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题: 使用SDK
单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击通道名称,进入所选通道的管理页面。 选择“授权管理”,单击“添加授权策略”, 选择授权模式,再在“被授权用户”文本框中,设置用户信息。 支持通配符"*",表示授权所有账号; 支持添加多账号,用","隔开 支持授权某账号下的特定用
使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 单击“购买接入通道”配置相关参数。 表1 接入通道参数说明 参数 参数解释 参数示例 计费模式 按需计费 按需计费 区域 指的是云服务所在的物理位置。您可以在下拉框中选择并切换区域。 华北-北京1 基本信息 通道名称 用户发送或者接
使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 单击“购买接入通道”配置相关参数。 表1 接入通道参数说明 参数 参数解释 参数示例 计费模式 按需计费 按需计费 区域 指的是云服务所在的物理位置。您可以在下拉框中选择并切换区域。 华北-北京1 基本信息 通道名称 用户发送或者接
批量添加资源标签 功能介绍 该接口用于批量添加资源(通道等)标签。此接口为幂等接口:创建时如果请求体中存在重复key则报错。创建时,不允许设置重复key数据,如果数据库已存在该key,就覆盖value的值。 调用方法 请参见如何调用API。 URI POST /v2/{proje
存储该通道数据的DWS数据库名称。 dws_schema String 存储该通道数据的DWS数据库模式。 dws_table_name String 存储该通道数据的DWS数据库模式下的数据表。 dws_delimiter String 用户数据的字段分隔符,根据此分隔符分隔用户数据插入DWS数据表的相应列。
invalid. %s 创建MRS转储任务时,传入的MRS集群无效 请检查传入的MRS集群名称和ID,集群状态是否为运行中,以及是否为安全模式的集群。 400 DIS.4209 Invalid metrics label. %s 查询监控信息时,传入的监控指标不合法 请参考API文档检查监控指标并修正。
MRS cluster. 创建MRS转储任务时,传入的MRS集群无效 请检查传入的MRS集群名称和ID,集群状态是否为运行中,以及是否为安全模式的集群。 400 DIS.4209 Invalid metrics label. 查询监控信息时,传入的监控指标不合法 请参考API文档检查监控指标并修正。
/bin export CLASSPATH=.:$JAVA_HOME/lib/rt.jar:$JAVA_HOME/lib/ext 退出编辑模式。 键入“:wq!”保存并退出“profile”文件。 执行如下命令,使JDK配置生效。 source /etc/profile 检查DIS通道