检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
// 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量HUAWEI
region 是 DIS服务所在区域。 获取方式请参见获取认证信息。 cn-north-1 ak 是 用户的Access Key。 获取方式请参见获取认证信息。 请根据实际情况配置 sk 是 用户的Secret Key。 获取方式请参见获取认证信息。 请根据实际情况配置 projectId 是
m,则将下面的CustomFileStream与另外的DISStream模块删除或者注释)。 Linux服务器上配置DIS Agent 使用PuTTY 工具登录日志所在服务器。 执行cd /opt/dis-agent-X.X.X/命令,进入“dis-agent-X.X.X”文件夹。
'DISFlinkStreamingSourceJavaExample'”。 在打开的配置页面中,“Program arguments”中输入运行参数,格式为 : DIS网关地址 Region名称 AK SK ProjectID 通道名称 起始位置 消费者标识 如在华北-北京1测试,则参数示例为 https://dis
与DIS控制台“购买接入通道”时配置的“通道名称”取值一致。 ak 是 用户的Access Key。 获取方式请参见检查认证信息。 请根据实际情况配置 sk 是 用户的Secret Key。 获取方式请参见检查认证信息。 请根据实际情况配置 region 是 将数据上传到指定Region的DIS服务。 cn-north-1
终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。本服务的Endpoint您可以从终端节点Endpoint获取。 创建通道 如下示例是创建通道最简单的配置。 Token认证,具体操作请参考Token认证。 发送“POST https://dis的E
Spark Streaming的相关环境 准备DIS应用开发环境 参考步骤1:开通DIS通道准备相应DIS环境。 安装Maven并配置本地仓库地址。 安装scala-sdk。 配置DIS Spark Streaming依赖 项目中可通过以下配置引入DIS Spark Streaming依赖:
Flink Connector的相关环境 准备DIS应用开发环境 参考步骤1:开通DIS通道准备相应DIS环境。 安装Maven并配置本地仓库地址。 安装scala-sdk。 配置DIS Flink Connector依赖 项目中可通过以下配置引入DIS Flink Connector依赖:
用户创建转储任务时,需要指定转储任务名称,同一通道的转储任务名称不可重复。任务名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。 - 数据转储地址 存储该通道数据的OBS桶名称。桶名称在“对象存储服务”中“创建桶”时创建。 - 转储文件目录 在OBS中存储通道文件的自定义目录,多级目
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。 DIS的终端节点Endpoint构造规则为dis.{region_id}.{域名},您可以从地区和终端节点获取区域和终端节点信息。 父主题: 使用前必读
其中,“streamName”的配置值要与开通DIS通道中“通道名称”的值一致,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参见获取认证信息。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 // 目标分区数量 int targetPartitionCount
"Altitude":"null"} 本实践中,通过使用HBase shell客户端完成建表操作。 准备Linux弹性云服务器。假设该弹性云服务器名称为“ecs-385d”,具体操作请参见准备弹性云服务器。 安装客户端并启动Shell访问CloudTable集群,具体操作请参见使用HBaseShell访问集群。
转储至MRS 操作前提 转储至MRS时,不支持MRS集群3.x及以上版本,且MRS集群不能开启Kerberos认证。 源数据类型JSON/BLOB/CSV==>转储文件格式Text 表1 转储Text格式文件的配置参数 参数 说明 取值 任务名称 用户创建转储任务时,需要指定转储
单击“事件管理”。 在“事件管理”页面中单击“订阅 > 创建订阅”。 在“订阅设置”区域,设置订阅基本信息及事件过滤。 “订阅事件”区域显示系统根据订阅设置筛选出的事件。 表1 订阅参数 参数名 参数解释 启用消息通知 设置是否开启事件订阅。 表示开启事件订阅,表示关闭事件订阅,默认为关闭状
简称DIS)面向IoT、互联网等实时数据,提供高效采集、传输、分发能力,支持多种IoT协议,提供丰富的接口,帮助您快速构建实时数据应用。 产品介绍 图说DIS 图说ECS 立即使用 成长地图 由浅入深,带您玩转DIS 01 了解 了解华为云DIS的产品架构、功能和基础知识,有助于您更准确地匹配实际业务,让数据上云变得更简单、更方便。
任务名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。 agency_name 是 String 在统一身份认证服务(IAM)中创建委托的名称,DIS需要获取IAM委托信息去访问您指定的资源。创建委托的参数设置如下:- 委托类型:云服务- 云服务:DIS- 持续时间:永久- “所属区域”为“全局服务
安装DIS Agent 前提条件 已安装PuTTY工具。 Linux服务器上安装DIS Agent 使用PuTTY工具登录日志所在服务器,即检查依赖的服务器。 将获取DIS Agent包中获取的“dis-agent-X.X.X.zip”安装包上传到“/opt”文件夹中。 解压“dis-agent-X
rtingOffsets;另外一个参数enable.auto.commit,设置为true会自动每隔5000ms(可通过设置auto.commit.interval.ms修改)提交一次offset,设置为false则不自动提交,用户可以手动调用commitAsync提交,参见示例代码中如下部分
验证DIS Agent Linux服务器上验证DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent的日志目录。 cd /opt/dis-agent-X.X.X/logs 查看日志。 tail -100f dis-agent.log 显示如下信息,表示Agent正常运行。
https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。 响应示例如下,其中projects下的“id”即为项目ID。当返回多个id,请依据实际的区域(name)获取。 { "projects":