检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
zip”压缩包，解压之后获得以下目录： “dis-spark-streaming-demo”目录包含一个Maven工程样例。 编写SparkStreaming作业 以IntelliJ IDEA社区版为例，说明如何编写SparkStreaming作业。请先确保在IDEA上已经正确配置好 JDK 1.8+ Scala-sdk-2
Source作业 实际场景中，Flink Streaming作业需要提交在Flink集群上运行，但本次验证只介绍在本地IDE上测试，目的是了解sdk基本使用方法。测试完成后用户可自行创建集（如MRS集群）并提交作业验证。 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。
自动创建委托 用户创建DIS通道，选择将数据转储到对象存储服务（Object Storage Service，简称OBS）、MapReduce服务（MRS）集群、数据仓库服务（Data Warehouse Service，简称DWS）或数据湖探索（Data Lake Insigh
自动创建委托 用户创建DIS通道，选择将数据转储到对象存储服务（Object Storage Service，简称OBS）、MapReduce服务（MRS）集群、数据仓库服务（Data Warehouse Service，简称DWS）或数据湖探索（Data Lake Insigh
离线安装DIS Logstash Plugin 安装DIS Logstash Plugin有在线和离线安装两种方式： 离线安装需要获取插件包并执行安装脚本。 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。 进入到Logstash的安装目录。
在配置项中，需要配置用户的SK，这属于敏感信息，如需加密，可以按如下步骤： 进入dis-flume-plugin/目录 cd /dis-flume-plugin 执行加密脚本，输入密码后回车 bash dis-encrypt.sh 控制台打印的“Encrypt result:”后面的字符串即为加密后的结果。通过
/opt/dis-agent-X.X.X/ 停止DIS Agent。 bash bin/stop-dis-agent.sh 请确保使用bash执行脚本，否则使用sh、./ 等方式启动脚本，可能由于系统默认shell的差异导致启动失败。 显示类似如下内容，表示正在停止中。“xxxxx”表示进程ID。 Stopping
初始化DIS客户端 您可以使用以下方法初始化DIS SDK客户端实例。其中，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参考获取认证信息。 cli = disclient(endpoint='**your-endpoint**',
初始化DIS客户端 您可以使用以下两种方法初始化DIS SDK客户端实例，优先选择使用代码进行初始化。其中，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参考获取认证信息。 使用代码初始化DIS SDK客户端实例。 1 2 3 4
logger=INFO,console 其中bin/flume-ng agent表示启动Flume Agent；--conf-file 为用户编写的配置文件路径； --name 为配置文件中agent的名称, --conf 为Flume自带的conf/路径 启动之后查看日志，若日志中有类似“source
bin/start-dis-agent.sh -c config/anotherAgent.yml -n anotherAgent 请确保使用bash执行脚本，否则使用sh、./ 等方式启动脚本，可能由于系统默认shell的差异导致启动失败。 显示类似如下信息，表示Agent启动成功。 Success to start
使用PuTTY工具远程登录Logstash所在服务器。 启动Logstash程序。 bin/logstash -f dis_to_local.conf 其中 -f 为用户编写的配置文件路径。 检查DIS Logstash Input下载数据是否正常。 向input指向的通道上传数据，如果Logstash没有报错
的所有jar到环境依赖即可 huaweicloud-dis-kafka-adapter-X.X.X-demo是一个样例工程，使用maven编写 例如使用IntelliJ IDEA，可按如下方式导入工程。 打开IntelliJ IDEA，选择“File > Open” 在弹出的对话
的所有jar到环境依赖即可 huaweicloud-dis-kafka-adapter-X.X.X-demo是一个样例工程，使用maven编写 例如使用IntelliJ IDEA，可按如下方式导入工程。 打开IntelliJ IDEA，选择“File > Open” 在弹出的对话
Protobuf格式上传流式数据 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 初始化DIS客户端，加入一项参数bodySerializeType，如下所示： cli = disclient(endpoint='', ak=os.environ.get("HUAWEICLOUD_SDK_AK")
本次实践基本流程如下所示： 申请CloudTable集群 在CloudTable中创建数据表 申请DIS通道 添加转储任务 获取认证信息 准备DIS应用开发环境 编写发送数据到DIS的应用程序 启动数据上传程序 在CloudTable中查看上传数据 CloudTable查询指定车辆位置 申请CloudTable集群
Agent下载安装dis-agent，利用dis-agent包中bin目录下的脚本对AK和SK进行加密，按照如下所示步骤进行操作（windows环境下）： 进入到dis-agent的bin目录中，右键git bash here运行脚本，示例： ./dis-encrypt.sh {key} {ak
} } } } 到这里为止这个请求需要的内容就具备齐全了，您可以使用curl、Postman或直接编写代码等方式发送请求调用API。对于获取用户Token接口，返回的响应消息头中“x-subject-token”就是需要获取的用户Token
下载流式数据 Json格式下载 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 2 3 streamname = "" #通道名称 startSeq='0’ #序列号 partitionId="shardId-0000000000"
获取数据游标 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。 使用DIS SDK获取数据游标信息。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 // 配置通道名称 String streamName =
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
