-
新增Checkpoint - 数据接入服务 DIS
新增Checkpoint 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK创建Checkpoint,需要指定通道名称、APP名称、分区编号、序列号以及Checkpoint类型。 其中,“streamName”的配置值要与开通DIS通道中
-
准备环境 - 数据接入服务 DIS
图1 单击新增访问密钥 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。
-
Kafka Adapter概述 - 数据接入服务 DIS
Kafka Adapter概述 dis-kafka-adapter是数据接入服务(DIS)提供的一个sdk,支持原本使用Kafka Client上传数据的用户以类似原来的操作将数据上传到DIS,目前只支持Java版本。 父主题: 使用Kafka Adapter上传与下载数据
-
DIS有哪些模块及各模块功能? - 数据接入服务 DIS
-
Protobuf格式上传流式数据 - 数据接入服务 DIS
Protobuf格式上传流式数据 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 初始化DIS客户端,加入一项参数bodySerializeType,如下所示: cli = disclient(endpoint='', ak=os.environ.get("HUAWEICLOUD_SDK_AK
-
DIS Spark Streaming概述 - 数据接入服务 DIS
DIS Spark Streaming概述 DIS Spark Streaming是数据接入服务(DIS)提供的一个sdk,支持将DIS作为数据源创建DStream对接SparkStreaming。dis-spark-streaming使用流程如图1所示。
-
Agent如何配置监听多目录或文件? - 数据接入服务 DIS
-
配置样例工程 - 数据接入服务 DIS
配置样例工程 样例代码请查看:https://github.com/huaweicloud/huaweicloud-sdk-python-dis/tree/master/dis_sdk_python_demo。 操作步骤 huaweicloud-python-sdk-dis已发布到
-
准备环境 - 数据接入服务 DIS
图1 单击新增访问密钥 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。
-
初始化DIS客户端 - 数据接入服务 DIS
初始化DIS客户端 您可以使用以下两种方法初始化DIS SDK客户端实例,优先选择使用代码进行初始化。其中,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参看获取认证信息。 使用代码初始化DIS SDK客户端实例。 1 2 3 4
-
初始化DIS客户端 - 数据接入服务 DIS
初始化DIS客户端 您可以使用以下方法初始化DIS SDK客户端实例。其中,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参看获取认证信息。 cli = disclient(endpoint='**your-endpoint**',
-
自定义SparkStreaming作业 - 数据接入服务 DIS
自定义SparkStreaming作业 获取DIS Spark Streaming Demo 这里获取“dis-spark-streaming-X.X.X.zip”压缩包。解压“dis-spark-streaming-X.X.X.zip”压缩包,解压之后获得以下目录: “dis-spark-streaming-demo
-
DIS有哪些特点和优势? - 数据接入服务 DIS
-
DIS主要应用于哪些场景? - 数据接入服务 DIS
例如,数据接入服务应用程序可以处理系统和应用程序日志的指标和报告,因为数据被流入而不是等待收到批量数据。 实时数据分析:通过数据接入服务,可以运行实时通道数据分析。
-
查询通道列表 - 数据接入服务 DIS
查询通道列表 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 start_stream_name = "" #可设置为空,或是已存在的通道名 执行listStream_sample.py文件默认调用listStream_test方法,获取响应200
-
查询转储列表 - 数据接入服务 DIS
查询转储列表 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 streamname="XXX" #已存在的通道名 执行list_dump_task_sample.py文件默认调用list_dump_task_test方法,获取响应200查询成功。 响应示例如下
-
Json格式上传流式数据 - 数据接入服务 DIS
Json格式上传流式数据 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 streamname="dis-test1"| #已存在的通道名 putRecords_sample.py文件中的putRecords_test方法中的records为需要上传的数据内容
-
Kafka Adapter概述 - 数据接入服务 DIS
Kafka Adapter概述 dis-kafka-adapter是数据接入服务(DIS)提供的一个sdk,支持原本使用Kafka Client上传数据的用户以类似原来的操作将数据上传到DIS,目前只支持Java版本。 父主题: 使用Kafka Adapter上传与下载数据
-
DIS Flink Connector概述 - 数据接入服务 DIS
DIS Flink Connector概述 DIS Flink Connector是数据接入服务(DIS)提供的一个sdk,支持将DIS作为数据源创建Stream对接Flink。 父主题: 使用DIS Flink Connector上传与下载数据
-
如何校验软件包完整性? - 数据接入服务 DIS