检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置样例工程 样例代码请查看：https://github.com/huaweicloud/huaweicloud-sdk-python-dis/tree/master/dis_sdk_python_demo。 操作步骤 huaweicloud-python-sdk-dis已发布到
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题： 使用DIS
用于描述JSON或CSV数据格式。DIS可以根据此JSON或CSV数据样例生成Avro schema, 将通道内上传的JSON或CSV数据转换为Parquet或CarbonData格式。 创建源数据Schema有如下三个入口： 创建通道同时开启“Schema开关”，创建源数据Schema，参见图1。
point即可 // props.setProperty(DISConfig.PROPERTY_ENDPOINT, "https://dis-${region}.myhuaweicloud.com"); Consumer<String, String>
point即可 // props.setProperty(DISConfig.PROPERTY_ENDPOINT, "https://dis-${region}.myhuaweicloud.com"); // Create dis producer
用户的JSON或CSV数据样例，用于描述JSON或CSV数据格式。DIS可以根据此JSON或CSV数据样例生成Avro schema, 将通道内上传的JSON或CSV数据转换为Parquet格式。 - 源数据类型JSON/CSV==>转储文件格式CarbonData 表3罗列了源数据类型为JSON，CSV，转储
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题： 使用SDK
String 授权影响类型。 accept：允许该授权操作。 枚举值： accept 响应参数 无 请求示例 给租户添加权限策略 POST https://{Endpoint}/v2/{project_id}/streams/{stream_name}/policies { "stream_id"
管理通道 通道列表简介 查看通道监控信息 变更源数据类型 管理源数据Schema 管理通道标签 管理App 授权管理 调试通道 弹性伸缩分区 删除通道
如果values为空列表，则表示any_value。value之间为或的关系。 请求示例 使用标签过滤资源（通道等），查询记录总数。 POST https://{Endpoint}/v2/{project_id}/stream/resource_instances/action { "action"
dissource.projectId = YOU_PROJECT_ID agent.sources.dissource.endpoint = https://dis.${region}.cloud.com agent.sources.dissource.group.id = YOU_APP_NAME
下载数据之消费位移 消费位移确认有自动提交与手动提交两种策略，在创建DISKafkaConsumer对象时，通过参数enable.auto.commit设定，true表示自动提交（默认）。 自动提交策略由消费者协调器（Coordinator）每隔${auto.commit.interval
Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情 查询APP列表 新增Checkpoint 查询Checkpoint 变更分区数量 获取数据游标 父主题： 使用SDK
查询通道列表 查询通道详情 下载流式数据 上传流式数据 获取数据游标 创建APP 删除APP 新增Checkpoint 查询Checkpoint 变更分区数量 父主题： 使用SDK
可将相应数据文件交由Linux平台下的OBS读取。 说明： 导入非法字符容错规则如下： （1）对于'\0'，容错后转换为空格； （2）对于其他非法字符，容错后转换为问号； （3）若compatible_illegal_chars为true/on标识导入时对于非法字符进行容错处理
在“通道管理”页面中单击需要扩缩容的通道名称。 单击通道详情页面的“自动扩缩容”菜单后的编辑按钮。 系统弹出“变更自动扩缩容参数”对话框，将自动扩缩容的开关开启。 图1 变更自动扩缩容参数 设置自动扩缩容的分区上限和下限，单击“确认”。 手动扩缩容 手动扩缩容规则 扩容分区时“目标
通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 响应参数 无 请求示例 删除转储任务 DELETE https://{Endpoint}/v2/{project_id}/streams/{stream_name}/transfer-tasks/{task_name}
下载数据之消费位移 消费位移确认有自动提交与手动提交两种策略，在创建DISKafkaConsumer对象时，通过参数enable.auto.commit设定，true表示自动提交（默认）。 自动提交策略由消费者协调器（Coordinator）每隔${auto.commit.interval
BatchTransferTask 参数 是否必选 参数类型 描述 id 是 String 转储任务ID 响应参数 无 请求示例 批量启动转储任务 POST https://{Endpoint}/v2/{project_id}/streams/{stream_name}/transfer-tasks/action
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
