检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建数据库 在Console页面上方菜单栏中单击“产品”，单击“大数据”分类中的“数据湖探索 DLI”。 创建demo数据库，在DLI控制台总览页面，选择“SQL作业”，单击“创建作业”，进入SQL作业编辑器。 在SQL作业编辑器左侧，选择“数据库”，单击创建数据库。 “de
查看Agent是否上传日志。 “agent.yml”中配置的监控目录下有匹配的文件，日志中会输出类似如下日志，表示解析了[N1行(B1字节数)/N2文件(B2字节数)]，成功上传了[N3行/N4文件]。 Agent: Progress: [N1 records (B1 bytes) / N2 files (B2
Notification，消息通知服务）发送DIS事件的通知，订阅DIS事件即可启用通知。在订阅中，用户需要指定一个或多个事件筛选条件。每当发生与所有筛选条件匹配的事件时，DIS就会通过该订阅发送通知。筛选条件包含事件类别（例如：管理、监控或安全）、事件级别（例如：正常或警告）和事件源类型（例如：通道或转储任务）。
将“filePattern”所匹配到的文件内容按分隔符解析并上传到此通道。 请根据实际情况配置 filePattern 是 文件监控路径，只能监控一个目录下的文件，无法递归目录监控。 如果要监控多个目录，可以在flows下面配置多个“DISStream”，文件名可使用“*”进行匹配。 “/tmp/*
当程序从异常停止恢复时重传部分数据。 1 sendingRecordSize 否 单次调用DIS数据发送接口时的数据集大小。 说明： “batchSize”表示一个事务的批量值(如1000)，而“sendingRecordSize”表示一个Rest请求的批量值(如250表示会发起四次
SDK进行二次开发前需要进行的初始化工作。 Python：准备环境~~获取数据游标 介绍使用DIS SDK进行的常用操作（匹配python）。 Java：准备环境~~变更分区数量 介绍使用DIS SDK进行的常用操作（匹配java）。 DIS服务端错误码 介绍使用DIS SDK过程中遇到异常时的响应信息。 父主题：
streamname="dis-test1"| #已存在的通道名 putRecords_sample.py文件中的putRecords_test方法中的records为需要上传的数据内容，数据上传格式如下： 1 2 3 4 records=[{"data": "abcdefd", "partition_id":
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
ConsumerRebalanceListener var2) 接口 支持 订阅所有匹配通配符的通道并支持ConsumerRebalanceListener回调 void unsubscribe() 接口 支持 取消所有订阅 ConsumerRecords<K, V> poll(long var1) 接口 支持
ConsumerRebalanceListener var2) 接口 支持 订阅所有匹配通配符的通道并支持ConsumerRebalanceListener回调 void unsubscribe() 接口 支持 取消所有订阅 ConsumerRecords<K, V> poll(long var1) 接口 支持
ConsumerRecords<String, String> records = consumer.poll(Long.MAX_VALUE); if (!records.isEmpty())
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
ConsumerRecords<String, String> records = consumer.poll(Long.MAX_VALUE); if (!records.isEmpty())
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
载数据getRecords_test采用test方法；test方法较test_0方法，增加参数bodySerializeType="protobuf"。 配置好以上参数，执行protobuf_getrecords_sample.py文件调用getRecords_test方法，响应结果如下。
数据接入服务”。 单击现有通道列表右上角的“标签搜索”，展开查询页。 输入待查询通道的标签。 标签键或标签值可以通过下拉列表中选择，当标签键或标签值全匹配时，系统可以自动查询到目标通道。当有多个标签条件时，会取各个标签的交集，进行通道查询。 单击“搜索”。 系统根据标签键或标签值搜索目标通道。
存储该通道数据的DWS集群ID。 dws_database_name String 存储该通道数据的DWS数据库名称。 dws_schema String 存储该通道数据的DWS数据库模式。 dws_table_name String 存储该通道数据的DWS数据库模式下的数据表。 dws_delimiter
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
图说DIS 图说ECS 立即使用 成长地图 由浅入深，带您玩转DIS 01 了解 了解华为云DIS的产品架构、功能和基础知识，有助于您更准确地匹配实际业务，让数据上云变得更简单、更方便。 产品介绍 什么是DIS DIS功能介绍 DIS应用场景 DIS基本概念 03 入门 指导用户通过DIS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
