检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
streamname="dis-test1"| #已存在的通道名 putRecords_sample.py文件中的putRecords_test方法中的records为需要上传的数据内容,数据上传格式如下: 1 2 3 4 records=[{"data": "abcdefd", "partition_id":
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
登录DIS控制台,等待2分钟后,查看表1中“streams”配置的通道的监控。如果显示有数据下载(蓝色线条),表示DIS Logstash Input运行成功。 验证DIS Logstash Output 使用PuTTY工具远程登录Logstash所在服务器。 启动Logstash程序。 bin/logstash
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
ConsumerRecords<String, String> records = consumer.poll(Long.MAX_VALUE); if (!records.isEmpty()) { for (TopicPartition partition : records.partitions())
ConsumerRecords<String, String> records = consumer.poll(Long.MAX_VALUE); if (!records.isEmpty()) { for (TopicPartition partition : records.partitions())
请检查传入的MRS HDFS路径是否存在。 400 DIS.4337 The DLI database does not exist. 创建DLI转储任务时,传入的DLI数据库不存在 请检查传入的DLI数据库是否存在。 400 DIS.4338 The DLI table does not
单击“选择”,在“选择DWS集群”窗口选择一个集群。 此配置项仅支持选择,不可手动输入。 - DWS数据库 存储该通道数据的DWS数据库名称。 手动输入,不可配置为空。 - 数据库模式 一个数据库包含一个或多个命名的模式,模式又包含表。模式还包含其他命名的对象,包括数据类型、函数,以及操
Definition 配置JDK基本信息,单击“Finish”完成配置。 JRE home:JDK安装路径。 Default VM arguments:JDK运行参数。 下载资源包。 在https://github.com/huaweicloud/huaweicloud-sdk-java-dis中下载DIS的Java
Definition 配置JDK基本信息,单击“Finish”完成配置。 JRE home:JDK安装路径。 Default VM arguments:JDK运行参数。 下载资源包。 在https://github.com/huaweicloud/huaweicloud-sdk-java-dis中下载DIS的Java
解压安装包。 unzip dis-flume-plugin-X.X.X.zip 进入安装包解压后的目录。 cd dis-flume-plugin 运行安装程序。 bash install.sh DIS Flume Plugin安装在“${FLUME_HOME}/plugin.d/dis-
文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。 ak=os
载数据getRecords_test采用test方法;test方法较test_0方法,增加参数bodySerializeType="protobuf"。 配置好以上参数,执行protobuf_getrecords_sample.py文件调用getRecords_test方法,响应结果如下。
存储该通道数据的DWS集群ID。 dws_database_name 是 String 存储该通道数据的DWS数据库名称。 dws_schema 是 String 存储该通道数据的DWS数据库模式。 dws_table_name 是 String 存储该通道数据的DWS数据库模式下的数据表。 dws_delimiter
Explorer无法打开登录页面。请使用管理员身份重新安装Internet Explorer 9.0或更高版本(建议),或尝试使用管理员身份运行Internet Explorer 9.0。 用户使用接入通道上传数据的时候,如果数据涉及敏感信息,请使用DIS SDK提供的加密配置进行加密或者自行加密。
存储该通道数据的DWS集群ID。 dws_database_name String 存储该通道数据的DWS数据库名称。 dws_schema String 存储该通道数据的DWS数据库模式。 dws_table_name String 存储该通道数据的DWS数据库模式下的数据表。 dws_delimiter
zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sdk\demo”路径下“ConsumerDemo.java”文件。 运行程序 出现类似信息表示下载数据成功: 14:55:42.954 [main] INFOcom.bigdata.dis.sdk.DISConfig
zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sdk\demo”路径下“ConsumerDemo.java”文件。 运行程序 出现类似信息表示下载数据成功: 14:55:42.954 [main] INFOcom.bigdata.dis.sdk.DISConfig
SendRecordsRequest request = new SendRecordsRequest(); PutRecordsRequest body = new PutRecordsRequest(); List<PutRecordsRequestEntry>