检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
myhuaweicloud.com/中下载DIS的kafka-adapter压缩包。 此zip包中有两个目录。 huaweicloud-dis-kafka-adapter-X.X.X目录下是所有依赖的jar包,如果使用非Maven工程,则可导入此lib目录下的所有jar到环境依赖即可 huaw
用户使用接入通道上传数据的时候,如果数据涉及敏感信息,请使用DIS SDK提供的加密配置进行加密或者自行加密。 用户使用接入通道上传数据时,普通通道单分区单次请求的记录总大小不能超过1MB(不包含partitionKey数据大小),高级通道单分区单次请求的记录总大小不能超过5MB
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 204 正常返回 错误码 请参见错误码。 父主题: 标签管理
强制停止Agent进程操作如下。 执行ps -ef | grep dis-agent | grep -v grep命令,获取Agent的进程标识(PID)。输出的第二个字段即为PID。 执行kill -9 PID命令,强制停止Agent进程。 在Windows服务器上停止DIS Agent
JREs”配置JDK环境变量,显示如图2所示。 右侧窗口中显示已配置好的JDK变量,执行1.c.i完成JDK变量配置。 如需配置多个不同的变量对应不同版本的JDK,请执行1.c.ii~1.c.iv。 图2 Installed JREs 勾选已安装的JDK,单击“OK”。 单击“Add”按钮,弹出“Add
使用Token前请确保Token离过期有足够的时间,防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。 Token
JREs”配置JDK环境变量,显示如图2所示。 右侧窗口中显示已配置好的JDK变量,执行1.c.i完成JDK变量配置。 如需配置多个不同的变量对应不同版本的JDK,请执行1.c.ii~1.c.iv。 图2 Installed JREs 勾选已安装的JDK,单击“OK”。 单击“Add”按钮,弹出“Add
存储在DIS中的数据保留的最长时间,超过此时长数据将被清除。 取值范围:24~72的整数。 24 源数据类型 BLOB:存储在数据库管理系统中的一组二进制数据。“源数据类型”选择“BLOB”,则支持的“转储服务类型”为“OBS”、“MRS”。 JSON:一种开放的文件格式,以易读的文字为
获取消息,但消息当中未实现 checksum(消息的CRC32校验值)、serializedKeySize(key序列化后的字节长度)、serializedValueSize(key序列化后的字节长度)。 void commitSync() 接口 支持 同步提交当前消费的offset void commitSync(final
获取消息,但消息当中未实现 checksum(消息的CRC32校验值)、serializedKeySize(key序列化后的字节长度)、serializedValueSize(key序列化后的字节长度)。 void commitSync() 接口 支持 同步提交当前消费的offset void commitSync(final
mrs_cluster_id 是 String 存储该通道数据的MRS集群ID。 mrs_hdfs_path 是 String 存储该通道数据的MRS集群的HDFS路径。 file_prefix 否 String 临时存储该通道数据的OBS桶下的自定义目录,多级目录可用“/”进行分隔,不可以“/”开头。
用户数据的字段分隔符,根据此分隔符分隔用户数据插入DWS数据表的相应列。 取值范围:“,”、“;”和“|”三种字符中的一个。 user_name 是 String 存储该通道数据的DWS数据库的用户名。 user_password 是 String 存储该通道数据的DWS数据库的密码。 kms_user_key_name
存储在DIS中的数据保留的最长时间,超过此时长数据将被清除。 取值范围:24~72的整数。 24 源数据类型 BLOB:存储在数据库管理系统中的一组二进制数据。“源数据类型”选择“BLOB”,则支持的“转储服务类型”为“OBS”、“MRS”。 JSON:一种开放的文件格式,以易读的文字为
存储在DIS中的数据保留的最长时间,超过此时长数据将被清除。 取值范围:24~72的整数。 24 源数据类型 BLOB:存储在数据库管理系统中的一组二进制数据。“源数据类型”选择“BLOB”,则支持的“转储服务类型”为“OBS”、“MRS”。 JSON:一种开放的文件格式,以易读的文字为
通道删除后不再收取费用,也无法恢复,请谨慎操作。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 在需要删除的通道中单击操作列的“删除”,弹出“删除DIS通道”对话框。 单击“确认”,删除选中的通道。 父主题: 管理通道
说明: 仅支持数据位置为DLI的表,且用户需具有该表的插入权限。 obs_bucket_path 是 String 临时存储该通道数据的OBS桶名称。 file_prefix 否 String 临时存储该通道数据的OBS桶下的自定义目录,多级目录可用“/”进行分隔,不可以“/”开头。
timed out 可能原因:服务器连接DIS网关超时。 处理方法:检查Agent所在日志服务器的网络配置是否可以连接公网。 查看Agent是否上传日志。 “agent.yml”中配置的监控目录下有匹配的文件,日志中会输出类似如下日志,表示解析了[N1行(B1字节数)/N2文件(B2字节数)],成功上传了[N3行/N4文件]。
为DLI类型的数据表,且用户需具有该表的插入权限。 此配置项仅支持选择,不可手动输入。 配置此项必须已配置“DLI 数据库”。 偏移量 最新:最大偏移量,即获取最新的有效数据。 最早:最小偏移量,即读取最早的有效数据。 最新 数据转储周期 根据用户配置的时间,周期性的将数据导入目
data_type 否 String 源数据类型。 BLOB:存储在数据库管理系统中的一组二进制数据。 JSON:一种开放的文件格式,以易读的文字为基础,用来传输由属性值或者序列性的值组成的数据对象。 CSV:纯文本形式存储的表格数据,分隔符默认采用逗号。 缺省值:BLOB。 枚举值: BLOB
进入到Logstash的安装目录。 cd ${LOGSTASH_HOME} 上传“dis-logstash-plugins-X.X.X.zip”安装包到此目录下。 解压安装包。 unzip dis-logstash-plugins-X.X.X.zip 进入安装包解压后的目录。 cd logstash-plugins