检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
destination_type String 转储任务类型。 OBS:转储到OBS。 MRS:转储到MRS。 DLI:转储到DLI。 CLOUDTABLE:转储到CloudTable。 DWS:转储到DWS。 枚举值: OBS MRS DLI CLOUDTABLE DWS create_time
据类型”选择“BLOB”,则支持的“转储服务类型”为“OBS”、“MRS”。 JSON:一种开放的文件格式,以易读的文字为基础,用来传输由属性值或者序列性的值组成的数据对象。“源数据类型”选择“JSON”,则支持的“转储服务类型”为“OBS”、“MRS”、“DLI”和“DWS”。
1552458085454 }, { "destination_type":"OBS", "task_name":"task_qTd9", "create_time":1552355757885
据类型”选择“BLOB”,则支持的“转储服务类型”为“OBS”、“MRS”。 JSON:一种开放的文件格式,以易读的文字为基础,用来传输由属性值或者序列性的值组成的数据对象。“源数据类型”选择“JSON”,则支持的“转储服务类型”为“OBS”、“MRS”、“DLI”和“DWS”。
区域和可用区 什么是区域、可用区? 我们用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Regio
"agency_name":"dis_admin_agency", "file_prefix":"dli", "obs_bucket_path":"dis.test.not.delete", "deliver_time_interval":300
据类型”选择“BLOB”,则支持的“转储服务类型”为“OBS”、“MRS”。 JSON:一种开放的文件格式,以易读的文字为基础,用来传输由属性值或者序列性的值组成的数据对象。“源数据类型”选择“JSON”,则支持的“转储服务类型”为“OBS”、“MRS”、“DLI”和“DWS”。
可在页面查看不同Region对应的项目ID值。 获取DIS Logstash Plugin包 https://dis-publish.obs-website.cn-north-1.myhuaweicloud.com/获取“dis-logstash-Plugin-X.X.X.zip”压缩包。
启动DIS Agent Linux服务器上启动DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent安装目录。其中“x.x.x”表示版本号。 cd /opt/dis-agent-x.x.x/ 启动DIS Agent。 bash bin/start-dis-agent
了HBase表。 tbl1 备份开关 用户数据转储CloudTable服务失败时,是否将转储失败的数据备份至OBS服务。 开启:是,转储失败的数据备份至OBS服务。 关闭:否,转储失败的数据不备份至OBS服务。 开关默认关闭。 说明: 关闭开关,转储失败的数据会存储在DIS中,并
数据接入服务-成长地图 | 华为云 数据接入服务 数据接入服务(Data Ingestion Service,简称DIS)面向IoT、互联网等实时数据,提供高效采集、传输、分发能力,支持多种IoT协议,提供丰富的接口,帮助您快速构建实时数据应用。 产品介绍 图说DIS 图说ECS
选择“授权管理”,单击“添加授权策略”, 选择授权模式,再在“被授权用户”文本框中,设置用户信息。 支持通配符"*",表示授权所有账号; 支持添加多账号,用","隔开 支持授权某账号下的特定用户,输入账号名,单击"查询用户"按钮,选择用户。 图1 添加权限 父主题: 管理通道
证信息。 cli = disclient(endpoint='**your-endpoint**', // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;
在配置项中,需要配置用户的SK,这属于敏感信息,如需加密,可以按如下步骤: 进入dis-flume-plugin/目录 cd /dis-flume-plugin 执行加密脚本,输入密码后回车 bash dis-encrypt.sh 控制台打印的“Encrypt result:”后面的字符串即为加密后的结果。通过
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 stream_id
DISClientBuilder.standard() .withEndpoint("YOUR_ENDPOINT") // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例
开通DIS服务 注册云服务账号。 开通DIS服务。 使用DIS服务之前必须先充值,才能正常使用DIS服务。 登录DIS管理控制台。 单击页面右上角的“费用”。 单击“充值”,系统自动跳转到充值窗口。 根据界面提示信息,对账户进行充值。 充值成功后,关闭充值窗口,返回管理控制台首页。
图解数据接入服务DIS
String endpoint; // DIS服务所在区域ID,如 cn-north-1 String region; // // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文