检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
向input指向的通道上传数据,如果Logstash没有报错且output端能正常获取到数据,表示下载正常。 登录DIS控制台,等待2分钟后,查看表1中“streams”配置的通道的监控。如果显示有数据下载(蓝色线条),表示DIS Logstash Input运行成功。 验证DIS
默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中,再转储到指定的转储服务,转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中,转储完成后临时目录中的数据会被清除。 配置为空时,数据直接存储在OBS桶内。 - 源数据类型J
一个DIS通道只能关联一个企业项目。当通道创建成功后,可以在企业管理的控制台中,执行迁出操作,将DIS通道从当前所属的企业项目中迁出到另一个企业项目中;或者执行迁入操作,在指定的企业项目中迁入另一个企业项目中的DIS通道。迁入迁出后,DIS通道与新的企业项目进行关联,DIS通道与原
11:00:00”,经DIS转换为Parquet格式后,对应的属性字段名称为field_1。则创建转储任务时分别设置“时间戳属性名”为“field_1”,数据类型为“String”,时间戳格式为“yyyy/MM/dd HH:mm:ss”。 因数据转储成功后,存储的目录结构取决于源数据的时间戳和
DNS配置操作在保存“/etc/resolv.conf”文件的修改操作后立即生效。 对“/etc/resolv.conf”文件的修改操作在弹性云服务器重启后会失效,需要重新进行配置。如果用户不希望每次重启弹性云服务器后都重新配置DNS,可以按如下步骤修改虚拟私有云的子网信息,将DNS
支持最大1MB/s的写入速度和2MB/s的读取速度。 data_duration:通道生命周期,即通道分区中数据的保留时长。 请求响应成功后,返回201 Created,表示通道创建成功。 若请求失败,则会返回错误码及对应的错误信息说明,详细错误码信息请参考错误码。 创建支持自动扩缩容的通道
streamname = "" #已存在的running状态通道名 target_partition_count =”3” #变更后的数量值 配置好以上参数,执行changepartitionQuantity_sample.py文件调用changepartitionQu
here运行脚本,示例: ./dis-encrypt.sh {key} {ak},即可得到加密后的AK,将其配置在“agent.yml“配置文件中,SK同理。 按上述操作将AK和SK加密之后,将加密后的AK/SK,key全部配置到"agent.yml”即可。 图1 加密示例 表2 DISStream配置项说明
stream_type=“FILE” #文件类型通道 配置createstream_sample.py中Dump_switch_FILE方法参数值。 配置好参数后,执行createstream_sample.py文件默认调用createStream_test方法,获取响应201创建成功。 父主题: 使用SDK(Python)
S或DLI资源。 使用账号首次进入界面添加转储任务时,系统会自动弹出创建委托界面。 单击 “同意授权”则平台会自动创建委托。 委托授权成功后,隶属于该账号下的IAM子用户也可添加转储任务。
S或DLI资源。 使用账号首次进入界面添加转储任务时,系统会自动弹出创建委托界面。 单击 “同意授权”则平台会自动创建委托。 委托授权成功后,隶属于该账号下的IAM子用户也可添加转储任务。 父主题: 入门
在下拉列表中选择“所有事件级别”、“正常”或“警告”。 在下拉列表中选择“事件源”,在输入框中输入通道或转储任务名称,例如“demo”。 单击,显示筛选后的事件查询结果。 单击“事件”右侧的,选择事件名称,例如“转储任务恢复”,可过滤对应的事件。 父主题: 事件通知
这种场景下,所有的业务处理完成后才认为消息被成功消费,此时必须手动控制偏移量的提交。使用手动提交相关参数设置如下: props.put("enable.auto.commit", "false");// 显示设置偏移量手动提交 然后在业务处理成功后调用commitAsync()或
这种场景下,所有的业务处理完成后才认为消息被成功消费,此时必须手动控制偏移量的提交。使用手动提交相关参数设置如下: props.put("enable.auto.commit", "false");// 显示设置偏移量手动提交 然后在业务处理成功后调用commitAsync()或
在云监控服务的左侧导航树栏,选择“告警 > 告警规则”,在页面右侧单击“创建告警规则”。 根据界面提示设置DIS通道的告警规则,当前仅支持“自定义创建”。 设置完成后,单击“立即创建”。当符合规则的告警产生时,系统会自动进行通知。 更多关于DIS通道监控规则的信息,请参见《云监控用户指南》。 父主题: 使用CES监控DIS
进入dis-flume-plugin/目录 cd /dis-flume-plugin 执行加密脚本,输入密码后回车 bash dis-encrypt.sh 控制台打印的“Encrypt result:”后面的字符串即为加密后的结果。通过这种方式分别加密MySQL密码和用户SK,并将密文配置到配置文件中即可。
Success to start DIS Agent [xxxxx]. 如果启动出现java变量找不到的情况,执行source /etc/profile后重新启动Agent。 Windows服务器上启动DIS Agent 进入DIS Agent程序的bin目录,例如“C:\dis-agent-X
项生效。 5000 deletePolicy 否 文件内容上传完成之后的删除策略。 never:文件内容上传完毕后不删除文件。 immediate:文件内容上传完毕后删除文件 。 说明: “isFileAppendable”配置为“false”时该配置项生效。 never fileSuffix
partition_id} #可写入多条数据,数据格式如record1所示,每写一条数据使用下面的append方法传入records中。 配置好以上参数后,执行protobuf_putRecords_sample.py文件调用protobuf_putRecords_test方法,响应结果下: 1
Key)。 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 获取项目ID和账号ID 项目ID表示租户的资源,账号ID对应当前账号,IAM用户ID对应当前用户。用户可在对应页面下查看不同Re