检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“网关和DNS”中“DNS服务器地址”后的“修改”按钮,弹出“修改DNS服务器地址”窗口。 将DNS服务器地址修改为所需的DNS服务器地址,然后单击“确定”,保存DNS服务器地址的修改。 重启弹性云服务器,查看“/etc/resolv.conf”文件的内容,确认其中包含待配置的DNS服务器地址,并
分别加密MySQL密码和用户SK,并将密文配置到配置文件中即可。 配置DIS Source 表1 DIS Source配置项说明 配置项 是否必填 说明 默认值 channels 是 Flume channel的名称。 请根据实际情况配置 type 是 Source的类型。 com
PROXY_HOST 否 配置代理IP,请求走代理服务器的需要配置。 请根据实际情况配置 PROXY_PORT 否 配置代理端口。 80 PROXY_PROTOCOL 否 配置代理协议。支持http和https。 http PROXY_USERNAME 否 配置代理用户名。 请根据实际情况配置 PROXY_PASSWORD
程的存储位置,勾选样例工程,如图1所示。 图1 Import Maven Projects 单击“Finish”完成项目导入。 配置Demo工程。 配置项目编码为“UTF-8”。 在左侧导航栏“Project Explorer”中右键单击所需工程,选择“Properties ”,进入“Properties
s \dis_sdk_python”样例工程的存储位置。(安装之后若未找到dis_sdk_python,请尝试升级pip,或者安装huaweicloud-python-sdk-dis): 单击“OK”完成项目导入。 配置sdk_python工程。 在左侧导航栏中选择“File >
通道列表简介 通道列表中可查看当前用户的已创建的所有通道信息。通道信息包括: 名称/ID:用户发送或者接收数据时,需要指定通道名称,通道名称不可重复。通道名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。 状态:通道的运行状态。 通道类型:普通和高级。 普通通道单分
DIS对数据传输所需要的基础设置、存储、网络和配置进行管理。您无需为数据通道担心配置、部署、持续的硬件维护等。此外,DIS还可在云区域同步复制数据,为您提供数据高可用性和数据持久性。 主要模块 DIS分为4个功能模块,各模块功能如下: 服务控制面 完成服务的开通、删除、配置操作,并将用户信息同步到数据面。
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
配置DIS Logstash Plugin DIS Logstash Plugins 分为Input与Output插件,本节介绍插件的各个配置项具体含义。 配置DIS Logstash Input 配置模板如下:(该模板为从DIS通道下载数据写入本地文件) input { dis
安装前准备 检查依赖 服务器类型。 Linux x86-64(64位)服务器,常见的有EulerOS、Ubuntu、Debian、CentOS、OpenSUSE等。 Windows 7及以上版本。 已安装1.8.0及以上版本的Java。 请参见JRE地址下载JRE。 Linux服务器安装请参考如下步骤:
启动DIS Agent Linux服务器上启动DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent安装目录。其中“x.x.x”表示版本号。 cd /opt/dis-agent-x.x.x/ 启动DIS Agent。 bash bin/start-dis-agent
Request 可能原因:配置DIS Agent中“DISStream”或“projectId”的配置不正确。 处理方法:停止Agent进程后检查配置。 HttpClientErrorException: 403 Forbidden 可能原因:DIS网关将服务器IP加入黑名单,导致请
单位:秒。 默认配置为300秒。 - 源数据类型JSON/CSV==>转储文件格式Parquet 表3罗列了源数据类型为JSON,CSV,转储至OBS(对应转储文件格式Parquet)时需要配置的差异化参数,共性参数的配置请参见表1。 表3 转储Parquet格式文件的配置参数 参数 说明
取值范围:30~900。 单位:秒。 默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中,再转储到指定的转储服务,转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中,转储完成后临时目录中的数据会被清除。 配置为空时,数据直接存储在OBS桶内。
方法中的(limit可设置单次请求返回APP列表的最大数量取值范围:1~100)。 配置参数如下: 1 startAppName="app1" #APP名称(从该通道开始返回app列表,返回的app列表不包括此app名称。) 配置好以上参数,执行listApp_sample.py文件调用Applist_test方法。
参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK创建Checkpoint,需要指定通道名称、APP名称、分区编号、序列号以及Checkpoint类型。 其中,“streamName”的配置值要与开通DIS通道中“Stream Name”的值一致。 1 2 3 4