检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取MRS集群全部节点的ip和域名映射,在DLI跨源连接修改主机信息中配置host映射。 如何添加IP域名映射,请参见《数据湖探索用户指南》中“修改主机信息”章节。 Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka
详细信息。 支持查看以下信息:弹性资源池名称、弹性资源池创建用户、创建时间、弹性资源池VPC网段、弹性资源池是否启用IPv6,如果开启IPv6将显示具体的子网的IPv6网段。 关于弹性资源池的实际CUs、已使用CUs、CU范围、规格(包周期CU)的含义请参考弹性资源池的实际CUs
URI-scheme 表示用于传输请求的协议,当前所有API均采用HTTPS协议。 Endpoint 指定承载REST服务端点的服务器域名或IP。 不同服务不同区域的Endpoint不同,您可以从地区和终端节点中查询所有服务的终端节点。 例如IAM服务在“华北-北京四”区域的Endpoint为“iam
队列相关API(推荐) 包括创建队列、删除队列、查询所有队列、修改队列网段、重启/扩容/缩容队列和查询队列详情、创建指定地址连通性测试请求、查询指定地址连通性请求、创建队列定时扩缩容计划、查询队列定时扩缩容计划、批量删除队列定时扩缩容计划、单个删除队列定时扩缩容计划、修改队列定时扩缩容计划。
type 是 connector类型,需配置为'gaussdb' connector.url 是 jdbc连接地址,格式为:jdbc:postgresql://${ip}:${port}/${dbName} 。 connector.table 是 操作的表名。如果该DWS表在某s
源,并绑定所要使用的Flink弹性资源池。 设置RDS MySQL的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根RDS的地址测试队列连通性。如果能连通,则表示跨源已经绑定成功,否则表示未成功。 登录RDS MySQL,并使用下述命令在flink库下创建
如果CSS安全集群开启了HTTPS访问,此处需要设置为“true”,并且需要继续设置后面的安全证书、文件地址等参数。 如果CSS安全集群未开启HTTPS访问,此处需要设置为“false”,则不需要设置后面安全证书、文件地址等参数。 .option("es.net.ssl.keystore.location"
队列相关API(推荐) 创建队列 删除队列 查询所有队列 查询队列详情 重启/扩容/缩容队列 创建指定地址连通性测试请求 查询指定地址连通性测试详情
导出数据的文件格式。当前只支持json格式。 队列 选择队列。 压缩格式 导出数据的压缩方式,选择如下压缩方式。 none bzip2 deflate gzip 存储路径 输入或选择OBS路径。 导出路径必须为OBS桶中不存在的文件夹,即用户需在OBS目标路径后创建一个新文件夹。 文件夹名称不能包含下列特殊字符:\
数据库名称。 owner 否 String 数据库的创建者。 table_number 否 Integer 数据库中表的个数。 description 否 String 数据库相关的描述信息。 enterprise_project_id 是 String 企业项目ID,“0”表示
该路径下的文件夹须不存在,如请求样例中的“path”文件夹。 compress 否 String 导出数据的压缩格式,目前支持gzip,bzip2和deflate压缩方式; 默认值为none,表示不压缩。 data_type 是 String 导出数据的存储格式,目前API支持csv和json格式。
应用场景 DLI服务适用于海量日志分析、异构数据源联邦分析、大数据ETL处理。 海量日志分析 游戏运营数据分析 游戏公司不同部门日常通过游戏数据分析平台,分析每日新增日志获取所需指标,通过数据来辅助决策。例如:运营部门通过平台获取新增玩家、活跃玩家、留存率、流失率、付费率等,了解
redis操作参数 参数 描述 host 需要连接的redis集群的IP。 获取方式为:登录华为云官网,之后搜索redis,进入“分布式缓存服务”,接着选择“缓存管理”,根据主机名称需要的IP,可选择其中任意一个IP进行复制即可(其中也包含了port信息),请参考图1。 port 访问端口。
table 'person')".stripMargin) 插入数据 1 sparkSession.sql("INSERT INTO TABLE person VALUES ('John', 30),('Peter', 45)".stripMargin) 查询数据 1 sparkSession
"elastic_pool_dli", "hosts": [ { "ip":"192.168.0.1", "name":"ecs-97f8-0001" }, { "ip":"192.168.0.2", "name":"ecs-97f8-0002"
people; 在表users中增加名为zip的列: ALTER TABLE users ADD COLUMN zip varchar; 从表users中删除名为zip的列: ALTER TABLE users DROP COLUMN zip; 将表users中列名id更改为user_id:
表1 MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。
sparkContext().addFile("obs://桶名/地址/transport-keystore.jks"); sparkSession.sparkContext().addFile("obs://桶名/地址/truststore.jks"); //
如果选择“短信”协议,需要在“订阅终端”中填写接收确认短信的手机号码。 如果选择“邮件”协议,需要在“订阅终端”中填写接收确认邮件的邮箱地址。 更多信息,请参考《消息通知服务用户指南》中《添加订阅》章节。 图4 添加订阅 通过单击短信或者邮件中的链接确认后,将收到“订阅成功”的信息。
登录VPC管理控制台,进入创建虚拟私有云页面。 在“创建虚拟私有云”页面,根据界面提示配置VPC和子网的参数。 具体参数说明请参考创建虚拟私有云。 其中配置IPv4网段时,请确保VPC的IPv4网段不要与下列网段重复。 172.18.0.0/16、172.16.0.0/16、10.247.0.0/16 创建安全组