检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
所有表的附加属性都会放到TBLPROPERTIES中来定义。 参数描述 表1 CREATE TABLE参数描述 参数 描述 db_name Database名称,由字母、数字和下划线(_)组成。 col_name data_type 以逗号分隔的带数据类型的列表。列名由字母、数字和下划线(_)组成。
所有表的附加属性都会放到TBLPROPERTIES中来定义。 参数描述 表1 CREATE TABLE参数描述 参数 描述 db_name Database名称,由字母、数字和下划线(_)组成。 col_name data_type 以逗号分隔的带数据类型的列表。列名由字母、数字和下划线(_)组成。
sql => 'delete statement') 参数描述 表1 参数描述 参数 描述 table_name 待删除数据的表名,支持database.tablename格式 delete statement select类型的sql语句,用于找出待删除的数据 示例 从mytable表中删除primaryKey
Connection(host='hiveserverIp', port=hiveserverPort, username='hive', database='default', auth='KERBEROS', kerberos_service_name="hive", krbhost='hadoop
examples.KafkaWordCountProducer {BrokerList} {Topic} {messagesPerSec} {wordsPerMessage} JAR_PATH为程序jar包所在路径; BrokerList格式为brokerIp:9092; 若用户需要对接安
prequery.period.max.minute 预热的最大时长,单位分钟 60 spark.prequery.tables 表名配置database.table:int,表名支持通配符*,int代表预热多长时间内有更新的表,单位为天。 default.test*:10 spark
使用presto客户端或jdbc、UI工具连接Presto服务,执行命令show schemas from myhive; 可以看到目标集群上的database即为配置成功。 父主题: Presto常见问题
编写Coordinator任务:“coordinator.xml”。 完成每天一次的定时数据分析工作,请参见coordinator.xml。 上传流程文件。 使用或切换到拥有HDFS上传权限的用户。 使用HDFS上传命令,将“dataLoad”目录上传到HDFS某个指定目录(oozie_cli用户需要对该目录有读写权限)。
BROADCAST(smallTable1, smallTable2) */”方式使用该特性,兼容开源双流Join逻辑。 不支持开源双流Join和该特性的切换,因为该特性会将数据广播到每个Join算子。 不支持LEFT JOIN时小表为左表,RIGHT JOIN时小表为右表。 Flink作业大小表Join去重
使用客户端。 操作步骤 在主管理节点使用客户端。 安装客户端,具体请参考安装客户端章节。 以客户端安装用户登录客户端安装节点,执行以下命令切换到客户端目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerb
32766:from all lookup main 32767:from all lookup default 执行以下命令,输入root用户密码,切换到root用户下。 su - root 分别执行以下命令,手动创建新的WS浮动IP路由信息。 ip route add WS浮动IP网段号/WS浮动IP子网掩码
登录MRS集群详情页面,选择“告警管理”。 在告警列表中单击该告警,从“告警详情”的“定位信息”处获得“HostName”。 登录主集群HBase客户端所在节点。执行以下命令切换用户: sudo su - root su - omm 执行status 'replication', 'source'命令查看故障节点的容灾同步状态。
回显中“ResName”列出现“ntp”字样,执行7。 如果回显中“ResName”列同时出现“chrony”和“ntp”字样,则表示正在切换NTP服务模式,等待十分钟再次执行5,如果回显中“ResName”列依旧同时出现“chrony”和“ntp”字样,请联系运维人员。 执行查看状态命令chronyc
检查ClickHouse在ZooKeeper的znode节点容量值 登录ZooKeeper客户端所在主机节点,执行以下命令登录ZooKeeper客户端工具。 切换到客户端安装目录。 例如:cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令进行用户认证。(普通模式跳过此步骤)
参考打包Storm样例工程应用执行打包,并将jar包命名为“example.jar”。 将导出的Jar包复制到Linux环境的“/opt/test/lib”目录下。 切换到“/opt/test”,执行以下命令,运行Jar包。 java -classpath /opt/test/lib/*:/opt/test/src/main/resources
通模式不涉及) 使用HDFS客户端 安装客户端,详细操作请参考使用MRS客户端。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执
检查ClickHouse在ZooKeeper的znode节点创建数量 登录ZooKeeper客户端所在主机节点,执行以下命令登录ZooKeeper客户端工具。 切换到客户端安装目录。 例如:cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令进行用户认证。(普通模式跳过此步骤)
Connection(host='hiveserverIp', port=hiveserverPort, username='hive', database='default', auth='KERBEROS', kerberos_service_name="hive", krbhost='hadoop
以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令,进行用户认证。(普通模式跳过此步骤) kinit 组件业务用户 执行以下命令切换到Kafka客户端安装目录。 cd
通模式不涉及) 使用HDFS客户端 安装客户端,详细操作请参考使用MRS客户端。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执