检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据写入HDFS后文件名的前缀。 TMP_ hdfs.batchSize 一次写入HDFS的最大事件数目。 61200 hdfs.kerberosPrincipal kerberos认证时用户,在安全版本下必须填写。安全集群需要配置此项,普通模式集群无需配置。 flume_hdfs hdfs.kerberosKeytab
o_orderkey = l1.l_orderkey and o_orderstatus = 'F' and l1.l_receiptdate > l1.l_commitdate and exists ( select
o_orderkey = l1.l_orderkey and o_orderstatus = 'F' and l1.l_receiptdate > l1.l_commitdate and exists ( select
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
er界面回显FlinkSQL时,SQL中的“password”字段将显示为空,在回显状态下需要将密码信息补齐后再提交作业。如果是自定义connector,密码字段名要用“password”关键字,否则页面可能显示敏感信息。 关闭SQL加密存储可能会存在密码泄漏风险,建议保持默认开
conf > OK”,从而完成资源目录的设置,如“图7”所示。 图7 设置工程资源目录 设置IntelliJ IDEA的文本文件编码格式,解决乱码显示问题。 在IntelliJ IDEA的菜单栏中,选择“File > Settings”。 在弹出的“Settings”窗口左边导航上选择“Editor
使用IE浏览器配置Loader作业时无法保存数据 问题 通过IE 10&IE 11浏览器访问Loader界面,提交数据后,会报错。 回答 现象 保存提交数据,出现类似报错:Invalid query parameter jobgroup id. cause: [jobgroup]。
MRS是否支持变更MRS集群节点? MRS管理控制台不支持变更集群节点,也不建议用户在ECS管理控制台直接修改MRS集群节点。 如果手动在ECS管理控制台对集群节点执行停止ECS、删除ECS、修改或重装ECS操作系统,以及修改ECS规格的操作,可能影响集群稳定运行。 如果您对MRS集群节点进行了上述
现。例如,您只允许用户组A访问某一OBS文件系统中的日志文件,您可以执行以下操作来实现: 为MRS集群配置OBS访问权限的委托,实现使用ECS自动获取的临时AK/SK访问OBS。 在IAM中创建一个只允许访问某一OBS文件系统中的日志文件的策略,并创建一个绑定该策略权限的委托。
/join并为一个,不但减少了大量的全局barrier,而且无需物化很多中间结果RDD,这将极大地提升性能。Spark把这个叫做流水线(pipeline)优化。 Transformation和Action(RDD的操作) 对RDD的操作包含Transformation(返回值还是
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
证凭据并替换旧凭据。 修改admin用户密码 通过Manager页面修改admin用户密码: 开启Kerberos认证的集群和开启弹性公网IP功能未开启Kerberos认证的集群支持通过Manager界面修改admin密码。 使用admin账户登录Manager页面。 MRS 2
hosts”文件中所列出的各主机在网络上互通。 如果当前节点与MRS集群所在网络平面不互通,可以通过绑定EIP的方式访问MRS集群,具体操作请参考配置Windows通过EIP访问安全模式集群Hive。 Windows本地hosts文件存放路径举例:“C:\WINDOWS\syst
-sr,--skip-store-rowcol 可选参数,是否跳过存储Rowkey对应的列,默认会把Rowkey列冗余存储到HBase表中,当Rowkey组合比较复杂时,可避免解析Rowkey,如果需要节省存储占用,可以添加此参数。 -sm,--sampling-multiple <arg>
选择要导入的样例工程 选择以maven工程的形式导入。 图9 以maven工程的形式导入 设置IntelliJ IDEA的文本文件编码格式,解决乱码显示问题。 在IntelliJ IDEA的菜单栏中,选择“File > Settings”。 弹出“Settings”窗口。 在左边导航上选择“Editor
bin/kafka-broker-info.sh --zookeeper 192.168.2.70:2181/kafka Broker_ID IP_Address -------------------------- 1 192.168.2.242 父主题: 使用Kafka
datasource.hive_sync.partition_extractor_class", "org.apache.hudi.hive.MultiPartKeysValueExtractor"). option("hoodie.datasource.hive_sync.table", "hudi_test")
Hue WebUI中Oozie编辑器的时区设置问题 问题 在Hue设置Oozie工作流调度器的时区时,部分时区设置会导致任务提交失败。 回答 部分时区存在适配问题,建议时区选择“Asia/Shanghai”,如图1所示。 图1 时区选择 支持的时区可以参考Oozie WebUI页
过50MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件,压缩文件保留个数可以在Manager界面中配置。 日志归档规则: 表1 Yarn日志列表 日志类型 日志文件名
log。 运行clickhouse-examples的完整样例后,控制台显示部分运行结果如下: 2023-09-19 16:20:48,344 | INFO | main | loadBalancerIPList is 192.168.5.132, loadBalancerHttpPort