heibaiying / bigdata-notes Goto Github PK

kibana不算是日志收集，应该算是可视化平台，日志收集框架可以再加一个filebeat

怎么有两个数据存储？

cdh5 的所有软件都官网下载不到了，老哥，能麻烦提供一下吗？

如题，gitee是正常的

有没有构建文档 ？
还是hub上的代码无法在本地搭建吗 ？

公钥的位置需要设置权限，不然免密登录有问题

sudo chmod 600 ~/.ssh/authorized_keys
sudo chmod 700 ~/.ssh

在Spark部署模式与作业提交.md一文中提到的：

需要注意的是：在集群环境下，application-jar 必须能被集群中所有节点都能访问，可以是 HDFS 上的路径；也可以是本地文件系统路> 径，如果是本地文件系统路径，则要求集群中每一个机器节点上的相同路径都存在该 Jar 包。

如果application-jar指定的是本地文件系统路径，那么spark会不会自动分发jar到每一台机器上。我在跑spark任务的时候，都是把jar上传到一台机器上就可以跑了，所以看到这里不免疑问。

前置的一个文档中，kibana。请问这个也是数据采集的工具吗？

文档中部分Event写成了Evnet

基于Zookeeper搭建Kafka高可用集群，start 报错，

现在有很多新的组件了

基于Zookeeper搭建Kafka高可用集群，start 报错， Client port found: 2181. Client address: localhost. Error contacting service. It is probably not running. 可能的原因之一是版本是要下载***-bin.tar.gz 。

• [ ]
  
  
  
  
  
  
  按照配置好的，然后启动就报错，本人初学Hadoop，大佬指正一下！谢谢

都加载不了

应该是Container叭

最近刚慢慢转向大数据运维，感文章整理的很赞

如题，感觉环境安装这个部分写的比较散，没有一个从上到下的组织方式，比如virtualbox怎么使用去配合等，希望楼主可以详细写下。

学习了，收录这个项目到我的flink-notes里面了
https://github.com/pierre94/flink-notes

能更新些关于hadoop平台的监控和运维吗

希望作者建一个交流群，以供大家一起学习

之前学习过java后端，想学习下java大数据，想问下有相应的课程学习吗

现文章中的图片无法加载

申请一起完善项目，求博主微信

科学上网/翻墙梯子 ChatGPT可用机场

【超值推荐】2023年必备神器，主用机场之一。WgetCloud机场，多线BGP中转+双程CN2高品质线路，不怕高峰期不稳定。这家机场在香港还有自己的机房，超安心。而且，WgetCloud的运营人员在机场行业打拼已有5年，技术可靠无需担心。团队成员还都在海外哦，安全性满分！

【最新技术】WgetCloud机场使用Shadowsocks协议，最近还新增了SSR、V2ray、Trojan协议的支持，各大平台软件对SS协议支持都超友好。同时，支持所有主流的代理订阅格式——Clash、Shadowrocket、Quantumult X、Surge 4。机场还用分组制管理线路节点，单组用户人数满400后就不再增加人数，再加上动态限速，线路稳定到家。

通过下面链接注册新用户全员无门槛8折优惠券：

WgetCloud官网链接

以下为晚高峰测速：

JavaConverters.bufferAsJavaList过时

WordCountMapper 继承自 Mappe 类，这是一个泛型类，定义如下

WordCountMapper 继承自Mapper类，这是一个泛型类，定义如下

/etc/profile

export HBASE_CLASSPATH=usr/app/hadoop-2.6.0-cdh5.15.2/etc/hadoop

export HBASE_CLASSPATH=/usr/app/hadoop-2.6.0-cdh5.15.2/etc/hadoop

hbase-env.sh

export HBASE_CLASSPATH=usr/app/hadoop-2.6.0-cdh5.15.2/etc/hadoop

export HBASE_CLASSPATH=/usr/app/hadoop-2.6.0-cdh5.15.2/etc/hadoop

除了dataLogDir 和dataDir 不同，还有clientPort也不同

为什么那个hadoop的CDH版本不再拥有下载权限了？

四、Flink 集群架构
4.1 核心组件 的任务提交流程图中最右边的应该是TaskManager
如下图