wulei-bj-cn / potatoes Goto Github PK

我希望针对一个spark任务，或者一个spark sql，预测它正确执行所需要的内存的量，来设置执行参数，不知道怎么分析，麻烦给点思路，谢谢

老师，最早使用RDD写Spark的程序时，可以明确的推算出具体哪个算子属于哪个Job的哪个Stage，在遇到一些异常或性能问题的时候，也可以很轻松找到具体是哪一部分代码的问题。
但是使用了DafaFrame或DataSet，以及写SQL的情况下，因为有各种优化及代码生成，导致实际上的stage划分让人很懵逼，对于这个问题，您怎么看？

老师的课很不错，读了好几遍了，还做了分享。

下一部想进一步深入源码，请问老师要怎么精进呢？

如果老师还想开一门课，建议是源码课。

但这个过程会有点长，或者老师能先给我们拎一下，把28节课每节课要看的源码给我们先说一下吗？

想请教下老师，在机器学习方向，对 Spark 源码，计算机原理，数据结构与算法，计算机网络这类常用的工程类知识有要求么？还是只需要掌握相关数学知识，并拥有一定的工程能力即可？

目前 Delta Lake、Hudi、Iceberg 都很火，老师对这部分有了解么？