项目长期维护问题

Question

老师，如果我们想在这个项目的基础上继续维护或者迭代下去的话，是否可以？可以的话，服务器的问题您这边有没有好的建议？毕竟在自己本上搞虚机太卡，在阿里云服务器上长期付费也耗费财力

Answer 1

叁金 2020-05-06 23:15:01

继续维护和迭代肯定是完全ok的，课程开发的Naga数据平台实现了基础的功能，但是依然有很多可以扩展、可以丰富的地方，也有很多可能工作的的需求要结合进来。将naga平台的部分功能拆分到工作当中，或者将工作中的部分需求融合进来都是不错的选择。

对于服务器其实我也没有什么好的建议，大数据就是这样，对于硬件资源的需求比较高，而且我们课程所涉及到的组件又比较多。我们采用伪分布式的方式部署测试环境，单台机器搞定这些组件已经在尽量的缩减大家的学习成本了。

如果有可能的话，可以几个人分摊一下~共用一个测试环境。。。你觉得这样靠谱么 ~~

• 提问者 WaniuZhang_ITBoy #1

  可能每个人情况不一样，有的是公司支持在学咱们这个项目。项目扩展性很高，能够有很广泛的应用。我先把项目调通，然后再继续考虑环境问题怎么解决。

• 恒量Qt #2

  叁金老师有没有考虑咱们在此项目基础上做出一个开源项目来，目前其实已经有了骨架，但是需要扩展和优化的地方也还挺多，如今大数据和机器学习，深度学习结合的也很紧密，本课程个人觉得一个遗憾就是缺少机器学习模块和实时数仓(Flink)模块，当然课程本身已经非常良心了，不能要求更多。
  
  目前虽然市面上有很多开源的机器学习库和工具，也有一些宣称端到端，所谓开箱即用的机器学习平台更多的还是半成品，所以实际上要将这些库和工具落地到业务上，对中小型公司来说其实还是挺有难度的。而阿里云，腾讯云，百度云虽然都有自己的企业级机器学习平台，但要指望他们开源几乎也是不现实的，用起来也不便宜。
  
  我觉得大数据和机器学习发展到目前最缺的是一款企业级的机器学习平台，类似于Uber之前发文介绍过的他们内部的机器学习平台“米开朗基罗”，来进一步降低企业拥有大数据处理的能力和数据利用的能力。
  
  如果老师也有类似的想法，其实可以考虑大家一起来做，我平时了解的东西也比较杂，C++/Java/Python/Scala的项目都能写一点，貌似目前火热的大数据和机器学习项目主要用的也是这些语言，前端用React和Vue也做过几个项目，如果考虑做个人也能帮忙打打杂。

• 叁金 回复 恒量Qt #3

  先给大佬一个赞哈。  其实这些事情我也有考虑过，对于实时和机器学习部分目前我的了解也不算多，所以没有包含进来。
  其实要做的东西还是比较多的，比如引入alluxio，引入更多查询引擎，统一数据查询入口，引入iceberg或者hudi等等支持可更新的数仓，构建算法、模型抽象，AI模块等等。
  我也在学习和规划中，后续可以一起交流一下。
  jixin.life#foxmail.com 可以找到我~ #2@