杜架的技术月刊(202212期)

发表于 更新于 分类于

杜架的技术月刊，主要关注计算机领域，记录本月看到的有价值的信息，主要包含：碎片化思考，阅读笔记分享，开源项目（软件）介绍。内容主题可能有极大的个人喜好偏向，努力做个输出的人，爱我所爱，想我所想，写我所写。

Img

西安.雪

思考

大数据未来发展的趋势在哪里？

在腾讯全球数字生态大会上，腾讯云对这个赛道发展趋势的判断：云原生，数据治理，数智融合，隐私计算。结合自己在公司所接触的情况，我个人比较看重：云原生，数据治理，数智融合 。
云原生
我们公司的技术栈早在 2016 年基本已经全部容器化，redis, mysql,elasticsearch ,kafka 等基础设施早已容易化，但 hadoop 体系却没有容器化，总体感觉大数据体系在云原生化进展特别缓慢，但云原生化带来的收益是很大的，各种云厂商的弹性 MapReduce 也早已在提供服务。
云计算领域非常著名的计算存储分离的架构也慢慢在深入到一些基础设施，该架构也是 kafka 未来最大目标之一。Pulsar 从设计之初就将它列为设计目标之一。
大数据技术本身对硬件资源消耗的要求，对软件运维的要求等各方面，都表明，只有拥抱云原生，大数据才能够避免高门槛，难度大等一系列问题，真正成为所有客户的选择
数据治理
对于这方面，我没有经验，只是在我们内部面临了各种数据层面的问题，数据不可知，数据不可控，数据不可取，数据不可连等等问题，在这个领域也有很多数仓，数据湖(Delta Lake、Iceberg 和 Hudi)，元数据管理等产品。
往往企业向数据化转型的途中，使用数据的同时会涉及到很多痛点，这些痛点可能来源于业务、技术、运维、产品等不同的和数据相关的成员

Img

数智融合
自从深度学习技术发展起来以后，人工智能达到了一个新高度。深度学习离不开大量的计算来产生复杂的模型，同样也离不开大量的数据输入进行训练。可以说人工智能的最新进展，就是算力巨大进步和大数据技术的发展相结合的产物。
这种人工智能和大数据结合产生的智能决策的潜力是巨大的，互联网巨头们比如谷歌，脸书，亚马逊，已经通过这一技术的突破赚得盆满钵满。
最近在做公司的个性化推荐，确实学习到了很多新的思路和方法，深度学习的做法和统计学的做法区别很大，存在一定的不可解释性，这方面值得期待。

笔记

Web3? 专业互联网!

Web3? 专业互联网!

借助互联网，人类首次实现了全种群，全时沟通互联的可能性。

Web1.0 时代的获益者，是早期浏览器和邮件服务，和浏览器之上的门户网站和导航网站，如当时国内的四大门户，改变了一部分人的信息获取方式和生活方式；
Web2.0 时代的获益者，是持续出现的各种生活服务和移动服务，社交，游戏，电商，长视频，短视频，直播等各种服务相继崛起，最终改变了大部分人的生活方式和一部分人的工作方式；
Web3.0 时代才刚刚开始，我们很难知道这个时代的最终胜利者，但是我们知道的是：
这个时代的根基是创造，它的目标是改变大部分人的工作方式，让他们都能成为自身工作的工作的管理人，自身创造的所有人，自己品牌的主理人。

专业互联网是数字时代工作方式演化的推动力，最终帮助互联网用户从消费者变成创造者。

所以，当我们谈论下一代互联网时，我们在谈论什么？是发行和运行在公链上的任何业务么，我认为不是。
下一代互联网，是价值互联网，是协作互联网，是创作互联网。
是专业从业者意识到，所使用的数字工具，能够成为自己获得应有权利的此时此刻，和投身于创作中的每时每刻。
而只有能让所有人都能投身其中的互联网，它才能真正被称为，Web3.0，下一代互联网。

放弃写代码吧，技术 leader

放弃写代码吧，技术 leader 们……

程序员的发展路线：

  • 程序员->技术组长->技术专家->领域技术专家
  • 程序员->技术组长->技术经理->技术总监->CTO

Img

选择了技术总监的路线，那就要放弃纯粹的代码技术，拥抱更复杂的业务技术，创造更多的价值。

技术负责人需要考虑两点：

  • 成本中心

技术负责人最重要的工作是让其他 CXO 理解、认可并且支持技术部的工作，否则作为成本部门， 在公司的地位会很低。时刻考虑到降本增效。

  • 技术创新

光是让其他部门理解还不行，技术还需要创造价值，所以需要做技术创新。

技术经理与技术总监主要区别：

  • 总监开始涉及资源分配问题；
  • 总监需要处理的场景更加复杂。
  • 总监需要做团队接下来的目标设计；经理更多关注下派任务；
  • 总监需要做团队梯队建设；经理更多关注自身能力提升；
  • 总监需要向上管理拿资源、分配资源；经理更多关注具体任务资源够不够
  • 总监需要开始尝试使用机制流程解决全局问题；经理更多关注具体问题的处理；

作为技术人，想要技术成长，时刻关注以下问题，可以提高我们的层次和认知：

  • 迭代速度真的不能再快了？
  • 工程、技术重构类项目的价值阐述？
  • 如何降本增效？
  • 如何在高管会上说人话，如何让其他部门不会认为我们是工具人？
  • 在高管会上，除了这个 BUG 我下去处理以及资源问题我去想办法外，还有什么可以聊的？
  • 可不可以在不写需求的情况下完成项目？
  • 技术团队的产出如何量化？
  • 技术部的话语权如何提升？

作为技术负责人，不应该跟下面同学抢活干，多去解决一些硬骨头的事。

推荐文章

  1. 放弃写代码吧，技术 leader 们……

开源项目（软件）

tldr-pages

https://github.com/tldr-pages/tldr

Img


tldr-pages 项目是社区维护的命令行工具帮助页的集合，旨在成为对传统手册页的更简单、更易于使用的补充。简而言之：速查表
在工作中经常要用很多命令，要么记录在一个地方，要么经常去 google，效率很差。有这么个工具就可以把自己的一些工作中命令记录下来，然后查询出来，总体来说，对命令友好。
类似的还有一些编程语言类，通过 web 方式查询。
https://github.com/Fechin/reference
https://github.com/jaywcjlove/reference

Img

说明

月刊相关信息：

🙌 如果你阅读到这里，相信我们一定是同道中人，有任何想法，欢迎私聊我，微信号：trumandu007。
⚡️ 如果你也是在西安地区从事 IT 相关工作，欢迎私信加入我建的 『西安 IT 技术圈』微信群,我们是一个什么样的群体？ 为什么要做『西安 IT 技术圈』。
👬🏻 朋友，都看到这了，确定不关注一下么 👇

trumandu_wechat_2022.png

参考资料

  1. Web3? 专业互联网!
  2. 放弃写代码吧，技术 leader 们……