airflow 的入门经验

安装 airflow

升级 docker 与 docker-compose 版本

Install Docker Compose v2.14.0 or newer on your workstation.

这里记录一下我在 ubuntu 里升级方法。
首先升级相应的 docker 版本

1
2

apt-get update
apt upgrade docker-ce

由于 ubuntu 镜像源较旧，无法更新到最新版 docker-compose，接下来手动升级 docker-compose。
在手动升级之前，要确保 docker-ce 支持的最高 docker-compose版本。

手动在https://github.com/docker/compose/releases下载 docker-compose 安装包。

首先找到 docker-compose 地址

1
2

root@lab:/# which docker-compose
/usr/bin/docker-compose

用下载的文件替换如上文件即可。

杜架的记录与分享(004 期)

杜架的记录与分享，记录与思考有价值的信息，主要包含：碎片化思考，阅读笔记分享，开源项目（软件）介绍。内容主题可能有极大的个人喜好偏向，努力做个输出的人，爱我所爱，想我所想，写我所写。

从 004 开始，源于最早的《杜架的技术月刊》只写了 3 期，由于懒惰就没继续写了，现在想想月刊和周刊都有心理负担，索性想写就写，名称也改为《杜架的记录与分享》，就当记录与思考有价值信息的笔记吧

思考

我认为最有价值的 AI 大模型应用

一个是胃之书 AI，大语言模型 AI 饮食记录员，拍张照片就可以分析食物背后的故事，这个应用我是没有想到的，以此发散思维，LLM 也可以应用在个人记账的场景中。

另一个是可辅助盲人「看见世界」，借助 LLM,TTS 等技术可以让盲人看见世界。

之所以说这两个有价值，和烂大街的 AI 应用相比，确实是我没想到的。

本文案例为 sql server,其他数据源切换为相应的驱动即可。

依赖

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

<dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>mybatis-plus-boot-starter</artifactId>
            <version>3.5.5</version>
            <exclusions>
                <exclusion>
                    <groupId>com.github.jsqlparser</groupId>
                    <artifactId>jsqlparser</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>dynamic-datasource-spring-boot-starter</artifactId>
            <version>4.3.0</version>
        </dependency>
        <dependency>
            <groupId>com.microsoft.sqlserver</groupId>
            <artifactId>mssql-jdbc</artifactId>
            <scope>runtime</scope>
        </dependency>

配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

# mybatis
mybatis-plus:
  mapper-locations: classpath:/mapper/*.xml

spring.datasource:
  dynamic:
    primary: db1
    datasource:
      db1:
        url: jdbc:sqlserver://****;
        username: ****
        password: ****
      db2:
        url: jdbc:sqlserver://****;
        username: ****
        password: ****

代码

xml 文件省略，保持和 mybatis 一样即可，代码使用上只用在 Mapper 或者 DAO 文件上使用@DS声明即可。

1
2
3
4
5
6

@Mapper
@DS("db2")
public interface BehaviorEmailDao extends BaseMapper<BehaviorEmail> {

    Set<String> getSendRecordByDate(@Param("lastDate") String lastDate);
}

默认主库为 db1,因此操作 db1 的接口可不用声明。

构建环境

CUDA 版本

经过测试，Llama-3 只有在 CUDA 新版下才可以运行，CUDA Version: 12.4 验证通过。

代理

在公司内网环境，往往需要代理才能下载模型文件。我这里使用 session 模式下全局。
~/.bash.rc

1
2

export HTTP_PROXY="http://*.*.*.*:*"
export HTTPS_PROXY="http://*.*.*.*:*"

安装依赖

1
2
3
4
5

pip install fastapi==0.110.2
pip install uvicorn==0.29.0
pip install requests==2.31.0
pip install transformers==4.40.0
pip install accelerate==0.29.3

Meta-Llama-3-8B-Instruct vs Meta-Llama-3-8B

llama3-8B 是基本模型，基本上只完成输入提示，但 llama3-8B Instruct 针对指令跟随和多轮对话模板进行了微调，用于助理完成作为聊天响应。

如果你的特定目的是为了聊天完成，那么指令是最好的选择，否则如果它是为了简单的输入完成，那么基本模型就可以了

最近想使用一下 llama3，发现 pytorch 版本低不支持，升级 pytorch 版本就需要升级 cuda 版本，升级 cuda 版本需要提前升级 nvidia 驱动版本。

升级 nvidia 驱动版本

卸载驱动

1
2

sudo apt-get purge nvidia-*
sudo apt-get autoremove

https://www.nvidia.com/Download/driverResults.aspx/224022/en-us/
下载驱动并安装

1

sudo sh NVIDIA-Linux-x86_64-550.76.run

还有 1 天就过农历年了，2023 也就永远的离我们而去，我想在农历新年前抓住最后的影子，回顾一下我这一年我想记录的工作与生活。今年是写年终总结的第 3 年，回看过去的两年，内心唏嘘。

• 2022 年终总结
• 2021 年终总结

我想给 2023 年一个关键词：开心。

虽然病痛折磨了三个月，我依然在坚强的抗争，但我相信免疫力终究会战胜病魔。开心的原因是我有老婆了，想到这个嘴角就会上扬。她虽然很烦人，很气人，脾气差，但不妨碍我爱她，不妨碍我开心的笑，不妨碍我喜欢她笑，我也是那个有老婆的人。

工作

工作少了些许忙碌，多了一些迷茫，大环境不好，公司业绩很差，多了很多别离，剩余的我们还在。说的出来的项目有三个：

1. AI Shopping
2. Behavior Email
3. Intent Email

相较以前的工作有两点变化：一个是 AI,一个是贴近 Email Marking 业务。AI 是 2023 最火领域，看了一些书和课程，了解了它的机制，但这条路确实还很难走，2024 还要继续加强这方面的投入和学习。

在日常项目开发中活用设计模式，有时候可以做到事半功倍效果，提高代码设计的扩展性。在这篇文章中列举一些我在产线 spring 项目中，真实使用到的设计模式。由于 spring 框架的使用特殊性，我们必须对原生设计模式代码做一定的调整，做到活学活用。

策略模式

业务场景：

我们有一个系统，event hub，主要用来接受各种平台发来的事件，进而告警和管控。每个系统发来的事件不同，对于不同系统，每个系统我们都需要写一个解析器，最原始最直接的代码是各种 if else if，但扩展性和封装性都很差。

要解决这种 if…else if 场景，可以考虑使用策略模式。

代码

首先定义一个接口EventHandler

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

public interface EventHandler {
    /**
     * 获取type 类型
     *
     * @return
     */
    String getType();

    /**
     * 对事件进行加工处理
     *
     * @param event
     * @return
     */
    JSONObject handleEvent(JSONObject event);
}

实现不同系统的处理器，通过实现 EventHandler 接口，可以扩展更多系统，大大增强了系统的扩展性。这里举两个例子：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

@Component
public class GrafanaEventHandler implements EventHandler {
    @Override
    public String getType() {
        return "grafanaAlert";
    }
    @Override
    public JSONObject handleEvent(JSONObject event) {
        //省略其他处理逻辑
    }
}
@Component
public class prometheusEventHandler implements EventHandler {
    @Override
    public String getType() {
        return "prometheusAlert";
    }
    @Override
    public JSONObject handleEvent(JSONObject event) {
        //省略其他处理逻辑
    }
}

在系统中调用生成的各种处理器

data stream 允许跨多个仅追加的时间序列索引，同时为请求提供单个命名资源。数据流非常适合日志、事件、指标和其他持续生成的数据。

为什么需要 data stream?

单纯 ILM 方案管理时间序列索引较繁琐，需要使用别名，多次操作。使用 data stream 可以简化操作

适合场景

数据流非常适合日志、事件、指标和其他持续生成的数据。

符合如下特点：

• 数据极少更新
• 时间序列数据

Side Project 项目之 toolkit

最近生了一场病，持续了一个多月，身体渐渐恢复，多次想提笔写点什么，许久没有动笔，不知从何开始。偶然间看到去年写的两篇《关于 Side Project 的思考和想法》和《从 0 到 1 做产品，独立开发者初探之路》文章挺受人欢迎的，索性就动笔写一下最近在病中写完的一个小的个人软件Toolkit，专为程序员设计的极简、插件化的工具集！。

缘由

之前看到过两款软件：utools 和 rubick，研究了一下，发现他们都是 electron 写的，比较好奇怎么实现插件化，索性就给自己写个，将自己常用的工具插件化，定位为程序员的插件化工具集。

相似竞品

1. rubick
2. utools
3. DevToys
4. it-tools

产品设计

界面设计

正常页面面板点击后打开各类工具，通过搜索框快速搜索出想要的工具

好久没有写 java 代码了，持续更新一下自己的脚手架项目smart-spring-boot-project，发现有个更佳的实践，将脚手架以 jar 发布，脚手架项目以后升级版本就好了。

没有用中央仓库发布过 jar，听说也是比较麻烦，看到可以用 github 来实现，索性就来摸索一下。

简单看了一下发现有两种方式：

• GitHub Packages registry
• Github Repository 作为 Maven 仓库

接下来分别试试看。