# 1、背景
LDAP认证服务在企业中很常见，我们日常开发的系统很多都需要接入LDAP认证服务。  
但作为开发人员，肯定不会LDAP的管理员，在接入LDAP时，可能会遇到一些问题，和企业的LDAP管理员沟通起来比较麻烦。 
因此，可以现在本地使用docker搭建一个LDAP服务，debug就会更加的方便  



# 2、LDAP搭建和用户管理
## 2.1 环境准备 
docker和docker-compose这两个是必备的，不再多说

## 2.2启动LDAP服务

随便找一个目录，创建docker-compose.yml文件，然后下面的内容
```docker
version: '3'
services:
  ldap:
    image: osixia/openldap:1.5.0
    environment:
      LDAP_ORGANISATION: "My Organization"
      LDAP_DOMAIN: "myorg.com"
      LDAP_ADMIN_PASSWORD: "admin"
    ports:
      - "389:389"
      - "636:636"

  admin:
    image: osixia/phpldapadmin:0.9.0
    environment:
      PHPLDAPADMIN_HTTPS: 'false'
      PHPLDAPADMIN_LDAP_HOSTS: ldap
    ports:
      - "8181:80"
   ```  
   
启动LDAP服务`docker-compose up -d`

## 2.3 登陆LDAP Admin
等待启动完成，浏览器打开`http://localhost:8181/`就可以看到
- 8181端口可以在docker-compose修改

![image.png](https://img.huacai.one/huacai-blog/7b9c701b1353894f919f629e8fcc4037.image.webp)


![image.png](https://img.huacai.one/huacai-blog/10959a124ac3f73596ffd72fbf2c5725.image.webp)

**到这里就要小心了！！！**  

Login DN上`cn=admin,dc=myorg,dc=com`
这个怎么来的，cn=admin，可以理解为用户名是admin
dc=myorg,dc=com，可以理解为docker-compose中的LDAP_DOMAIN: "myorg.com"，拆开的
密码是LDAP_ADMIN_PASSWORD: "admin"，跟cn=admin完全没关系，只是这里恰好相同是admin，可以自己改

![image.png](https://img.huacai.one/huacai-blog/48c81a927af40c631413497ce8fe930d.image.webp)

登录成功

![image.png](https://img.huacai.one/huacai-blog/a3fe321cc510f60b7684157345d2f2fa.image.webp)


## 2.4 组织，用户组，用户管理

### 2.4.1 创建部门
![image.png](https://img.huacai.one/huacai-blog/7e2f275a5d302d22dfd0308e474a8f26.image.webp)



![image.png](https://img.huacai.one/huacai-blog/93fa7faee2f733101af9503400e34618.image.webp)

![image.png](https://img.huacai.one/huacai-blog/f1b54d897afd5c18ed0376d8ddab271d.image.webp)

**创建部门（TestOrg）成功～～**

![image.png](https://img.huacai.one/huacai-blog/bf693a2a2ed0c6971a8a2951d07624a5.image.webp)
### 2.4.2 创建小组


![image.png](https://img.huacai.one/huacai-blog/1a69ff1a361fac1100ead8b8ba400ce5.image.webp)

![image.png](https://img.huacai.one/huacai-blog/cbf6217683ee227f89f13ae8785f2e63.image.webp)


![image.png](https://img.huacai.one/huacai-blog/eac6470b52930107d682bbb457e477c0.image.webp)

![image.png](https://img.huacai.one/huacai-blog/03a03d92aec55074a3f05e1a1b2746a5.image.webp)
**组建小组（AutoTest）成功**

![image.png](https://img.huacai.one/huacai-blog/6c82645450ae8063c58704b9c46a8a85.image.webp)

### 2.4.3 创建用户

![image.png](https://img.huacai.one/huacai-blog/e4282c95485e68f1f977f768c7b4a8ab.image.webp)

![image.png](https://img.huacai.one/huacai-blog/b33f078ec6db0976159c9c0a57e0bd79.image.webp)


![image.png](https://img.huacai.one/huacai-blog/ae6ce52ab4776319c9be1fa1cedc09e6.image.webp)


![image.png](https://img.huacai.one/huacai-blog/1813395194b533b2e39019331800b678.image.webp)

**创建用户（ayo）成功**  
这里cn=ayo为什么会显示两个，我也布吉岛，如果你知道，麻烦评论区告诉我哦

![image.png](https://img.huacai.one/huacai-blog/33a6127ffcaf23bf06e3066b57fe0ff1.image.webp)

Docker搭建LDAP认证服务

# 1、前言
2015年毕业到2022年，整整7年。为啥会这个时间点突然开始学英语？  

很难准确的回答这个问题，不是某个瞬间的决定。  
在入职虾皮之前，就有想过，但最终还是没有行动。  
入职虾皮之后，虽然名义上是外企，但貌似大部分时间也用不到英语。  
直到有一次，需要跟新加坡那边的同事开会，他讲英文，我能大概听到，但完全无法说。  
即使leader救场了，但我依然感到非常的尴尬。  
再度下决心学英语，然而决心归决心，行动又是另一回事。。。  
人呐，天性就是懒惰。  
直到重锤砸下来那一刻。  
嗯，虾皮裁员了，并且我是在裁员名单中
![被裁员了](https://img.huacai.one/huacai-blog/f4dd3d389a9ecf18557a2c89b09a1495.IMG_8441.webp)


# 2、启航
## 2.1 结婚
从虾皮毕业后，回老家办了婚礼，算完成人生中一件大事
![结婚啦](https://img.huacai.one/huacai-blog/10f40bb15e8d093f86225d89f536e186.IMG_8443.webp)

## 2.2 开始行动
短短的半个月内，经历裁员和办婚礼，心情像过山车一样。  
又恰逢国庆假日，在大家开开心心过节时，始终感觉无法真正的开心起来。  
经过多番挣扎，最终做了一个不可思议决定，花2k+买一年的英语课！
当时有很多想法：
- 学英语要花这么多钱，网上免费的教程一大把？
- 一年我能坚持的下来吗？会不会三分钟热度，钱就白费了
- 即使真的坚持下来，真能提升英语水平吗？

## 2.3 鸡血拉满
既然已经买了，那就不管那么多，直接开干吧，先做了再说。
前两个月直接鸡血拉满，几乎天天打卡，并且至少30min。    
（APP有一个奖学金机制，每周打卡5天，一年内水平提升3级，就能拿到超过一半的退款作为奖学金）
![奖学金](https://img.huacai.one/huacai-blog/ebe80c150dc4c253f50e86e2715ed506.IMG_8440.webp)
![鸡血打卡](https://img.huacai.one/huacai-blog/db230596f7e7e037580105fe381e7860.IMG_8438.webp)

## 2.4 逐渐懈怠
可随着入职新公司开始，就逐渐懈怠  
红圈的部分，就是不满足条件的周  
找理由真的太容易，太简单了  
工作忙，要加班，没时间，要见朋友，要玩游戏，要追剧，要刷短视频，等等...
但这样有用吗？毫无疑问，没有
![懈怠两个月](https://img.huacai.one/huacai-blog/157198da330df44d7a4760a71fc96639.IMG_8439.webp)


## 2.5 步入正轨
经历一开始的鸡血拉满，再到两个月后的懈怠  
发现养成一个习惯纯靠意志力坚持是不OK的，还得科学安排时间  
根据我每周往返广深，以及周末综合症等原因  
每周打卡5次做了更加合理的安排：周二，周三，周四，周六，周日打卡
周一休息，因为周一状态真的很一般，上班回来确实需要恢复状态  
周五休息，快到周末了，要放飞自我，心情太激动无法专心学习
通过这波调整，发现效果奇佳  
我居然在接下来的8个月里面，每周都能实现5次打卡，每次30min+  
并且这段时间也包含了被裁员，准备面试，搬家，995，甚至加班到凌晨1点  
2023年国庆前三天免费加班12h等...

![IMG_8444.png](https://img.huacai.one/huacai-blog/c1727ef5080b93a5e807558619334517.IMG_8444.webp)

![IMG_8445.png](https://img.huacai.one/huacai-blog/9d5e04202e3c24de1f49346f521c52e3.IMG_8445.webp)

![IMG_8446.png](https://img.huacai.one/huacai-blog/90ed17b473316510820d62ac514ec7e8.IMG_8446.webp)

![IMG_8448.png](https://img.huacai.one/huacai-blog/b573d0a732dff42b509f661fd3dcc602.IMG_8448.webp)

![IMG_8450.png](https://img.huacai.one/huacai-blog/4baa16de8c91a4c98ecb64125a9d4064.IMG_8450.webp)

# 3、最后
经过了一年的学习，从lv2到lv4  
虽然达不到奖学金的要求，但我个人还是很满意  
至少以后可以多一个吹牛的事件😁

![IMG_8423.png](https://img.huacai.one/huacai-blog/bbe1a95767c1dc4ac0cd465756adff5b.IMG_8423.webp)

如果你也对学英语感兴趣，不要犹豫了，跟我一起来打卡吧！  

![IMG_8454.png](https://img.huacai.one/huacai-blog/d59c51212ddac3d415769ce733be51d9.IMG_8454.webp)

回顾学英语一周年

# 1、用户故事
在使用数据工厂时，只能看到配置的好的数据卡片；  
但并不知道背后执行的逻辑是怎么样的，有时候执行的结果不符合预期时，  
希望可以把当前数据卡片执行的日志返回，方便直接在前端就能排查问题。

![image.png](https://img.huacai.one/huacai-blog/56910650ebeaaee17996a0dd323a5192.image.webp)


# 2、设计和实现
## 2.1 日志持久化

### 2.1.1 定义保存log的模型
在某个app的models下面增加
```python
# models.py
from django.db import models

class LogRecord(models.Model):
    class Meta:
        db_table = "t_log_record"
    request_id = models.CharField(max_length=100, null=True, db_index=True)
    level = models.CharField(max_length=20)
    message = models.TextField(db_index=True)    
```


### 2.2.2 自定义日志处理器
在`settings.py`所在的目录，新建一个模块，比如`log.py`
```python
# log.py

import logging
from xxx.models import LogRecord  # 引入上面定义的LogRecord模型

class DatabaseLogHandler(logging.Handler):
    def emit(self, record: logging.LogRecord) -> None:
        LogRecord.objects.create(
            request_id=record.request_id,
            level=record.levelname,
            message=self.format(record),
        )
```


### 2.2.3 配置Django的logging设置
注意，只是说明如何使用日志自定义handle，不是完整的日志配置。  
也缺少了上面的`request_id`字段，这个需要在formatters中配置。  
使用`request_id`做链路追踪，参考：  
https://blog.huacai.one/post/39

完整日志配置参考：  https://github.com/lihuacai168/AnotherFasterRunner/pull/111/commits/2659df19192c41819813514aac5896d7550c1e5c

```
# settings.py
LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'handlers': {
        'db': {
            'level': 'DEBUG',
            'class': 'your_app_name.handlers.DatabaseLogHandler',  # 指向你的自定义处理器
        },
    },
    'loggers': {
        'django': {
            'handlers': ['db'],
            'level': 'DEBUG',
            'propagate': True,
        },
    },
}


```

## 2.2 接口增加统一返回日志

![image.png](https://img.huacai.one/huacai-blog/8fdf46f433a7fccba8220525cbc1348f.image.webp)
通过中间件返回，具体参考链接  
https://github.com/lihuacai168/django-ninja-demo/blob/92b4f4250e9bb9d42628355698a3e7912cffb04d/core/middleware.py#L27C19-L27C19

# 3、总结
- 日志存储需要依赖统一id，否则无法追踪
- 目前写入日志是同步的，如果写入日志较大，会存在性能问题
- 如果日志直接返回前端，存在安全性问题，敏感信息不要打到日志
- 可增加日志查询接口，实现直接在前端查看日志

![image.png](https://img.huacai.one/huacai-blog/1b261117356c5158658eb8fa8adfb1e9.image.webp)

Django接口返回实时日志

# 1、背景

在日常开发中，日志是问题排查最为常见的手段。  

那么怎么样打日志，才能快速的筛选出来想要的信息呢？

这个时候，需要引入trace_id的概念了。

在每一行日志增加trace_id作为标识符，筛选的时候，只需要通过trace_id来过滤，就能快速筛选出来需要的信息。



# 2、Django增加trace_id

## 2.1 安装依赖

```shell
# 我使用的Django版本是2.2
pip install django-log-request-id~=2.0.0
```
Github地址 https://github.com/dabapps/django-log-request-id


## 2.2 配置

**配置字段有点多，耐心点看完哦**

```python
# settings.py

# 中间件配置
MIDDLEWARE = [
    "log_request_id.middleware.RequestIDMiddleware", # 放在列表的第一个
		 ...
]

# 按照库的文档配置就好，或者直接照抄
LOG_REQUEST_ID_HEADER = "HTTP_X_REQUEST_ID"
GENERATE_REQUEST_ID_IF_NOT_IN_HEADER = True
REQUEST_ID_RESPONSE_HEADER = "TRACE-ID"

# 日志配置
    "formatters": {
        "color": {
            "()": "colorlog.ColoredFormatter",
          # 日志格式，重点是%(request_id)s， 其他按照自己喜好来
            "format": "%(green)s%(asctime)s [%(request_id)s] %(name)s %(log_color)s%(levelname)s [pid:%(process)d] "
            "[%(filename)s->%(funcName)s:%(lineno)s] %(cyan)s%(message)s",
        }
        
    },
      "filters": {
        # 过滤器增加下面这行
        "request_id": {"()": "log_request_id.filters.RequestIDFilter"},
    },
    
      "handlers": {
            "default": {
	     ...
             # handler增加下面这一行
            "filters": ["request_id"],
        },
```



## 2.3 trace_id实战

### 前端展示trace_id
模拟接口500报错，直接把响应header里面的trace_id展示出来。
前端实现也是非常简单，axios拦截器中取出trace_id就行

![image.png](https://img.huacai.one/huacai-blog/c3e1e7f0a859d457f2a7f6bece961a4c.image.webp)

![image.png](https://img.huacai.one/huacai-blog/58ac6fbcfa22a03447b6dcc44c1367e5.image.webp)

![image.png](https://img.huacai.one/huacai-blog/e371e00cf3efba776dedf5198ac3e5b4.image.webp)


### 根据trace_id定位日志
只需要grep一下trace_id，能快速定位到报错信息啦~
`docker logs 容器名 | grep trace_id`

![image.png](https://img.huacai.one/huacai-blog/02b3b4e419b36332d72af7af01cced66.image.webp)

# 3、最后
- 日常开发中，日志要输出关键的入参和出参，方便生产问题排查，而不要依赖本地debug
- Django中间件是个好东西，适合全局性统一处理，无需入侵业务代码
- 日志截图中，邮件告警同样是使用中间件实现，并且也是非常简单

Django增加链路追踪trace_id

# 1、背景
在技术群里面有个讨论，枚举字段是否需要增加索引的问题  
有人说必须要，有人说加了索引没什么用。  
talk is cheap, show me the data.
讨论那么多，还是得先有数据来验证。  
说到这里，你可以先猜猜哪种最快，是储存过程最快的吗？




# 2、建表语句
> 数据库字段使用字符串代替枚举，由程序控制字段的值
 ```sql
create table users
(
    id     int auto_increment
        primary key,
    name   varchar(255) not null,
    age    int          not null,
    gender varchar(10)  not null
);

```
# 3、插入数据对比
## 3.1 存储过程
```sql
CREATE PROCEDURE GenerateData()
             BEGIN
               DECLARE i INT DEFAULT 1;
             
               WHILE i <= 1000000 DO
                 INSERT INTO users (name, age, gender)
                 VALUES (
                   CONCAT('User', i),
                   FLOOR(18 + RAND() * (100 - 18)),
                   CASE
                     WHEN i % 3 = 1 THEN 'male'
                     WHEN i % 3 = 2 THEN 'female'
                     ELSE 'unknown'
                   END
                 );
                 SET i = i + 1;
               END WHILE;
             
             END
 CALL GenerateData();
             
```
## 3.2 python生成insert语句批量提交
```python
import pymysql
import random

# 连接数据库
conn = pymysql.connect(host='localhost',port=3306, user='root', password='root', db='my_database', charset='utf8mb4')
cur = conn.cursor()

try:
    # 开启事务
    conn.begin()

    for i in range(1, 1000001):
        name = f'User{i}'
        age = random.randint(18, 100)
        gender = 'male' if i % 3 == 1 else 'female' if i % 3 == 2 else 'unknown'

        # 执行插入语句
        cur.execute("INSERT INTO users (name, age, gender) VALUES (%s, %s, %s)", (name, age, gender))

    # 提交事务
    conn.commit()
except Exception as e:
    print(f"An error occurred: {e}")
    # 发生错误时回滚
    conn.rollback()
finally:
    # 关闭游标和连接
    cur.close()
    conn.close()
    
```
## 3.3 使用文件导入
### 3.3.1 生成csv文件
```python
import csv
import random

# 生成包含1,000,000条用户记录的CSV文件
with open('users.csv', 'w', newline='') as file:
    writer = csv.writer(file)
    for i in range(1, 1000001):
        name = f'User{i}'
        age = random.randint(18, 100)
        gender = 'male' if i % 3 == 1 else 'female' if i % 3 == 2 else 'unknown'
        writer.writerow([name, age, gender])
        
```

### 3.3.2 导入文件
```sql
# 数据库需要能读取到这个路径，否则会报错
# [2023-07-26 23:08:28] [HY000][13] (conn=151) Can't get stat of '/tmp/users.csv' (Errcode: 2 "No such file or directory")
# 如果使用的容器，需要把宿主机上的文件拷贝到容器
# 下面的例子是把宿主机/local/users.csv 拷贝到容器的根目录/
# docker cp /local/users.csv db-docker-compose-db-1:/


LOAD DATA INFILE '/users.csv'
INTO TABLE users
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
(name, age, gender);

```


如果数据库不在本地，不方便拷贝。可以使用IDEA自带的database导入功能

![image.png](https://img.huacai.one/huacai-blog/1d5d0f000ea3b33999f4f907cc2a8bfa.image.webp)


## 3.4 从已有的表中拷贝
```sql
INSERT INTO user_has_index SELECT * FROM users
```

# 4、耗时对比
## 4.1 文件导入
- 所有字段均无索引
![没有索引](https://img.huacai.one/huacai-blog/1cde43709a489d596a38e870e033c02e.image.webp)

- gender字段有索引
![有索引](https://img.huacai.one/huacai-blog/e63f377145715983c7fbc60dd11edce6.image.webp)

## 4.2 从已有的表中拷贝
![image.png](https://img.huacai.one/huacai-blog/76a589c8031baa0b2cfe6c99e7c3d465.image.webp)

## 4.3 储存过程
![太慢啦，我手动中断，此时有57w左右的数据](https://img.huacai.one/huacai-blog/4574957835582e27b0009b54b7051428.image.webp)

## 4.4 python批量插入
python批量插入（没计算时间，等了也有几分钟，很慢）

# 5、总结
- 存储过程并不是最快的，甚至很慢
- 文件导入是最快的
- 使用Python直接批量insert不可取

你猜对了吗？  
或者还有更快的方案，比如说分批+事务。  
欢迎留言和我交流。