# 1.背景

在接口测试时,绝大部分的响应都json格式,json的取值就一定绕不过jsonpath.  
某天,就在技术群讨论了jsonpath相关的问题.  
讨论归讨论,结果最终还是的看实际代码怎么样.  
接下来,将会实测python中几个常用jsonpath库(`jsonpath,jsonpath-ng,jmespath,gjson`)性能到底如何 

![image.png](https://img.huacai.one/huacai-blog/fdda1c01b401b6fb58290fa32b446154.image.webp)

# 2.耗时和内存测试

## 2.1 运行1次的耗时和内存
```shell
/Users/rikasai/.virtualenvs/jsonpath_compare/bin/python /Users/rikasai/code/python/jsonpath_compare/main.py 
test_jsonpath 总耗时: 0.002014 秒
test_jsonpath 使用了 0.038136 MB 内存，峰值为 0.039424 MB

test_gjson 总耗时: 0.001517 秒
test_gjson 使用了 0.023019 MB 内存，峰值为 0.028319 MB

test_jsonpath_ng 总耗时: 0.027746 秒
test_jsonpath_ng 使用了 0.2931 MB 内存，峰值为 0.323259 MB

test_jmespath 总耗时: 0.000571 秒
test_jmespath 使用了 0.022307 MB 内存，峰值为 0.025619 MB
```
运行一次的结果大概已经能看到jsonpath_ng,不管内存占用还是耗时都是跟另外三个相差甚远  

## 2.2 运行1000次的耗时和内存
```shell
/Users/rikasai/.virtualenvs/jsonpath_compare/bin/python /Users/rikasai/code/python/jsonpath_compare/main.py 
test_jsonpath 总耗时: 0.126801 秒
test_jsonpath 使用了 0.218614 MB 内存，峰值为 2.219974 MB

test_gjson 总耗时: 0.264562 秒
test_gjson 使用了 0.108182 MB 内存，峰值为 2.135345 MB

test_jsonpath_ng 总耗时: 17.054877 秒
test_jsonpath_ng 使用了 3.061619 MB 内存，峰值为 6.086255 MB

test_jmespath 总耗时: 0.137950 秒
test_jmespath 使用了 0.137203 MB 内存，峰值为 1.973523 MB
```
1次可能说明不了问题,运行1000次, 跟运行1次时结果是类似.  
可以看到jsonpath_ng相比另外三个要,耗时和内存占用都是非常离谱,完全不应该放在一起比较那种  
另外三个jmespath,jsonpath,gjson不相伯仲  

# 3.性能分析

## 3.1 cProfile对比
下面分别对比这四个库,json执行一次jsonpath取值,涉及函数调用次数和原始调用耗时  
完整的调用统计非常多,只放出调用次数较多的部分,按照调用次数到序排序  
### 3.1.1 jsonpath

> 在cProfile的输出中，ncalls列表示函数被调用的次数。看到219/196这意味着函数被递归地调用了。  
> 第一个数字219表示函数被调用的总次数。  
> 第二个数字196表示函数被非递归地调用的次数。
```shell
/Users/rikasai/.virtualenvs/jsonpath_compare/bin/python /Users/rikasai/code/python/jsonpath_compare/main.py 
         1417 function calls (1350 primitive calls) in 0.001 seconds

   Ordered by: call count

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
      251    0.000    0.000    0.000    0.000 {method 'append' of 'list' objects}
  219/196    0.000    0.000    0.000    0.000 {built-in method builtins.len}
      160    0.000    0.000    0.000    0.000 {built-in method builtins.isinstance}
      119    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:164(__getitem__)
       61    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:233(__next)
       56    0.000    0.000    0.000    0.000 {built-in method builtins.min}
       50    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:160(__len__)
       46    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:254(get)
       33    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:172(append)
       33    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:249(match)
       25    0.000    0.000    0.000    0.000 {built-in method builtins.ord}
     24/8    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:174(getwidth)
```
### 3.1.2 gjson
```shell
         1167 function calls (1088 primitive calls) in 0.001 seconds

   Ordered by: call count

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
      176    0.000    0.000    0.000    0.000 {method 'append' of 'list' objects}
  164/146    0.000    0.000    0.000    0.000 {built-in method builtins.len}
      127    0.000    0.000    0.000    0.000 {built-in method builtins.isinstance}
       59    0.000    0.000    0.000    0.000 {method 'startswith' of 'str' objects}
       52    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:164(__getitem__)
       42    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:233(__next)
       34    0.000    0.000    0.000    0.000 {built-in method builtins.min}
       27    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:254(get)
       26    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:160(__len__)
       26    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:249(match)
```
### 3.1.3 jsonpath_ng
```shell
 24933 function calls (24438 primitive calls) in 0.013 seconds

   Ordered by: call count

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
     3668    0.000    0.000    0.000    0.000 {method 'get' of 'dict' objects}
     3634    0.000    0.000    0.000    0.000 {method 'append' of 'list' objects}
     2528    0.000    0.000    0.000    0.000 {built-in method builtins.id}
     2241    0.000    0.000    0.000    0.000 {built-in method builtins.getattr}
1623/1420    0.000    0.000    0.000    0.000 {built-in method builtins.len}
      984    0.001    0.000    0.002    0.000 /Users/rikasai/.virtualenvs/jsonpath_compare/lib/python3.9/site-packages/ply/yacc.py:2165(lr0_goto)
      897    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:233(__next)
      850    0.000    0.000    0.000    0.000 {built-in method builtins.isinstance}
      795    0.000    0.000    0.000    0.000 /Users/rikasai/.virtualenvs/jsonpath_compare/lib/python3.9/site-packages/ply/yacc.py:127(__getattribute__)
      795    0.000    0.000    0.000    0.000 /Users/rikasai/.virtualenvs/jsonpath_compare/lib/python3.9/site-packages/ply/yacc.py:130(__call__)
      622    0.000    0.000    0.000    0.000 {method 'match' of 're.Pattern' objects}
      386    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:164(__getitem__)
      299    0.000    0.000    0.000    0.000 {built-in method builtins.min}
```

### 3.1.4 jmespath
```shell
163 function calls (154 primitive calls) in 0.000 seconds

   Ordered by: call count

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
       28    0.000    0.000    0.000    0.000 /Users/rikasai/.virtualenvs/jsonpath_compare/lib/python3.9/site-packages/jmespath/lexer.py:129(_next)
       14    0.000    0.000    0.000    0.000 /Users/rikasai/.virtualenvs/jsonpath_compare/lib/python3.9/site-packages/jmespath/parser.py:463(_current_token)
       12    0.000    0.000    0.000    0.000 /Users/rikasai/.virtualenvs/jsonpath_compare/lib/python3.9/site-packages/jmespath/lexer.py:26(tokenize)
       11    0.000    0.000    0.000    0.000 {method 'get' of 'dict' objects}
       11    0.000    0.000    0.000    0.000 {built-in method builtins.getattr}
       10    0.000    0.000    0.000    0.000 /Users/rikasai/.virtualenvs/jsonpath_compare/lib/python3.9/site-packages/jmespath/parser.py:460(_advance)
      8/1    0.000    0.000    0.000    0.000 /Users/rikasai/.virtualenvs/jsonpath_compare/lib/python3.9/site-packages/jmespath/visitor.py:87(visit)
        6    0.000    0.000    0.000    0.000 {built-in method builtins.len}
        6    0.000    0.000    0.000    0.000 /Users/rikasai/.virtualenvs/jsonpath_compare/lib/python3.9/site-packages/jmespath/parser.py:469(_lookahead_token)
        4    0.000    0.000    0.000    0.000 /Users/rikasai/.virtualenvs/jsonpath_compare/lib/python3.9/site-packages/jmespath/parser.py:466(_lookahead)
      3/1    0.000    0.000    0.000    0.000 /Users/rikasai/.virtualenvs/jsonpath_compare/lib/python3.9/site-packages/jmespath/parser.py:118(_expression)
```

### 3.1.5 cProfile结论
cProfile结果和上面的耗时和结果大体是吻合的  
很明显的看到jsonpath_ng取值一次居然涉及到了24933次函数调用   
而jsonpath和gjson都是一千多次,jmespath最好,仅仅需要163次,遥遥领先!  

还是有一个疑惑,上面1000次耗时和内存测试,发现jmespath,jsonpath,gjson是不相伯仲的  
但jmespath函数调用确实比另外两个相差了至少1000次,结果似乎对不上  

把运行次数拉大到10000次,结果就很明显了,确实是jmespath更强

```shell
test_jsonpath 总耗时: 1.746682 秒
test_jsonpath 使用了 0.210114 MB 内存，峰值为 19.831589 MB

test_gjson 总耗时: 2.730377 秒
test_gjson 使用了 0.184749 MB 内存，峰值为 18.914425 MB

test_jmespath 总耗时: 1.194248 秒
test_jmespath 使用了 0.127859 MB 内存，峰值为 18.852175 MB
```
> 为什么这里jsonpath_ng没有10000次的测试结果,因为太消耗时间了,被我手动终止...

## 3.2 火焰图
四个库同时运行1000次,因为jsonpath_ng占用时间太大了  
可以看到,大部分的耗时都是在这个函数`parse_token_stream（isonpath_ng/parser.py:47）`  
如果需要优化,可以从这个地方着手
![image.png](https://img.huacai.one/huacai-blog/c5714b3a8a0ec2a9c0479264b524d139.image.webp)


# 4.总结

通过以上的测试和分析，我们可以得出以下结论：

1. 在耗时和内存占用方面，`jsonpath-ng`的表现是最差的，与其它三个库相比，无论是运行1次还是1000次，`jsonpath-ng`的耗时和内存占用都是最高的。因此，在性能要求较高的场景下，`jsonpath-ng`不是一个好的选择。

2. `jmespath`在运行1次和1000次的耗时和内存占用都表现较好，且cProfile的结果显示`jmespath`的函数调用次数也是最少的，因此，`jmespath`是性能最好的一个选项。

3. `jsonpath`和`gjson`在耗时和内存占用方面表现相近，且都优于`jsonpath-ng`。在函数调用次数方面，`jsonpath`和`gjson`也相近，但略多于`jmespath`。

综上所述，如果你在寻找一个性能优越的jsonpath库，`jmespath`是最佳选择。而`jsonpath`和`gjson`则是性能较为中等的选项，`jsonpath-ng`则是最不推荐的选项。

# 5.附录
本次测试的所有代码和用到的数据都会可以直接在我的GitHub仓库看到
https://github.com/lihuacai168/jsonpath_compare

python JSONPath性能对比

# 1、背景
在公司中，一般都会有LDAP认证，我们开发的效能平台如果单独设置一套用户认证体系，那样会很不方便。  
因此，效能平台想要获得更好的用户体验，就需要在接入公司现在有的LDAP用户认证。



# 2、Django接入LDAP认证

拿我的开源项目举例子，后端使用的框架是Django，已经有现成的LDAP库，直接集成即可，不需要造轮子。  
下面是具体的步骤

## 2.1 安装django-ldap-auth
`pip install django-auth-ldap==2.3.0`  

**一定要指定版本，否则可能会出现不兼容的情况**   
我使用的Django2.2，所以最多能支持的版本是2.3.0  
具体的版本兼容查看这里
https://django-auth-ldap.readthedocs.io/en/latest/changes.html#id4

## 2.2 Settings配置LDAP

在Django的配置文件最底部加上这个即可

```py
# settings.py

# LDAP配置
import ldap
from django_auth_ldap.config import LDAPSearch

AUTHENTICATION_BACKENDS = (
    'django_auth_ldap.backend.LDAPBackend',
)

USE_LDAP = False # 如果需要开启LDAP认证，就设置位True
AUTH_LDAP_SERVER_URI = "ldap://localhost:389" # LDAP服务器地址，默认端口389

AUTH_LDAP_BIND_DN = "cn=admin,dc=myorg,dc=com" # LDAP管理员账号
AUTH_LDAP_BIND_PASSWORD = "admin" # LDAP管理员密码
AUTH_LDAP_USER_SEARCH = LDAPSearch(
    "ou=Tester,dc=myorg,dc=com",
    ldap.SCOPE_SUBTREE,
    "(uid=%(user)s)",
) # LDAP搜索账号，ou可以理解为组织单位或者部门，不填写也是ok，dc可以理解为域名

AUTH_LDAP_USER_ATTR_MAP = {
    "username": "uid",
    "first_name": "givenName",
    "last_name": "sn",
    "email": "mail",
} # 不配置也可以

```

## 2.3 登录接口中使用LDAP认证

整体逻辑是：
判断settings的USE_LDAP是否为真，为真就走LDAP认证
LDAP认证成功，就会设置local_user，然后返回jwt token
LDAP认证不成功，走本地认证，认证成功就返回jwt token
最终两个都不成功，就会返回登录失败

```py
# views.py
import logging
from typing import Optional

from django.conf import settings
from django.contrib.auth import authenticate, get_user_model
from django.contrib.auth.hashers import check_password, make_password
from drf_yasg.utils import swagger_auto_schema
from rest_framework.response import Response
from rest_framework.views import APIView



def ldap_auth(username: str, password: str) -> Optional[User]:
    ldap_user = authenticate(username=username, password=password)
    if ldap_user and ldap_user.backend == "django_auth_ldap.backend.LDAPBackend":
        logger.info(f"LDAP authentication successful for {username}")
        local_user: User = User.objects.filter(username=username).first()
        if local_user:
            local_user.password = make_password(password)
            local_user.save(update_fields=["password"])
            logger.info(f"ldap认证通过，更新本地用户密码: {username}")
        return local_user
    logger.info(f"LDAP authentication failed for {username}")
    return None


def local_auth(username: str, password: str) -> Optional[User]:
    local_user = User.objects.filter(username=username).first()
    if not local_user:
        logger.warning(f"Local user does not exist: {username}")
        return None
    if local_user.is_active == 0:
        logger.warning(f"Local user is blocked: {username}")
        return None
    if not check_password(password, local_user.password):
        logger.warning(f"Local authentication failed: {username}")
        return None
    return local_user


def generate_token_and_respond(local_user: User):
    jwt_payload_handler = api_settings.JWT_PAYLOAD_HANDLER
    jwt_encode_handler = api_settings.JWT_ENCODE_HANDLER
    payload = jwt_payload_handler(local_user)
    token = jwt_encode_handler(payload)
    response.LOGIN_SUCCESS["token"] = token
    response.LOGIN_SUCCESS["user"] = local_user.username
    response.LOGIN_SUCCESS["is_superuser"] = local_user.is_superuser
    response.LOGIN_SUCCESS["show_hosts"] = local_user.show_hosts
    return Response(response.LOGIN_SUCCESS)



class LoginView(APIView):
    """
    登陆视图，用户名与密码匹配返回token
    """

    authentication_classes = ()
    permission_classes = ()

    @swagger_auto_schema(request_body=UserLoginSerializer)
    def post(self, request):
        serializer = UserLoginSerializer(data=request.data)

        if serializer.is_valid():
            username: str = serializer.validated_data["username"]
            password: str = serializer.validated_data["password"]
            masked_password = f"{password[0]}{'*' * (len(password) - 2)}{password[-1]}"
            logger.info(f"Received login request for {username=}, password={masked_password}")

            local_user = None
            if settings.USE_LDAP:
                logger.info(f"Attempting LDAP authentication for {username=}")
                local_user = ldap_auth(username, password)

            if not local_user:
                logger.info(
                    f"LDAP authentication failed or not enabled, falling back to local authentication for {username=}")
                local_user = local_auth(username, password)

            if local_user:
                logger.info(f"Authentication successful for {username=}")
                return generate_token_and_respond(local_user)
            else:
                logger.info(f"Authentication failed for {username=}")
                return Response(response.LOGIN_FAILED)
        else:
            return Response(serializer.errors)
 ```
 
 ## 2.4 LDAP认证测试
 LDAP服务端配置如下：
 - 有一个公司myorg.com
 - 有一个部门TestORg
 - TestOrg部门有一个小组AutoTest
 - AutoTest下面有一个用户ayo，密码是123456
 
![image.png](https://img.huacai.one/huacai-blog/9bd3451bb0b4562fdcd6231bc9251967.image.webp)
 ### 2.4.1 LDAP认证成功
 ```shell
 2023-10-22 20:53:28,812 [e66bf977a7e146b68996c5aa164c55d6] fastuser.views INFO [pid:57614] [views.py->post:116] Received login request for username='ayo', password=1****6
2023-10-22 20:53:28,818 [e66bf977a7e146b68996c5aa164c55d6] fastuser.views INFO [pid:57614] [views.py->post:120] Attempting LDAP authentication for username='ayo'
2023-10-22 20:53:28,831 [e66bf977a7e146b68996c5aa164c55d6] django_auth_ldap WARNING [pid:57614] [backend.py->_populate_user_from_attributes:653] cn=ayo,cn=autotest,ou=testorg,dc=myorg,dc=com does not have a value for the attribute givenName
2023-10-22 20:53:28,833 [e66bf977a7e146b68996c5aa164c55d6] django_auth_ldap WARNING [pid:57614] [backend.py->_populate_user_from_attributes:653] cn=ayo,cn=autotest,ou=testorg,dc=myorg,dc=com does not have a value for the attribute mail
2023-10-22 20:53:28,836 [e66bf977a7e146b68996c5aa164c55d6] fastuser.views INFO [pid:57614] [views.py->ldap_auth:63] LDAP authentication successful for ayo
2023-10-22 20:53:28,930 [e66bf977a7e146b68996c5aa164c55d6] fastuser.views INFO [pid:57614] [views.py->ldap_auth:68] ldap认证通过，更新本地用户密码: ayo
2023-10-22 20:53:28,932 [e66bf977a7e146b68996c5aa164c55d6] fastuser.views INFO [pid:57614] [views.py->post:129] Authentication successful for username='ayo'
2023-10-22 20:53:28,942 [e66bf977a7e146b68996c5aa164c55d6] django.server INFO [pid:57614] [basehttp.py->log_message:154] "POST /api/user/login/ HTTP/1.1" 200 264
 ```
 
![image.png](https://img.huacai.one/huacai-blog/ea1b05fbf0a461e3ac81d1fce69f09db.image.webp)
 ### 2.4.2 LDAP认证失败，走本地认证成功
 ```shell
2023-10-22 20:50:17,208 [120eabbc698741198c2c068179e7294b] fastuser.views INFO [pid:54892] [views.py->post:116] Received login request for username='huacai', password=1****6
2023-10-22 20:50:17,216 [120eabbc698741198c2c068179e7294b] fastuser.views INFO [pid:54892] [views.py->post:120] Attempting LDAP authentication for username='huacai'
2023-10-22 20:50:17,224 [120eabbc698741198c2c068179e7294b] django_auth_ldap ERROR [pid:54892] [config.py->execute:152] search_s('ou=Tester,dc=myorg,dc=com', 2, '(uid=huacai)') raised NO_SUCH_OBJECT({'msgtype': 101, 'msgid': 2, 'result': 32, 'desc': 'No such object', 'ctrls': [], 'matched': 'dc=myorg,dc=com'})
2023-10-22 20:50:17,228 [120eabbc698741198c2c068179e7294b] fastuser.views INFO [pid:54892] [views.py->ldap_auth:70] LDAP authentication failed for huacai
2023-10-22 20:50:17,230 [120eabbc698741198c2c068179e7294b] fastuser.views INFO [pid:54892] [views.py->post:124] LDAP authentication failed or not enabled, falling back to local authentication for username='huacai'
2023-10-22 20:50:17,322 [120eabbc698741198c2c068179e7294b] fastuser.views INFO [pid:54892] [views.py->post:129] Authentication successful for username='huacai'
2023-10-22 20:50:17,339 [120eabbc698741198c2c068179e7294b] django.server INFO [pid:54892] [basehttp.py->log_message:154] "POST /api/user/login/ HTTP/1.1" 200 284
 ```
![image.png](https://img.huacai.one/huacai-blog/aa39dbf53c2c0c2141b7df5dd9e8989e.image.webp)

### 2.4.3 LDAP和本地都认证失败
```shell
2023-10-22 21:02:09,705 [f65679ab9b75405daeeb06e0fd6cf7bb] fastuser.views INFO [pid:57614] [views.py->post:116] Received login request for username='huacai', password=1*******9
2023-10-22 21:02:09,711 [f65679ab9b75405daeeb06e0fd6cf7bb] fastuser.views INFO [pid:57614] [views.py->post:120] Attempting LDAP authentication for username='huacai'
2023-10-22 21:02:09,717 [f65679ab9b75405daeeb06e0fd6cf7bb] fastuser.views INFO [pid:57614] [views.py->ldap_auth:70] LDAP authentication failed for huacai
2023-10-22 21:02:09,719 [f65679ab9b75405daeeb06e0fd6cf7bb] fastuser.views INFO [pid:57614] [views.py->post:124] LDAP authentication failed or not enabled, falling back to local authentication for username='huacai'
2023-10-22 21:02:09,812 [f65679ab9b75405daeeb06e0fd6cf7bb] fastuser.views WARNING [pid:57614] [views.py->local_auth:83] Local authentication failed: huacai
2023-10-22 21:02:09,814 [f65679ab9b75405daeeb06e0fd6cf7bb] fastuser.views INFO [pid:57614] [views.py->post:132] Authentication failed for username='huacai'
2023-10-22 21:02:09,820 [f65679ab9b75405daeeb06e0fd6cf7bb] django.server INFO [pid:57614] [basehttp.py->log_message:154] "POST /api/user/login/ HTTP/1.1" 200 64
```

![image.png](https://img.huacai.one/huacai-blog/b8bca6aea17dd6acb4c0a68b387749cd.image.webp)
 

# 3、Docker安装python-ldap失败
在本地验证通过之后，推送到GitHub，但结果action构建失败了。  
一看报错，大概是缺少了某个lib（libldap2-dev libsasl2-dev）  
把log粘贴过来给gpt，一下子就够搞定，太爽啦！！！

![image.png](https://img.huacai.one/huacai-blog/53949648205b26cb01c3c860e9ecae55.image.webp)

# 4、总结
- Django接入LDAP很简单，只需加上对应配置后，再调用LDAP认证即可
- 在docker中，安装python-ldap需要额外的依赖

文章全部代码在以下两个Pull Request：  
- Django接入LDAP https://github.com/lihuacai168/AnotherFasterRunner/pull/135
- 修复Docker安装python-ldap问题 https://github.com/lihuacai168/AnotherFasterRunner/pull/136

Django接入LDAP用户认证

# 1、背景
LDAP认证服务在企业中很常见，我们日常开发的系统很多都需要接入LDAP认证服务。  
但作为开发人员，肯定不会LDAP的管理员，在接入LDAP时，可能会遇到一些问题，和企业的LDAP管理员沟通起来比较麻烦。 
因此，可以现在本地使用docker搭建一个LDAP服务，debug就会更加的方便  



# 2、LDAP搭建和用户管理
## 2.1 环境准备 
docker和docker-compose这两个是必备的，不再多说

## 2.2启动LDAP服务

随便找一个目录，创建docker-compose.yml文件，然后下面的内容
```docker
version: '3'
services:
  ldap:
    image: osixia/openldap:1.5.0
    environment:
      LDAP_ORGANISATION: "My Organization"
      LDAP_DOMAIN: "myorg.com"
      LDAP_ADMIN_PASSWORD: "admin"
    ports:
      - "389:389"
      - "636:636"

  admin:
    image: osixia/phpldapadmin:0.9.0
    environment:
      PHPLDAPADMIN_HTTPS: 'false'
      PHPLDAPADMIN_LDAP_HOSTS: ldap
    ports:
      - "8181:80"
   ```  
   
启动LDAP服务`docker-compose up -d`

## 2.3 登陆LDAP Admin
等待启动完成，浏览器打开`http://localhost:8181/`就可以看到
- 8181端口可以在docker-compose修改

![image.png](https://img.huacai.one/huacai-blog/7b9c701b1353894f919f629e8fcc4037.image.webp)


![image.png](https://img.huacai.one/huacai-blog/10959a124ac3f73596ffd72fbf2c5725.image.webp)

**到这里就要小心了！！！**  

Login DN上`cn=admin,dc=myorg,dc=com`
这个怎么来的，cn=admin，可以理解为用户名是admin
dc=myorg,dc=com，可以理解为docker-compose中的LDAP_DOMAIN: "myorg.com"，拆开的
密码是LDAP_ADMIN_PASSWORD: "admin"，跟cn=admin完全没关系，只是这里恰好相同是admin，可以自己改

![image.png](https://img.huacai.one/huacai-blog/48c81a927af40c631413497ce8fe930d.image.webp)

登录成功

![image.png](https://img.huacai.one/huacai-blog/a3fe321cc510f60b7684157345d2f2fa.image.webp)


## 2.4 组织，用户组，用户管理

### 2.4.1 创建部门
![image.png](https://img.huacai.one/huacai-blog/7e2f275a5d302d22dfd0308e474a8f26.image.webp)



![image.png](https://img.huacai.one/huacai-blog/93fa7faee2f733101af9503400e34618.image.webp)

![image.png](https://img.huacai.one/huacai-blog/f1b54d897afd5c18ed0376d8ddab271d.image.webp)

**创建部门（TestOrg）成功～～**

![image.png](https://img.huacai.one/huacai-blog/bf693a2a2ed0c6971a8a2951d07624a5.image.webp)
### 2.4.2 创建小组


![image.png](https://img.huacai.one/huacai-blog/1a69ff1a361fac1100ead8b8ba400ce5.image.webp)

![image.png](https://img.huacai.one/huacai-blog/cbf6217683ee227f89f13ae8785f2e63.image.webp)


![image.png](https://img.huacai.one/huacai-blog/eac6470b52930107d682bbb457e477c0.image.webp)

![image.png](https://img.huacai.one/huacai-blog/03a03d92aec55074a3f05e1a1b2746a5.image.webp)
**组建小组（AutoTest）成功**

![image.png](https://img.huacai.one/huacai-blog/6c82645450ae8063c58704b9c46a8a85.image.webp)

### 2.4.3 创建用户

![image.png](https://img.huacai.one/huacai-blog/e4282c95485e68f1f977f768c7b4a8ab.image.webp)

![image.png](https://img.huacai.one/huacai-blog/b33f078ec6db0976159c9c0a57e0bd79.image.webp)


![image.png](https://img.huacai.one/huacai-blog/ae6ce52ab4776319c9be1fa1cedc09e6.image.webp)


![image.png](https://img.huacai.one/huacai-blog/1813395194b533b2e39019331800b678.image.webp)

**创建用户（ayo）成功**  
这里cn=ayo为什么会显示两个，我也布吉岛，如果你知道，麻烦评论区告诉我哦

![image.png](https://img.huacai.one/huacai-blog/33a6127ffcaf23bf06e3066b57fe0ff1.image.webp)

Docker搭建LDAP认证服务

# 1、前言
2015年毕业到2022年，整整7年。为啥会这个时间点突然开始学英语？  

很难准确的回答这个问题，不是某个瞬间的决定。  
在入职虾皮之前，就有想过，但最终还是没有行动。  
入职虾皮之后，虽然名义上是外企，但貌似大部分时间也用不到英语。  
直到有一次，需要跟新加坡那边的同事开会，他讲英文，我能大概听到，但完全无法说。  
即使leader救场了，但我依然感到非常的尴尬。  
再度下决心学英语，然而决心归决心，行动又是另一回事。。。  
人呐，天性就是懒惰。  
直到重锤砸下来那一刻。  
嗯，虾皮裁员了，并且我是在裁员名单中
![被裁员了](https://img.huacai.one/huacai-blog/f4dd3d389a9ecf18557a2c89b09a1495.IMG_8441.webp)


# 2、启航
## 2.1 结婚
从虾皮毕业后，回老家办了婚礼，算完成人生中一件大事
![结婚啦](https://img.huacai.one/huacai-blog/10f40bb15e8d093f86225d89f536e186.IMG_8443.webp)

## 2.2 开始行动
短短的半个月内，经历裁员和办婚礼，心情像过山车一样。  
又恰逢国庆假日，在大家开开心心过节时，始终感觉无法真正的开心起来。  
经过多番挣扎，最终做了一个不可思议决定，花2k+买一年的英语课！
当时有很多想法：
- 学英语要花这么多钱，网上免费的教程一大把？
- 一年我能坚持的下来吗？会不会三分钟热度，钱就白费了
- 即使真的坚持下来，真能提升英语水平吗？

## 2.3 鸡血拉满
既然已经买了，那就不管那么多，直接开干吧，先做了再说。
前两个月直接鸡血拉满，几乎天天打卡，并且至少30min。    
（APP有一个奖学金机制，每周打卡5天，一年内水平提升3级，就能拿到超过一半的退款作为奖学金）
![奖学金](https://img.huacai.one/huacai-blog/ebe80c150dc4c253f50e86e2715ed506.IMG_8440.webp)
![鸡血打卡](https://img.huacai.one/huacai-blog/db230596f7e7e037580105fe381e7860.IMG_8438.webp)

## 2.4 逐渐懈怠
可随着入职新公司开始，就逐渐懈怠  
红圈的部分，就是不满足条件的周  
找理由真的太容易，太简单了  
工作忙，要加班，没时间，要见朋友，要玩游戏，要追剧，要刷短视频，等等...
但这样有用吗？毫无疑问，没有
![懈怠两个月](https://img.huacai.one/huacai-blog/157198da330df44d7a4760a71fc96639.IMG_8439.webp)


## 2.5 步入正轨
经历一开始的鸡血拉满，再到两个月后的懈怠  
发现养成一个习惯纯靠意志力坚持是不OK的，还得科学安排时间  
根据我每周往返广深，以及周末综合症等原因  
每周打卡5次做了更加合理的安排：周二，周三，周四，周六，周日打卡
周一休息，因为周一状态真的很一般，上班回来确实需要恢复状态  
周五休息，快到周末了，要放飞自我，心情太激动无法专心学习
通过这波调整，发现效果奇佳  
我居然在接下来的8个月里面，每周都能实现5次打卡，每次30min+  
并且这段时间也包含了被裁员，准备面试，搬家，995，甚至加班到凌晨1点  
2023年国庆前三天免费加班12h等...

![IMG_8444.png](https://img.huacai.one/huacai-blog/c1727ef5080b93a5e807558619334517.IMG_8444.webp)

![IMG_8445.png](https://img.huacai.one/huacai-blog/9d5e04202e3c24de1f49346f521c52e3.IMG_8445.webp)

![IMG_8446.png](https://img.huacai.one/huacai-blog/90ed17b473316510820d62ac514ec7e8.IMG_8446.webp)

![IMG_8448.png](https://img.huacai.one/huacai-blog/b573d0a732dff42b509f661fd3dcc602.IMG_8448.webp)

![IMG_8450.png](https://img.huacai.one/huacai-blog/4baa16de8c91a4c98ecb64125a9d4064.IMG_8450.webp)

# 3、最后
经过了一年的学习，从lv2到lv4  
虽然达不到奖学金的要求，但我个人还是很满意  
至少以后可以多一个吹牛的事件😁

![IMG_8423.png](https://img.huacai.one/huacai-blog/bbe1a95767c1dc4ac0cd465756adff5b.IMG_8423.webp)

如果你也对学英语感兴趣，不要犹豫了，跟我一起来打卡吧！  

![IMG_8454.png](https://img.huacai.one/huacai-blog/d59c51212ddac3d415769ce733be51d9.IMG_8454.webp)

回顾学英语一周年

# 1、用户故事
在使用数据工厂时，只能看到配置的好的数据卡片；  
但并不知道背后执行的逻辑是怎么样的，有时候执行的结果不符合预期时，  
希望可以把当前数据卡片执行的日志返回，方便直接在前端就能排查问题。

![image.png](https://img.huacai.one/huacai-blog/56910650ebeaaee17996a0dd323a5192.image.webp)


# 2、设计和实现
## 2.1 日志持久化

### 2.1.1 定义保存log的模型
在某个app的models下面增加
```python
# models.py
from django.db import models

class LogRecord(models.Model):
    class Meta:
        db_table = "t_log_record"
    request_id = models.CharField(max_length=100, null=True, db_index=True)
    level = models.CharField(max_length=20)
    message = models.TextField(db_index=True)    
```


### 2.2.2 自定义日志处理器
在`settings.py`所在的目录，新建一个模块，比如`log.py`
```python
# log.py

import logging
from xxx.models import LogRecord  # 引入上面定义的LogRecord模型

class DatabaseLogHandler(logging.Handler):
    def emit(self, record: logging.LogRecord) -> None:
        LogRecord.objects.create(
            request_id=record.request_id,
            level=record.levelname,
            message=self.format(record),
        )
```


### 2.2.3 配置Django的logging设置
注意，只是说明如何使用日志自定义handle，不是完整的日志配置。  
也缺少了上面的`request_id`字段，这个需要在formatters中配置。  
使用`request_id`做链路追踪，参考：  
https://blog.huacai.one/post/39

完整日志配置参考：  https://github.com/lihuacai168/AnotherFasterRunner/pull/111/commits/2659df19192c41819813514aac5896d7550c1e5c

```
# settings.py
LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'handlers': {
        'db': {
            'level': 'DEBUG',
            'class': 'your_app_name.handlers.DatabaseLogHandler',  # 指向你的自定义处理器
        },
    },
    'loggers': {
        'django': {
            'handlers': ['db'],
            'level': 'DEBUG',
            'propagate': True,
        },
    },
}


```

## 2.2 接口增加统一返回日志

![image.png](https://img.huacai.one/huacai-blog/8fdf46f433a7fccba8220525cbc1348f.image.webp)
通过中间件返回，具体参考链接  
https://github.com/lihuacai168/django-ninja-demo/blob/92b4f4250e9bb9d42628355698a3e7912cffb04d/core/middleware.py#L27C19-L27C19

# 3、总结
- 日志存储需要依赖统一id，否则无法追踪
- 目前写入日志是同步的，如果写入日志较大，会存在性能问题
- 如果日志直接返回前端，存在安全性问题，敏感信息不要打到日志
- 可增加日志查询接口，实现直接在前端查看日志

![image.png](https://img.huacai.one/huacai-blog/1b261117356c5158658eb8fa8adfb1e9.image.webp)