# 引言
昨晚在技术群里面讨论到单元测试和代码的测可性  
![image.png](https://img.huacai.one/huacai-blog/79f771072a02f179085016bb972a8266.image.webp)



让我想起来曾犯过的一些错误。  
现在需要实现一个定时执行的任务函数 `mytask`，其核心功能是调用一个第三方接口，并使用当前日期 `today` 作为参数。这个函数的设计直接从系统获取当前日期，并没有提供修改日期的选项。

示例代码：
```python
def mytask():
    dt = datetime.today()  # 获取并使用当前日期
    # 调用第三方接口
    # 更新数据库
```

这种设计在日常运行中没有问题，但是当遇到需要针对特定日期重新执行任务的情况时，就显得不够灵活。  
例如，在一个愉快的周末后，领导告诉你第三方接口上周五出现了bug，导致数据出错，需要重新获取数据。  
这时，由于 `mytask` 函数中的日期是动态获取的，重新执行任务并不能获得上周五的数据。

一种粗暴的解决方案是直接修改代码中的 `today` 为上周五的日期，重新部署并执行一次。然而，这种方法显然不是长久之计。

更好的做法是将日期作为一个参数传递给 `mytask` 函数，这样既可以保持定时任务的正常运行，也可以在需要时手动指定日期来重跑任务。

优化后的代码：
```python
from typing import Optional
from datetime import datetime

def mytask(dt: Optional[datetime] = None):
    dt = dt or datetime.today()  # 允许传递特定日期
    # 调用第三方接口
    # 更新数据库
```

这样，`mytask` 函数就不再依赖于固定的日期值，而是可以根据需要传入任何日期。当需要重新拉取特定日期的数据时，只需要手动调用 `mytask` 并传入相应的日期参数即可。这种设计增强了代码的灵活性和可测性，使得维护和测试变得更加方便。
下面将通过四个例子继续探讨如何改进代码的可测性。

# 例1：隔离外部依赖以便模拟测试

不良示范：
```python
def send_email():
    smtp_server.connect()  # 直接连接SMTP服务器
    # 发送邮件
```
好的代码示范：
```python
from typing import Any

def send_email(smtp_server: Any):
    smtp_server.connect()  # 将SMTP服务器作为参数传递
    # 发送邮件
```
将外部服务如SMTP服务器作为参数传递，方便在测试中使用模拟对象。

# 例2：分离业务处理器和请求处理

不良示范：
```python
# 依赖于具体的请求对象，与特定的web框架紧密耦合
from flask import request

def process_request():
    data = request.get_json()  # 直接从请求对象中获取数据
    # 在此处包含数据处理逻辑
    # ...
    return {"status": "success", "data": processed_data}

```
好的代码示范：
```python
# 解耦数据处理逻辑，不再依赖特定的请求对象或web框架
from typing import Dict

def process_data(data: Dict) -> Dict:
    # 独立的数据处理逻辑
    # ...
    return {"status": "success", "data": processed_data}

# Web框架的请求处理函数只负责调用业务逻辑函数
def api_endpoint(request_data: Dict):
    # 从请求中提取数据并传递给独立的处理函数
    result = process_data(request_data)
    return result
```
在这种方式中，process_data 函数现在是一个纯粹的业务逻辑函数，它只关心数据的处理，不再关心数据来源。  
而 api_endpoint 函数则作为web框架的入口点，负责接收请求和调用业务逻辑函数。  
这样的分离使得 process_data 更容易进行单元测试，同时也提高了代码的可重用性。
# 例3：使用配置文件而非硬编码

不良示范：
```python
def connect_database():
    db = "MySQL"  # 数据库类型硬编码
    # 连接数据库
```
好的代码示范：
```python
from typing import Any

def connect_database(config: Any):
    db = config.database_type  # 从配置文件读取数据库类型
    # 连接数据库
```
避免硬编码，使用配置文件来管理设置，这样可以在不同环境下灵活配置，同时便于测试。

# 例4：采用单一职责原则

不良示范：
```python
def manage_user(request):
    if request.type == "create":
        # 创建用户
    elif request.type == "delete":
        # 删除用户
```
好的代码示范：
```python
from typing import Any

def create_user(user_data: Any):
    # 仅包含创建用户的逻辑

def delete_user(user_id: int):
    # 仅包含删除用户的逻辑
```
按照单一职责原则设计函数，每个函数只做一件事情，这样便于单元测试和维护。

# 总结
以上五个例子展示了代码可测性的重要性以及提升可测性的常见策略。  
通过参数化输入、隔离外部依赖、解耦业务逻辑、使用配置文件和单一职责原则，可以构建出更健壮、更易于测试和维护的代码。

掌握这五招，让你的代码质量翻倍！

# 1.背景

在接口测试时,绝大部分的响应都json格式,json的取值就一定绕不过jsonpath.  
某天,就在技术群讨论了jsonpath相关的问题.  
讨论归讨论,结果最终还是的看实际代码怎么样.  
接下来,将会实测python中几个常用jsonpath库(`jsonpath,jsonpath-ng,jmespath,gjson`)性能到底如何 

![image.png](https://img.huacai.one/huacai-blog/fdda1c01b401b6fb58290fa32b446154.image.webp)

# 2.耗时和内存测试

## 2.1 运行1次的耗时和内存
```shell
/Users/rikasai/.virtualenvs/jsonpath_compare/bin/python /Users/rikasai/code/python/jsonpath_compare/main.py 
test_jsonpath 总耗时: 0.002014 秒
test_jsonpath 使用了 0.038136 MB 内存，峰值为 0.039424 MB

test_gjson 总耗时: 0.001517 秒
test_gjson 使用了 0.023019 MB 内存，峰值为 0.028319 MB

test_jsonpath_ng 总耗时: 0.027746 秒
test_jsonpath_ng 使用了 0.2931 MB 内存，峰值为 0.323259 MB

test_jmespath 总耗时: 0.000571 秒
test_jmespath 使用了 0.022307 MB 内存，峰值为 0.025619 MB
```
运行一次的结果大概已经能看到jsonpath_ng,不管内存占用还是耗时都是跟另外三个相差甚远  

## 2.2 运行1000次的耗时和内存
```shell
/Users/rikasai/.virtualenvs/jsonpath_compare/bin/python /Users/rikasai/code/python/jsonpath_compare/main.py 
test_jsonpath 总耗时: 0.126801 秒
test_jsonpath 使用了 0.218614 MB 内存，峰值为 2.219974 MB

test_gjson 总耗时: 0.264562 秒
test_gjson 使用了 0.108182 MB 内存，峰值为 2.135345 MB

test_jsonpath_ng 总耗时: 17.054877 秒
test_jsonpath_ng 使用了 3.061619 MB 内存，峰值为 6.086255 MB

test_jmespath 总耗时: 0.137950 秒
test_jmespath 使用了 0.137203 MB 内存，峰值为 1.973523 MB
```
1次可能说明不了问题,运行1000次, 跟运行1次时结果是类似.  
可以看到jsonpath_ng相比另外三个要,耗时和内存占用都是非常离谱,完全不应该放在一起比较那种  
另外三个jmespath,jsonpath,gjson不相伯仲  

# 3.性能分析

## 3.1 cProfile对比
下面分别对比这四个库,json执行一次jsonpath取值,涉及函数调用次数和原始调用耗时  
完整的调用统计非常多,只放出调用次数较多的部分,按照调用次数到序排序  
### 3.1.1 jsonpath

> 在cProfile的输出中，ncalls列表示函数被调用的次数。看到219/196这意味着函数被递归地调用了。  
> 第一个数字219表示函数被调用的总次数。  
> 第二个数字196表示函数被非递归地调用的次数。
```shell
/Users/rikasai/.virtualenvs/jsonpath_compare/bin/python /Users/rikasai/code/python/jsonpath_compare/main.py 
         1417 function calls (1350 primitive calls) in 0.001 seconds

   Ordered by: call count

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
      251    0.000    0.000    0.000    0.000 {method 'append' of 'list' objects}
  219/196    0.000    0.000    0.000    0.000 {built-in method builtins.len}
      160    0.000    0.000    0.000    0.000 {built-in method builtins.isinstance}
      119    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:164(__getitem__)
       61    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:233(__next)
       56    0.000    0.000    0.000    0.000 {built-in method builtins.min}
       50    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:160(__len__)
       46    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:254(get)
       33    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:172(append)
       33    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:249(match)
       25    0.000    0.000    0.000    0.000 {built-in method builtins.ord}
     24/8    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:174(getwidth)
```
### 3.1.2 gjson
```shell
         1167 function calls (1088 primitive calls) in 0.001 seconds

   Ordered by: call count

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
      176    0.000    0.000    0.000    0.000 {method 'append' of 'list' objects}
  164/146    0.000    0.000    0.000    0.000 {built-in method builtins.len}
      127    0.000    0.000    0.000    0.000 {built-in method builtins.isinstance}
       59    0.000    0.000    0.000    0.000 {method 'startswith' of 'str' objects}
       52    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:164(__getitem__)
       42    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:233(__next)
       34    0.000    0.000    0.000    0.000 {built-in method builtins.min}
       27    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:254(get)
       26    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:160(__len__)
       26    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:249(match)
```
### 3.1.3 jsonpath_ng
```shell
 24933 function calls (24438 primitive calls) in 0.013 seconds

   Ordered by: call count

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
     3668    0.000    0.000    0.000    0.000 {method 'get' of 'dict' objects}
     3634    0.000    0.000    0.000    0.000 {method 'append' of 'list' objects}
     2528    0.000    0.000    0.000    0.000 {built-in method builtins.id}
     2241    0.000    0.000    0.000    0.000 {built-in method builtins.getattr}
1623/1420    0.000    0.000    0.000    0.000 {built-in method builtins.len}
      984    0.001    0.000    0.002    0.000 /Users/rikasai/.virtualenvs/jsonpath_compare/lib/python3.9/site-packages/ply/yacc.py:2165(lr0_goto)
      897    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:233(__next)
      850    0.000    0.000    0.000    0.000 {built-in method builtins.isinstance}
      795    0.000    0.000    0.000    0.000 /Users/rikasai/.virtualenvs/jsonpath_compare/lib/python3.9/site-packages/ply/yacc.py:127(__getattribute__)
      795    0.000    0.000    0.000    0.000 /Users/rikasai/.virtualenvs/jsonpath_compare/lib/python3.9/site-packages/ply/yacc.py:130(__call__)
      622    0.000    0.000    0.000    0.000 {method 'match' of 're.Pattern' objects}
      386    0.000    0.000    0.000    0.000 /Users/rikasai/.pyenv/versions/3.9.11/lib/python3.9/sre_parse.py:164(__getitem__)
      299    0.000    0.000    0.000    0.000 {built-in method builtins.min}
```

### 3.1.4 jmespath
```shell
163 function calls (154 primitive calls) in 0.000 seconds

   Ordered by: call count

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
       28    0.000    0.000    0.000    0.000 /Users/rikasai/.virtualenvs/jsonpath_compare/lib/python3.9/site-packages/jmespath/lexer.py:129(_next)
       14    0.000    0.000    0.000    0.000 /Users/rikasai/.virtualenvs/jsonpath_compare/lib/python3.9/site-packages/jmespath/parser.py:463(_current_token)
       12    0.000    0.000    0.000    0.000 /Users/rikasai/.virtualenvs/jsonpath_compare/lib/python3.9/site-packages/jmespath/lexer.py:26(tokenize)
       11    0.000    0.000    0.000    0.000 {method 'get' of 'dict' objects}
       11    0.000    0.000    0.000    0.000 {built-in method builtins.getattr}
       10    0.000    0.000    0.000    0.000 /Users/rikasai/.virtualenvs/jsonpath_compare/lib/python3.9/site-packages/jmespath/parser.py:460(_advance)
      8/1    0.000    0.000    0.000    0.000 /Users/rikasai/.virtualenvs/jsonpath_compare/lib/python3.9/site-packages/jmespath/visitor.py:87(visit)
        6    0.000    0.000    0.000    0.000 {built-in method builtins.len}
        6    0.000    0.000    0.000    0.000 /Users/rikasai/.virtualenvs/jsonpath_compare/lib/python3.9/site-packages/jmespath/parser.py:469(_lookahead_token)
        4    0.000    0.000    0.000    0.000 /Users/rikasai/.virtualenvs/jsonpath_compare/lib/python3.9/site-packages/jmespath/parser.py:466(_lookahead)
      3/1    0.000    0.000    0.000    0.000 /Users/rikasai/.virtualenvs/jsonpath_compare/lib/python3.9/site-packages/jmespath/parser.py:118(_expression)
```

### 3.1.5 cProfile结论
cProfile结果和上面的耗时和结果大体是吻合的  
很明显的看到jsonpath_ng取值一次居然涉及到了24933次函数调用   
而jsonpath和gjson都是一千多次,jmespath最好,仅仅需要163次,遥遥领先!  

还是有一个疑惑,上面1000次耗时和内存测试,发现jmespath,jsonpath,gjson是不相伯仲的  
但jmespath函数调用确实比另外两个相差了至少1000次,结果似乎对不上  

把运行次数拉大到10000次,结果就很明显了,确实是jmespath更强

```shell
test_jsonpath 总耗时: 1.746682 秒
test_jsonpath 使用了 0.210114 MB 内存，峰值为 19.831589 MB

test_gjson 总耗时: 2.730377 秒
test_gjson 使用了 0.184749 MB 内存，峰值为 18.914425 MB

test_jmespath 总耗时: 1.194248 秒
test_jmespath 使用了 0.127859 MB 内存，峰值为 18.852175 MB
```
> 为什么这里jsonpath_ng没有10000次的测试结果,因为太消耗时间了,被我手动终止...

## 3.2 火焰图
四个库同时运行1000次,因为jsonpath_ng占用时间太大了  
可以看到,大部分的耗时都是在这个函数`parse_token_stream（isonpath_ng/parser.py:47）`  
如果需要优化,可以从这个地方着手
![image.png](https://img.huacai.one/huacai-blog/c5714b3a8a0ec2a9c0479264b524d139.image.webp)


# 4.总结

通过以上的测试和分析，我们可以得出以下结论：

1. 在耗时和内存占用方面，`jsonpath-ng`的表现是最差的，与其它三个库相比，无论是运行1次还是1000次，`jsonpath-ng`的耗时和内存占用都是最高的。因此，在性能要求较高的场景下，`jsonpath-ng`不是一个好的选择。

2. `jmespath`在运行1次和1000次的耗时和内存占用都表现较好，且cProfile的结果显示`jmespath`的函数调用次数也是最少的，因此，`jmespath`是性能最好的一个选项。

3. `jsonpath`和`gjson`在耗时和内存占用方面表现相近，且都优于`jsonpath-ng`。在函数调用次数方面，`jsonpath`和`gjson`也相近，但略多于`jmespath`。

综上所述，如果你在寻找一个性能优越的jsonpath库，`jmespath`是最佳选择。而`jsonpath`和`gjson`则是性能较为中等的选项，`jsonpath-ng`则是最不推荐的选项。

# 5.附录
本次测试的所有代码和用到的数据都会可以直接在我的GitHub仓库看到
https://github.com/lihuacai168/jsonpath_compare

python JSONPath性能对比

# 1、背景
在公司中，一般都会有LDAP认证，我们开发的效能平台如果单独设置一套用户认证体系，那样会很不方便。  
因此，效能平台想要获得更好的用户体验，就需要在接入公司现在有的LDAP用户认证。



# 2、Django接入LDAP认证

拿我的开源项目举例子，后端使用的框架是Django，已经有现成的LDAP库，直接集成即可，不需要造轮子。  
下面是具体的步骤

## 2.1 安装django-ldap-auth
`pip install django-auth-ldap==2.3.0`  

**一定要指定版本，否则可能会出现不兼容的情况**   
我使用的Django2.2，所以最多能支持的版本是2.3.0  
具体的版本兼容查看这里
https://django-auth-ldap.readthedocs.io/en/latest/changes.html#id4

## 2.2 Settings配置LDAP

在Django的配置文件最底部加上这个即可

```py
# settings.py

# LDAP配置
import ldap
from django_auth_ldap.config import LDAPSearch

AUTHENTICATION_BACKENDS = (
    'django_auth_ldap.backend.LDAPBackend',
)

USE_LDAP = False # 如果需要开启LDAP认证，就设置位True
AUTH_LDAP_SERVER_URI = "ldap://localhost:389" # LDAP服务器地址，默认端口389

AUTH_LDAP_BIND_DN = "cn=admin,dc=myorg,dc=com" # LDAP管理员账号
AUTH_LDAP_BIND_PASSWORD = "admin" # LDAP管理员密码
AUTH_LDAP_USER_SEARCH = LDAPSearch(
    "ou=Tester,dc=myorg,dc=com",
    ldap.SCOPE_SUBTREE,
    "(uid=%(user)s)",
) # LDAP搜索账号，ou可以理解为组织单位或者部门，不填写也是ok，dc可以理解为域名

AUTH_LDAP_USER_ATTR_MAP = {
    "username": "uid",
    "first_name": "givenName",
    "last_name": "sn",
    "email": "mail",
} # 不配置也可以

```

## 2.3 登录接口中使用LDAP认证

整体逻辑是：
判断settings的USE_LDAP是否为真，为真就走LDAP认证
LDAP认证成功，就会设置local_user，然后返回jwt token
LDAP认证不成功，走本地认证，认证成功就返回jwt token
最终两个都不成功，就会返回登录失败

```py
# views.py
import logging
from typing import Optional

from django.conf import settings
from django.contrib.auth import authenticate, get_user_model
from django.contrib.auth.hashers import check_password, make_password
from drf_yasg.utils import swagger_auto_schema
from rest_framework.response import Response
from rest_framework.views import APIView



def ldap_auth(username: str, password: str) -> Optional[User]:
    ldap_user = authenticate(username=username, password=password)
    if ldap_user and ldap_user.backend == "django_auth_ldap.backend.LDAPBackend":
        logger.info(f"LDAP authentication successful for {username}")
        local_user: User = User.objects.filter(username=username).first()
        if local_user:
            local_user.password = make_password(password)
            local_user.save(update_fields=["password"])
            logger.info(f"ldap认证通过，更新本地用户密码: {username}")
        return local_user
    logger.info(f"LDAP authentication failed for {username}")
    return None


def local_auth(username: str, password: str) -> Optional[User]:
    local_user = User.objects.filter(username=username).first()
    if not local_user:
        logger.warning(f"Local user does not exist: {username}")
        return None
    if local_user.is_active == 0:
        logger.warning(f"Local user is blocked: {username}")
        return None
    if not check_password(password, local_user.password):
        logger.warning(f"Local authentication failed: {username}")
        return None
    return local_user


def generate_token_and_respond(local_user: User):
    jwt_payload_handler = api_settings.JWT_PAYLOAD_HANDLER
    jwt_encode_handler = api_settings.JWT_ENCODE_HANDLER
    payload = jwt_payload_handler(local_user)
    token = jwt_encode_handler(payload)
    response.LOGIN_SUCCESS["token"] = token
    response.LOGIN_SUCCESS["user"] = local_user.username
    response.LOGIN_SUCCESS["is_superuser"] = local_user.is_superuser
    response.LOGIN_SUCCESS["show_hosts"] = local_user.show_hosts
    return Response(response.LOGIN_SUCCESS)



class LoginView(APIView):
    """
    登陆视图，用户名与密码匹配返回token
    """

    authentication_classes = ()
    permission_classes = ()

    @swagger_auto_schema(request_body=UserLoginSerializer)
    def post(self, request):
        serializer = UserLoginSerializer(data=request.data)

        if serializer.is_valid():
            username: str = serializer.validated_data["username"]
            password: str = serializer.validated_data["password"]
            masked_password = f"{password[0]}{'*' * (len(password) - 2)}{password[-1]}"
            logger.info(f"Received login request for {username=}, password={masked_password}")

            local_user = None
            if settings.USE_LDAP:
                logger.info(f"Attempting LDAP authentication for {username=}")
                local_user = ldap_auth(username, password)

            if not local_user:
                logger.info(
                    f"LDAP authentication failed or not enabled, falling back to local authentication for {username=}")
                local_user = local_auth(username, password)

            if local_user:
                logger.info(f"Authentication successful for {username=}")
                return generate_token_and_respond(local_user)
            else:
                logger.info(f"Authentication failed for {username=}")
                return Response(response.LOGIN_FAILED)
        else:
            return Response(serializer.errors)
 ```
 
 ## 2.4 LDAP认证测试
 LDAP服务端配置如下：
 - 有一个公司myorg.com
 - 有一个部门TestORg
 - TestOrg部门有一个小组AutoTest
 - AutoTest下面有一个用户ayo，密码是123456
 
![image.png](https://img.huacai.one/huacai-blog/9bd3451bb0b4562fdcd6231bc9251967.image.webp)
 ### 2.4.1 LDAP认证成功
 ```shell
 2023-10-22 20:53:28,812 [e66bf977a7e146b68996c5aa164c55d6] fastuser.views INFO [pid:57614] [views.py->post:116] Received login request for username='ayo', password=1****6
2023-10-22 20:53:28,818 [e66bf977a7e146b68996c5aa164c55d6] fastuser.views INFO [pid:57614] [views.py->post:120] Attempting LDAP authentication for username='ayo'
2023-10-22 20:53:28,831 [e66bf977a7e146b68996c5aa164c55d6] django_auth_ldap WARNING [pid:57614] [backend.py->_populate_user_from_attributes:653] cn=ayo,cn=autotest,ou=testorg,dc=myorg,dc=com does not have a value for the attribute givenName
2023-10-22 20:53:28,833 [e66bf977a7e146b68996c5aa164c55d6] django_auth_ldap WARNING [pid:57614] [backend.py->_populate_user_from_attributes:653] cn=ayo,cn=autotest,ou=testorg,dc=myorg,dc=com does not have a value for the attribute mail
2023-10-22 20:53:28,836 [e66bf977a7e146b68996c5aa164c55d6] fastuser.views INFO [pid:57614] [views.py->ldap_auth:63] LDAP authentication successful for ayo
2023-10-22 20:53:28,930 [e66bf977a7e146b68996c5aa164c55d6] fastuser.views INFO [pid:57614] [views.py->ldap_auth:68] ldap认证通过，更新本地用户密码: ayo
2023-10-22 20:53:28,932 [e66bf977a7e146b68996c5aa164c55d6] fastuser.views INFO [pid:57614] [views.py->post:129] Authentication successful for username='ayo'
2023-10-22 20:53:28,942 [e66bf977a7e146b68996c5aa164c55d6] django.server INFO [pid:57614] [basehttp.py->log_message:154] "POST /api/user/login/ HTTP/1.1" 200 264
 ```
 
![image.png](https://img.huacai.one/huacai-blog/ea1b05fbf0a461e3ac81d1fce69f09db.image.webp)
 ### 2.4.2 LDAP认证失败，走本地认证成功
 ```shell
2023-10-22 20:50:17,208 [120eabbc698741198c2c068179e7294b] fastuser.views INFO [pid:54892] [views.py->post:116] Received login request for username='huacai', password=1****6
2023-10-22 20:50:17,216 [120eabbc698741198c2c068179e7294b] fastuser.views INFO [pid:54892] [views.py->post:120] Attempting LDAP authentication for username='huacai'
2023-10-22 20:50:17,224 [120eabbc698741198c2c068179e7294b] django_auth_ldap ERROR [pid:54892] [config.py->execute:152] search_s('ou=Tester,dc=myorg,dc=com', 2, '(uid=huacai)') raised NO_SUCH_OBJECT({'msgtype': 101, 'msgid': 2, 'result': 32, 'desc': 'No such object', 'ctrls': [], 'matched': 'dc=myorg,dc=com'})
2023-10-22 20:50:17,228 [120eabbc698741198c2c068179e7294b] fastuser.views INFO [pid:54892] [views.py->ldap_auth:70] LDAP authentication failed for huacai
2023-10-22 20:50:17,230 [120eabbc698741198c2c068179e7294b] fastuser.views INFO [pid:54892] [views.py->post:124] LDAP authentication failed or not enabled, falling back to local authentication for username='huacai'
2023-10-22 20:50:17,322 [120eabbc698741198c2c068179e7294b] fastuser.views INFO [pid:54892] [views.py->post:129] Authentication successful for username='huacai'
2023-10-22 20:50:17,339 [120eabbc698741198c2c068179e7294b] django.server INFO [pid:54892] [basehttp.py->log_message:154] "POST /api/user/login/ HTTP/1.1" 200 284
 ```
![image.png](https://img.huacai.one/huacai-blog/aa39dbf53c2c0c2141b7df5dd9e8989e.image.webp)

### 2.4.3 LDAP和本地都认证失败
```shell
2023-10-22 21:02:09,705 [f65679ab9b75405daeeb06e0fd6cf7bb] fastuser.views INFO [pid:57614] [views.py->post:116] Received login request for username='huacai', password=1*******9
2023-10-22 21:02:09,711 [f65679ab9b75405daeeb06e0fd6cf7bb] fastuser.views INFO [pid:57614] [views.py->post:120] Attempting LDAP authentication for username='huacai'
2023-10-22 21:02:09,717 [f65679ab9b75405daeeb06e0fd6cf7bb] fastuser.views INFO [pid:57614] [views.py->ldap_auth:70] LDAP authentication failed for huacai
2023-10-22 21:02:09,719 [f65679ab9b75405daeeb06e0fd6cf7bb] fastuser.views INFO [pid:57614] [views.py->post:124] LDAP authentication failed or not enabled, falling back to local authentication for username='huacai'
2023-10-22 21:02:09,812 [f65679ab9b75405daeeb06e0fd6cf7bb] fastuser.views WARNING [pid:57614] [views.py->local_auth:83] Local authentication failed: huacai
2023-10-22 21:02:09,814 [f65679ab9b75405daeeb06e0fd6cf7bb] fastuser.views INFO [pid:57614] [views.py->post:132] Authentication failed for username='huacai'
2023-10-22 21:02:09,820 [f65679ab9b75405daeeb06e0fd6cf7bb] django.server INFO [pid:57614] [basehttp.py->log_message:154] "POST /api/user/login/ HTTP/1.1" 200 64
```

![image.png](https://img.huacai.one/huacai-blog/b8bca6aea17dd6acb4c0a68b387749cd.image.webp)
 

# 3、Docker安装python-ldap失败
在本地验证通过之后，推送到GitHub，但结果action构建失败了。  
一看报错，大概是缺少了某个lib（libldap2-dev libsasl2-dev）  
把log粘贴过来给gpt，一下子就够搞定，太爽啦！！！

![image.png](https://img.huacai.one/huacai-blog/53949648205b26cb01c3c860e9ecae55.image.webp)

# 4、总结
- Django接入LDAP很简单，只需加上对应配置后，再调用LDAP认证即可
- 在docker中，安装python-ldap需要额外的依赖

文章全部代码在以下两个Pull Request：  
- Django接入LDAP https://github.com/lihuacai168/AnotherFasterRunner/pull/135
- 修复Docker安装python-ldap问题 https://github.com/lihuacai168/AnotherFasterRunner/pull/136

Django接入LDAP用户认证

# 1、背景
LDAP认证服务在企业中很常见，我们日常开发的系统很多都需要接入LDAP认证服务。  
但作为开发人员，肯定不会LDAP的管理员，在接入LDAP时，可能会遇到一些问题，和企业的LDAP管理员沟通起来比较麻烦。 
因此，可以现在本地使用docker搭建一个LDAP服务，debug就会更加的方便  



# 2、LDAP搭建和用户管理
## 2.1 环境准备 
docker和docker-compose这两个是必备的，不再多说

## 2.2启动LDAP服务

随便找一个目录，创建docker-compose.yml文件，然后下面的内容
```docker
version: '3'
services:
  ldap:
    image: osixia/openldap:1.5.0
    environment:
      LDAP_ORGANISATION: "My Organization"
      LDAP_DOMAIN: "myorg.com"
      LDAP_ADMIN_PASSWORD: "admin"
    ports:
      - "389:389"
      - "636:636"

  admin:
    image: osixia/phpldapadmin:0.9.0
    environment:
      PHPLDAPADMIN_HTTPS: 'false'
      PHPLDAPADMIN_LDAP_HOSTS: ldap
    ports:
      - "8181:80"
   ```  
   
启动LDAP服务`docker-compose up -d`

## 2.3 登陆LDAP Admin
等待启动完成，浏览器打开`http://localhost:8181/`就可以看到
- 8181端口可以在docker-compose修改

![image.png](https://img.huacai.one/huacai-blog/7b9c701b1353894f919f629e8fcc4037.image.webp)


![image.png](https://img.huacai.one/huacai-blog/10959a124ac3f73596ffd72fbf2c5725.image.webp)

**到这里就要小心了！！！**  

Login DN上`cn=admin,dc=myorg,dc=com`
这个怎么来的，cn=admin，可以理解为用户名是admin
dc=myorg,dc=com，可以理解为docker-compose中的LDAP_DOMAIN: "myorg.com"，拆开的
密码是LDAP_ADMIN_PASSWORD: "admin"，跟cn=admin完全没关系，只是这里恰好相同是admin，可以自己改

![image.png](https://img.huacai.one/huacai-blog/48c81a927af40c631413497ce8fe930d.image.webp)

登录成功

![image.png](https://img.huacai.one/huacai-blog/a3fe321cc510f60b7684157345d2f2fa.image.webp)


## 2.4 组织，用户组，用户管理

### 2.4.1 创建部门
![image.png](https://img.huacai.one/huacai-blog/7e2f275a5d302d22dfd0308e474a8f26.image.webp)



![image.png](https://img.huacai.one/huacai-blog/93fa7faee2f733101af9503400e34618.image.webp)

![image.png](https://img.huacai.one/huacai-blog/f1b54d897afd5c18ed0376d8ddab271d.image.webp)

**创建部门（TestOrg）成功～～**

![image.png](https://img.huacai.one/huacai-blog/bf693a2a2ed0c6971a8a2951d07624a5.image.webp)
### 2.4.2 创建小组


![image.png](https://img.huacai.one/huacai-blog/1a69ff1a361fac1100ead8b8ba400ce5.image.webp)

![image.png](https://img.huacai.one/huacai-blog/cbf6217683ee227f89f13ae8785f2e63.image.webp)


![image.png](https://img.huacai.one/huacai-blog/eac6470b52930107d682bbb457e477c0.image.webp)

![image.png](https://img.huacai.one/huacai-blog/03a03d92aec55074a3f05e1a1b2746a5.image.webp)
**组建小组（AutoTest）成功**

![image.png](https://img.huacai.one/huacai-blog/6c82645450ae8063c58704b9c46a8a85.image.webp)

### 2.4.3 创建用户

![image.png](https://img.huacai.one/huacai-blog/e4282c95485e68f1f977f768c7b4a8ab.image.webp)

![image.png](https://img.huacai.one/huacai-blog/b33f078ec6db0976159c9c0a57e0bd79.image.webp)


![image.png](https://img.huacai.one/huacai-blog/ae6ce52ab4776319c9be1fa1cedc09e6.image.webp)


![image.png](https://img.huacai.one/huacai-blog/1813395194b533b2e39019331800b678.image.webp)

**创建用户（ayo）成功**  
这里cn=ayo为什么会显示两个，我也布吉岛，如果你知道，麻烦评论区告诉我哦

![image.png](https://img.huacai.one/huacai-blog/33a6127ffcaf23bf06e3066b57fe0ff1.image.webp)

Docker搭建LDAP认证服务

# 1、前言
2015年毕业到2022年，整整7年。为啥会这个时间点突然开始学英语？  

很难准确的回答这个问题，不是某个瞬间的决定。  
在入职虾皮之前，就有想过，但最终还是没有行动。  
入职虾皮之后，虽然名义上是外企，但貌似大部分时间也用不到英语。  
直到有一次，需要跟新加坡那边的同事开会，他讲英文，我能大概听到，但完全无法说。  
即使leader救场了，但我依然感到非常的尴尬。  
再度下决心学英语，然而决心归决心，行动又是另一回事。。。  
人呐，天性就是懒惰。  
直到重锤砸下来那一刻。  
嗯，虾皮裁员了，并且我是在裁员名单中
![被裁员了](https://img.huacai.one/huacai-blog/f4dd3d389a9ecf18557a2c89b09a1495.IMG_8441.webp)


# 2、启航
## 2.1 结婚
从虾皮毕业后，回老家办了婚礼，算完成人生中一件大事
![结婚啦](https://img.huacai.one/huacai-blog/10f40bb15e8d093f86225d89f536e186.IMG_8443.webp)

## 2.2 开始行动
短短的半个月内，经历裁员和办婚礼，心情像过山车一样。  
又恰逢国庆假日，在大家开开心心过节时，始终感觉无法真正的开心起来。  
经过多番挣扎，最终做了一个不可思议决定，花2k+买一年的英语课！
当时有很多想法：
- 学英语要花这么多钱，网上免费的教程一大把？
- 一年我能坚持的下来吗？会不会三分钟热度，钱就白费了
- 即使真的坚持下来，真能提升英语水平吗？

## 2.3 鸡血拉满
既然已经买了，那就不管那么多，直接开干吧，先做了再说。
前两个月直接鸡血拉满，几乎天天打卡，并且至少30min。    
（APP有一个奖学金机制，每周打卡5天，一年内水平提升3级，就能拿到超过一半的退款作为奖学金）
![奖学金](https://img.huacai.one/huacai-blog/ebe80c150dc4c253f50e86e2715ed506.IMG_8440.webp)
![鸡血打卡](https://img.huacai.one/huacai-blog/db230596f7e7e037580105fe381e7860.IMG_8438.webp)

## 2.4 逐渐懈怠
可随着入职新公司开始，就逐渐懈怠  
红圈的部分，就是不满足条件的周  
找理由真的太容易，太简单了  
工作忙，要加班，没时间，要见朋友，要玩游戏，要追剧，要刷短视频，等等...
但这样有用吗？毫无疑问，没有
![懈怠两个月](https://img.huacai.one/huacai-blog/157198da330df44d7a4760a71fc96639.IMG_8439.webp)


## 2.5 步入正轨
经历一开始的鸡血拉满，再到两个月后的懈怠  
发现养成一个习惯纯靠意志力坚持是不OK的，还得科学安排时间  
根据我每周往返广深，以及周末综合症等原因  
每周打卡5次做了更加合理的安排：周二，周三，周四，周六，周日打卡
周一休息，因为周一状态真的很一般，上班回来确实需要恢复状态  
周五休息，快到周末了，要放飞自我，心情太激动无法专心学习
通过这波调整，发现效果奇佳  
我居然在接下来的8个月里面，每周都能实现5次打卡，每次30min+  
并且这段时间也包含了被裁员，准备面试，搬家，995，甚至加班到凌晨1点  
2023年国庆前三天免费加班12h等...

![IMG_8444.png](https://img.huacai.one/huacai-blog/c1727ef5080b93a5e807558619334517.IMG_8444.webp)

![IMG_8445.png](https://img.huacai.one/huacai-blog/9d5e04202e3c24de1f49346f521c52e3.IMG_8445.webp)

![IMG_8446.png](https://img.huacai.one/huacai-blog/90ed17b473316510820d62ac514ec7e8.IMG_8446.webp)

![IMG_8448.png](https://img.huacai.one/huacai-blog/b573d0a732dff42b509f661fd3dcc602.IMG_8448.webp)

![IMG_8450.png](https://img.huacai.one/huacai-blog/4baa16de8c91a4c98ecb64125a9d4064.IMG_8450.webp)

# 3、最后
经过了一年的学习，从lv2到lv4  
虽然达不到奖学金的要求，但我个人还是很满意  
至少以后可以多一个吹牛的事件😁

![IMG_8423.png](https://img.huacai.one/huacai-blog/bbe1a95767c1dc4ac0cd465756adff5b.IMG_8423.webp)

如果你也对学英语感兴趣，不要犹豫了，跟我一起来打卡吧！  

![IMG_8454.png](https://img.huacai.one/huacai-blog/d59c51212ddac3d415769ce733be51d9.IMG_8454.webp)