Czy mogę uruchomić line_profiler za pomocą testu pytającego?

Question

mam zidentyfikować niektóre długo działające testy pytest z

py.test --durations=10 

Chciałbym instrumentem jeden z tych testów teraz z czymś line_profiler lub cprofile. Naprawdę chcę uzyskać dane profilu z samego testu, ponieważ konfiguracja Pythona może być częścią powolnego działania.

Jednak biorąc pod uwagę, w jaki sposób zazwyczaj występuje element line_profiler lub cprofile, nie jest dla mnie jasne, jak sprawić, by działały z pytestem.

Answer 1

Aby uzyskać cProfile i line_profiler do pracy z kodem py.test, zrobiłem dwie rzeczy:

1. przedłużyła py.test kodu testowego z wezwaniem do pytest.main(), co sprawiło, że wykonywalny z interpreter Pythona jako głównego kierowcy:

   # pytest_test.py: 
   @profile # for line_profiler only 
   def test_example(): 
       x = 3**32 
       assert x == 1853020188851841 
   
   # for profiling with cProfile and line_profiler 
   import pytest 
   pytest.main(__file__) 
   

   teraz można uruchomić ten test bez py.test jako głównego kierowcę za pomocą innych narzędzi:

   $ kernprof.py -l pytest_test.py 
   $ python -m line_profiler pytest_test.py.lprof 
   

   lub

   $ python -m cProfile pytest_test.py 
   

2. Do profilu py.test specyficzne funkcje, takie jak pytest_funcarg*() z line_profiler podzielić je na dwie części, aby uniknąć nieporozumień pomiędzy py.test i line_profiler:

   def pytest_funcarg__foo(request): 
       return foo(request) 
   
   @profile 
   def foo(request): 
   ... 
   

Ta sama metoda działa dla memory_profiler.

Answer 2

Run pytest tak:

python -m cProfile -o profile $(which py.test) 

Można nawet przejść w opcjonalnych argumentów:

python -m cProfile -o profile $(which py.test) \ 
    tests/worker/test_tasks.py -s campaigns 

To utworzy plik binarny o nazwie profile w bieżącym katalogu. Można to przeanalizować za pomocą pstats:

import pstats 
p = pstats.Stats('profile') 
p.strip_dirs() 
p.sort_stats('cumtime') 
p.print_stats(50) 

Spowoduje to wydrukowanie 50 wierszy o najdłuższym łącznym czasie trwania.