Piękne Soup findAll ich nie znaleźć wszystko

Question

Próbuję analizować stronę internetową i uzyskać pewne informacje z BeautifulSoup.findAll ale nie znaleźć je wszystkie .. Używam python3

kod jest to

#!/usr/bin/python3 

from bs4 import BeautifulSoup 
from urllib.request import urlopen 

page = urlopen ("http://mangafox.me/directory/") 
# print (page.read()) 
soup = BeautifulSoup (page.read()) 

manga_img = soup.findAll ('a', {'class' : 'manga_img'}, limit=None) 

for manga in manga_img: 
    print (manga['href']) 

to tylko drukuje połowę z nich ...

Answer 1

Different parser HTML sprawa inaczej ze złamanym HTML. Że strona służy złamaną HTML i lxml parser nie ma do czynienia bardzo dobrze z nim:

>>> import requests 
>>> from bs4 import BeautifulSoup 
>>> r = requests.get('http://mangafox.me/directory/') 
>>> soup = BeautifulSoup(r.text, 'lxml') 
>>> len(soup.findAll('a', {'class' : 'manga_img'})) 
18 

biblioteki standardowej html.parser ma mniej kłopotów z tej konkretnej stronie:

>>> soup = BeautifulSoup(r.text, 'html.parser') 
>>> len(soup.findAll('a', {'class' : 'manga_img'})) 
44 

Translating że do konkretnego kodu próbka przy użyciu urllib, należy określić parser w ten sposób:

soup = BeautifulSoup(page.read(), 'html.parser')