Jak podzielić łańcuch na wiele ograniczników, ale przechwytuje tylko niektóre?

Question

Chcę podzielić ciąg na dowolną kombinację dostarczonych ograniczników. Na przykład, jeśli ciąg jest:

s = 'This, I think,., کباب MAKES , some sense ' 

I separatory są \., , i \s. Jednak chcę przechwycić wszystkie ograniczniki z wyjątkiem spacji \s. Wyjście powinno być:

['This', ',', 'I', 'think', ',.,', 'کباب', 'MAKES', ',', 'some', 'sense'] 

Moje rozwiązanie do tej pory jest za pomocą modułu re:

pattern = '([\.,\s]+)' 
re.split(pattern, s) 

Jednak ten rejestruje odstępy, jak również. Próbowałem używać innych wzorców, takich jak [(\.)(,)\s]+, ale one nie działają.

Edytuj: @PadraicCunningham dokonał wnikliwej obserwacji. W przypadku ograniczników takich jak Some text ,. , some more text, chciałbym tylko usunąć początkowe i końcowe spacje z ,. ,, a nie białe spacje wewnątrz.

Answer 1

następujące podejście byłoby najbardziej prosty, przypuszczam ...

s = 'This, I think,., کباب MAKES , some sense ' 
pattern = '([\.,\s]+)' 
splitted = [i.strip() for i in re.split(pattern, s) if i.strip()] 

Wyjście:

['This', ',', 'I', 'think', ',.,', 'کباب', 'MAKES', ',', 'some', 'sense'] 

Answer 2

Aktualizacja oparta na ostatniej edycji OP

Python 3 . *:

list(filter(None, re.split('([.,]+(?:\s+[.,]+)*)|\s', s))) 

wyjściowa:

['This', ',', 'I', 'think', ',.,', 'کباب', 'MAKES', ',', 'some', 'sense'] 

Answer 3

Wierzę, że to jest najbardziej wydajnym rozwiązaniem dotyczących pamięci i bardzo efektywny czas dotyczące obliczeń:

import re 
from itertools import chain 
from operator import methodcaller 

input_str = 'This, I think,., ???? MAKES , some sense ' 

iterator = filter(None, # Filter out all 'None's 
        chain.from_iterable( # Flatten the tuples into one long iterable 
        map(methodcaller("groups"), # Take the groups from each match. 
         re.finditer("(.*?)(?:([\.,]+)|\s+|$)", input_str)))) 

# If you want a list: 
list(iterator) 

Answer 4

UWAGA: Według nowej edycji na pytanie, Poprawiłem moje stare wyrażenie regularne. Ten nowy jest dość długi, ale uwierz mi, to działa!

Proponuję wzór poniżej jako ogranicznik funkcji re.split():

(?<![,\.\ ])(?=[,\.]+)|(?<=[,\.])(?![,\.\ ])|(?<=[,\.])\ +(?![,\.\ ])|(?<![,\.\ ])\ +(?=[,\.][,\.\ ]+)|(?<![,\.\ ])\ +(?![,\.\ ]) 

Moja obejście tutaj nie wymaga żadnych pre/post modyfikację przestrzeni. Rzeczą, która sprawia, że ​​wyrażenie regularne działa, jest to, w jaki sposób zamawiamy wyrażenie regex z or. Moja pobieżna strategia to wszelkie wzorce, które zajmują się wiodącą przestrzenią, będą oceniane jako ostatnie.

Zobacz DEMO

dodatkowe

Według komentarza @ Revo on przedstawił wersję inny skrócić kopalni, która jest

\s+(?=[^.,\s])|\b(?:\s+|(?=[,.]))|(?<=[,.])\b 

Zobacz DEMO