Murmurhash 2 wyniki na python i Haskell

Question

Haskell i Python nie wydają się zgadzać na wyniki Murmurhash2. Python, Java i PHP zwróciły te same wyniki, ale Haskell nie. Czy robię coś złego w sprawie Murmurhash2 na Haskell?

Oto mój kod Haskell Murmurhash2:

import Data.Digest.Murmur32 

    main = do 
    print $ asWord32 $ hash32WithSeed 1 "woohoo" 

A oto kod napisany w Pythonie:

import murmur 

if __name__ == "__main__": 
    print murmur.string_hash("woohoo", 1) 

Python powrócił 3650852671 natomiast Haskell powrócił 3966683799

Answer 1

Pakiet murmur-hash (jestem jego autorem) nie obiecuje obliczyć tych samych skrótów, jak w innych językach. Jeśli polegasz na skrótach, które mają być kompatybilne z innym oprogramowaniem, które oblicza skróty, sugeruję utworzenie wrapperów newtype, które obliczają skróty tak jak chcesz. W szczególności w przypadku tekstu należy przynajmniej określić kodowanie. W twoim przypadku możesz przekonwertować tekst na ciąg ASCII, używając Data.ByteString.Char8.pack, ale to nadal nie daje tego samego skrótu, ponieważ instancja ByteString jest bardziej zastępcza.

BTW, nie aktywnie ulepszam tego pakietu, ponieważ MurmurHash2 został zastąpiony przez MurmurHash3, ale nadal akceptuję poprawki.

Answer 2

Z szybkiego przeglądu ze źródeł wygląda na to, że algorytm działa na 32 bitach na raz. Wersja Pythona pobiera je po prostu pobierając 4 bajty na raz z ciągu wejściowego, podczas gdy wersja Haskella konwertuje każdy znak do pojedynczego 32-bitowego indeksu Unicode.

Dlatego nie jest zaskakujące, że przynoszą różne wyniki.