precision

7Ciepło

4Odpowiedz

Jestem zainteresowany implementowaniem algorytmu na GPU przy użyciu HLSL, ale jednym z moich głównych problemów jest to, że chciałbym mieć zmienny poziom precyzji. Czy są dostępne techniki emulowania

5Ciepło

7Odpowiedz

Lepsze przybliżenie ei Javy

Chciałbym przybliżyć wartość e do jakiejkolwiek pożądanej precyzji. Jaki jest najlepszy sposób na zrobienie tego? Najbardziej udało mi się uzyskać e = 2,7182818284590455. Dowolne przykłady modyfikacji

8Ciepło

4Odpowiedz

MATLAB - pytanie podłogowe

Jestem początkującym MATLAB. Oto problem: >> a = floor(7/2.5) a = 2.00 >> b = rem(7,2.5) b = 2.00 >> c = floor(b/2) c = 0 c powinno wynosić 1, prawda? Dlaczego to 0 ??

7Ciepło

4Odpowiedz

Najlepszy algorytm do unikania utraty precyzji?

Niedawne zadanie domowe, które otrzymałem, prosi nas o wyrażenie, które może spowodować utratę precyzji podczas wykonywania w komputerze, i zmienić je tak, aby uniknąć tej straty. Niestety, wskazówki

9Ciepło

3Odpowiedz

Serwer SQL: obliczanie za pomocą literałów numerycznych

Wykonałem kilka testów z obliczeniami zmiennoprzecinkowymi, aby zminimalizować utratę precyzji. Natknąłem się na fenomen, który chcę tutaj pokazać i mam nadzieję, że otrzymam wyjaśnienie. Kiedy piszę

7Ciepło

7Odpowiedz

JavaScript 64-bitowa precyzja numeryczna

Czy istnieje sposób na przedstawienie liczby z większą niż 53-bitową precyzją w JavaScript? Innymi słowy, czy istnieje sposób przedstawienia 64-bitowej liczby dokładnej? Próbuję zaimplementować pewną

27Ciepło

2Odpowiedz

Haskell: Siła płynie mieć dwie dziesiętne

Korzystanie następujący fragment kodu: (fromIntegral 100)/10.00 Korzystanie z Haskell '98 standardowego preludium, jak mogę reprezentować wynik z dwóch miejsc po przecinku? Dzięki.

7Ciepło

7Odpowiedz

Dlaczego kolejność wpływu na zaokrąglenie podczas dodawania wielu podwaja w C#

Rozważmy następujący kod C#: double result1 = 1.0 + 1.1 + 1.2; double result2 = 1.2 + 1.0 + 1.1; if (result1 == result2) { ... } wynik1 powinien zawsze równe prawo wynik2? Rzecz w tym, że

5Ciepło

3Odpowiedz

zmiennoprzecinkowej Ograniczenia

Mój kod: a = '2.3' chciałem wyświetlić a jako wartości zmiennoprzecinkowej. Od a jest ciągiem znaków, próbowałem: float(a) Wynik Dostałem: 2.2999999999999998 Chcę rozwiązanie tego problemu. Pros

15Ciepło

6Odpowiedz

Jaką klasę użyć do reprezentacji pieniędzy?

Jakiej klasy należy użyć do reprezentowania pieniędzy, aby uniknąć większości błędów zaokrąglania? Czy powinienem używać Decimal, czy też prostego wbudowanego number? Czy istnieje klasa Money z obsług