計算範囲と精度

計算範囲と精度

計算範囲は、±10−99\displaystyle \pm 10^{-99}から±9.999999999×1099\displaystyle \pm 9.999999999 \times 10^{99}まで、および0です。10のマイナス99乗より小さい数は、0として扱われます。範囲内では、答えの精度は最後の桁で±1\displaystyle \pm 1です。長い計算や、yx\displaystyle y^{x}、x\displaystyle x乗根、階乗、ex\displaystyle e^{x}、LNなどの関数の内部、関数が飛んだり向きを変えたりする点の近くでは、小さな誤差が積み重なることがあります。

▶ この手順を動画で見る (1:13:27)