掲示板システム
ホーム
アクセス解析
カテゴリ
ログアウト
小数の比較をするには？ (ID:38933)
名前
ホームページ(ブログ、Twitterなど)のURL (省略可)
本文
計算機の中では数値を2進数で表しますが、2.1などの値は2進数で正確に表現できないため誤差が出ます。 「浮動小数点 丸め誤差」などで検索すれば詳しい解説が見つかると思います。 小数の比較では「=」を使わず、常に大小で比較するか誤差を見込むのが鉄則。 例えば小数点以下10桁程度の誤差を許すとしたら CompareValue(r, 2.1, 1e-10) = 0 としてみてはどうでしょう。
←解決時は質問者本人がここをチェックしてください。
更新する
戻る
掲示板システム
Copyright 2021 Takeshi Okamoto All Rights Reserved.