掲示板システム
ホーム
アクセス解析
カテゴリ
ログアウト
浮動小数点で誤差発生のデータを作成するには? (ID:115167)
名前
ホームページ(ブログ、Twitterなど)のURL (省略可)
本文
質問いたします 浮動小数点でFIX関数を使い誤差 これはわかっているつもりなのですが 逆に誤差がどのようなデータで発生するのかを調べたいのです FIX(A / B * C) の式を用いたいと思います(ABCはいずれもdouble型) 一応自分なり解釈ですと よく出てくる例で32 / 1000 * 1000 = 31 0.032は0.031999999・・・となり微妙に32に足らなくなるため 起こると認識はしています そこで、ある整数値Xを1000で割り(これをY)、 Xから1000回Yを引けば0より大きいか小さいかで見つけられると思ったのですが うまく見つけられず・・・ また32/1000*1000は31なのに 320/10000*10000は320になることにも何か納得できません (CPU等にも依存するそうですが・・・) 今回の目標はうまくデータを作成することにあり、 納得することではないのですが 何かうまくデータを作成する方法等ございましたらご教授願います WINDOWS2000 Pro VisualBasic5.0 SP5
←解決時は質問者本人がここをチェックしてください。
戻る
掲示板システム
Copyright 2020 Takeshi Okamoto All Rights Reserved.