0を足すと0になる？

解決

sak 2003-08-01 22:26:04 No: 78858

初歩的なことかも知れませんが、御教授お願いします。

データの平均を取ってグラフ化するプログラムを作っているのですが
平均を取るためにデータを足す時、０を足すと
-1.631E-8 + 0.000 = 0
こんな感じになってしまいます。
０以外ではちゃんと計算できていますが、１回でも０を足すと全て０になります。
変数の型はvariantです。
原因は何でしょうか？

よろしくお願いします。

イトウ 2003-08-04 21:56:53 No: 78859

仮数の桁落ちですかね？…でも0はちゃんと認識しているはずですから、違うか。
もしかしたらCPUやらの危険信号かもしれません。

ちなみにMicrosoft VBSはデバッグウィンドウで、
? -1.631E-8 + 0.000
しても、
-0.00000001631
って出てきましたが。

ひとまず、浮動小数点をDoubleやVariantでCDecをかけて十進型にして計算してみてください。

sak 2003-08-05 00:34:39 No: 78860

回答ありがとうございます。

いろいろと試してみたところ、csvファイルから配列に読み込んで
計算してたんですが、ファイル上では 0.000 だったのが
変数に収めると 0 になっていました。
これをもう一度 0.000(0#)に置き換えることで解決しました。

どうもお騒がせしましたm(_ _)m