掲示板システム
ホーム
アクセス解析
カテゴリ
ログアウト
TIBSQLで正確な数値が取得できない件について (ID:27515)
名前
ホームページ(ブログ、Twitterなど)のURL (省略可)
本文
>2進数による誤差ですから とのことからもう一度他の値について誤差が発生していないかを調べました所、 >他の”0.55”、”0.57”では正確な値がXMLへ出力されます。 と記載しましたが、あくまでXML出力時に丸められただけで期待する値は変数に保持されていませんでした。 いままでTIBSQLが勝手に演算していてくれているのかな程度しか考えていなかったたのですが、逆にとてもビットに対して正確な値を返そうとしていたのですね。 とても、勉強になりました。 今回は、それほど小数部の値が影響する処理ではないので仕様上の有効桁で四捨五入しようと思います。 HOtaさんありがとうございました。
←解決時は質問者本人がここをチェックしてください。
更新する
戻る
掲示板システム
Copyright 2021 Takeshi Okamoto All Rights Reserved.