|
|
|
QA и EM - кто-то нездоров
|
|||
|---|---|---|---|
|
#18+
объясните пожолуйста почему QA показывает 2.9999999999999999E-2 а EМ 0.03 одно и то же значение. тип флоат. кто правильней. какое число на самом деле хранится в базе. Кто округляет. Насчет попадания числя в таблицу ничего сказать не могу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2002, 15:14:07 |
|
||
|
QA и EM - кто-то нездоров
|
|||
|---|---|---|---|
|
#18+
а региональные настройки пробовали менять ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2002, 15:49:41 |
|
||
|
QA и EM - кто-то нездоров
|
|||
|---|---|---|---|
|
#18+
EM округляет.... а табличку поподет не окруленное... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2002, 15:50:19 |
|
||
|
QA и EM - кто-то нездоров
|
|||
|---|---|---|---|
|
#18+
то есть , хочеш сказать что в базе на самом деле записано 2.9999999999999999E-2 ? еще кто нить может объяснить отчего при select table.kal типа флоат иногда вылазют нормальные значения а иногда ужасные и все в QA предположу что это изза того что при каком-то апдейте произошло вычисление типа update table set column=column-column2 где column2 уже заранее бажная. но как она такой стала - вот вопрос ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2002, 15:57:48 |
|
||
|
QA и EM - кто-то нездоров
|
|||
|---|---|---|---|
|
#18+
обычно таки числа получаются по другому... 1.0 /3.0... тип того... я ухожу от этого так: либо округлением, либо numeric(x,y).... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2002, 16:11:57 |
|
||
|
QA и EM - кто-то нездоров
|
|||
|---|---|---|---|
|
#18+
то есть явно вставляя число в таблицу можно не боятся что оно преобразится? или я чего то недопонимаю. все глючные значения появляются только в результате вычислений производимых с полем внутри каког либо запроса ? Так? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2002, 16:22:15 |
|
||
|
QA и EM - кто-то нездоров
|
|||
|---|---|---|---|
|
#18+
угу.... вообщето float предназначен для приближенных вычислений... как думаеш что будет здесь: 1.333E32 * 2.01E-32 ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2002, 16:33:25 |
|
||
|
QA и EM - кто-то нездоров
|
|||
|---|---|---|---|
|
#18+
интересно а откуда тогда берутся цифры после 15 знака? Разве во флоате имеется еще место и для них? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2002, 16:49:16 |
|
||
|
QA и EM - кто-то нездоров
|
|||
|---|---|---|---|
|
#18+
а теперь замени на + (или -).... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2002, 16:49:36 |
|
||
|
QA и EM - кто-то нездоров
|
|||
|---|---|---|---|
|
#18+
почитай в книгах по программированию про типы данных (есть мантиса и порядок)... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2002, 16:52:07 |
|
||
|
QA и EM - кто-то нездоров
|
|||
|---|---|---|---|
|
#18+
а может ли кто нить это объяснить как последнему ДАУНУ на битовом уровне. спасибо ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2002, 16:54:19 |
|
||
|
QA и EM - кто-то нездоров
|
|||
|---|---|---|---|
|
#18+
число состоит из двух частей в первой части приведенное число(типа 0.значащие цифры) тоесть цивры после точки(перед точкой всегда 0) и вторая часть это порядок т.е в вслучае с двоичной системой 2 в степени порядок ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2002, 17:00:11 |
|
||
|
QA и EM - кто-то нездоров
|
|||
|---|---|---|---|
|
#18+
Если подключение к базе через БДЕ то если опция "enable BCD" стоит false то такие проблемы будут и при вводе числа ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.08.2002, 18:05:58 |
|
||
|
QA и EM - кто-то нездоров
|
|||
|---|---|---|---|
|
#18+
на самом деле проблема вот в чем. некоторые конечные десятичные дроби являются безконечными в их бинарном представлении. так 0.4 , 0.1 , 0.2 и тд. выглядят уродливо так как округляются тока первые 15 цифр. а всё что дальше - достаточно правдоподобно. так как в базе хранится не само число 0.4 а его двоичный эквивалент, который на самом деле округлён и слегка недотягивает до 0.4 с одной или другой стороны. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2002, 13:08:46 |
|
||
|
|

start [/forum/topic.php?fid=46&msg=32039162&tid=1821342]: |
0ms |
get settings: |
6ms |
get forum list: |
10ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
42ms |
get topic data: |
7ms |
get forum data: |
2ms |
get page messages: |
32ms |
get tp. blocked users: |
1ms |
| others: | 203ms |
| total: | 307ms |

| 0 / 0 |
