ReSQL.ru
     
powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / почему при обычном делении теряется точность
5 сообщений из 5, страница 1 из 1
почему при обычном делении теряется точность
    #39919075
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
почему при обычном делении теряется точность?

Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
use tempdb 
GO 
create table t(x decimal(38,20))
GO
INSERT INTO t VALUES (0.000000025),(0.000000045),(0.000000065)
GO 
SELECT X, X/SUM(X) OVER(), 0.0000000000001 * CAST((10000000000000.0 * X/SUM(X) OVER()) AS decimal(38,20))  FROM T
GO 
DROP table t
GO




X (No column name) (No column name)
0.00000002500000000000 0.185185 0.1851851851851851851
0.00000004500000000000 0.333333 0.3333333333333333333
0.00000006500000000000 0.481481 0.4814814814814814814
...
Рейтинг: 0 / 0
27.01.2020, 14:01
| Ответить | Цитировать | Написать  
почему при обычном делении теряется точность
    #39919082
TaPaK
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
TaPaK
Участник
a_voronin,

Сотни ответов на этом форуме.
Не разбирая - не влазит по расчётной разрядности - уменьшает точность.
сабж
https://docs.microsoft.com/en-us/sql/t-sql/data-types/precision-scale-and-length-transact-sql?view=sql-server-ver15
...
Рейтинг: 0 / 0
27.01.2020, 14:17
| Ответить | Цитировать | Написать  
почему при обычном делении теряется точность
    #39919087
msLex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
msLex
Участник
https://docs.microsoft.com/en-us/sql/t-sql/data-types/precision-scale-and-length-transact-sql
...
Рейтинг: 0 / 0
27.01.2020, 14:21
| Ответить | Цитировать | Написать  
почему при обычном делении теряется точность
    #39919103
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
TaPaK,

e1 / e2 p1 - s1 + s2 + max(6, s1 + p2 + 1) max(6, s1 + p2 + 1)

магическое число 6
...
Рейтинг: 0 / 0
27.01.2020, 15:00
| Ответить | Цитировать | Написать  
почему при обычном делении теряется точность
    #39919113
TaPaK
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
TaPaK
Участник
a_voronin
TaPaK,

e1 / e2 p1 - s1 + s2 + max(6, s1 + p2 + 1) max(6, s1 + p2 + 1)

магическое число 6

что 6?

у вас сначало e1 + e2 max(s1, s2), потом деление. После сложение получает тип с большой целой, что уменьшит на делении точность.

рабейте и посмотрите вывод

Код: sql
1.
2.
3.
4.
5.
SELECT SQL_VARIANT_PROPERTY(SUM(X) OVER(),'Precision') FROM T
SELECT SQL_VARIANT_PROPERTY(SUM(X) OVER(),'Scale') FROM T

SELECT SQL_VARIANT_PROPERTY(X/SUM(X) OVER(),'Precision') FROM T
SELECT SQL_VARIANT_PROPERTY(X/SUM(X) OVER(),'Scale') FROM T


и потом в формулы
...
Рейтинг: 0 / 0
27.01.2020, 15:28
| Ответить | Цитировать | Написать  
5 сообщений из 5, страница 1 из 1
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / почему при обычном делении теряется точность
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=46&gotonew=1&tid=1686595]:
 0ms
get settings:
 10ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 38ms
get topic data:
 12ms
get first new msg:
 8ms
get forum data:
 3ms
get page messages:
 47ms
get tp. blocked users:
 1ms
others: 16ms
total:  157ms
созд. / загр.: 157ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]