|
Очистка данных в базе данных
|
||
|---|---|---|
Участник
Откуда: планета орков, г.Зверополис
Сообщения: 1 099 |
||
| 21.09.2019, 19:09 |
|
|
|
|
|
Очистка данных в базе данных
|
|||
|---|---|---|---|
|
#18+
Здравствуйте. Подскажите, пожалуйста. Есть база данных из 15 тысяч строк и 50 признаков. Нужно "очистить" данные, как это сделать? Там есть и просто текст (например, образование), и возраст, и другие данные. С чего начать "подготовку"? Помогите, пожалуйста, советом, очень нужно!!!! Заранее спасибо ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.09.2019, 12:54 |
|
||
|
Очистка данных в базе данных
|
|||
|---|---|---|---|
|
#18+
Student191С чего начать "подготовку"?С того, чтобы сделать бэкап. Чтобы не было мучительно больно когда за исчезновение данных будут бить. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.09.2019, 12:59 |
|
||
|
Очистка данных в базе данных
|
|||
|---|---|---|---|
|
#18+
Student191Есть база данных из 15 тысяч строк и 50 признаков. это в таблицах строки а в базах данных таблицы Нужно "очистить" данные, как это сделать? Код: sql 1. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.09.2019, 19:09 |
|
||
|
Очистка данных в базе данных
|
|||
|---|---|---|---|
|
#18+
Речь про очистку полей от ценной инфы, без удаления записей ? Тогда что-то вроде: UPDATE MyTable set Field1 = null, Field2 = null, Field3 = null, Field4 = null, .... или некое "пустое значение", если поле требует непустоты. пысы: ну и вопрос....ппц просто.... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.09.2019, 21:57 |
|
||
|
Очистка данных в базе данных
|
|||
|---|---|---|---|
|
#18+
Student191, 1. составить требования к чистым данным - что где и в каком формате должно храниться. 2. придумать какие-то простенькие алгоритмы, которые из грязных данных как-то примерно извлекают чистые в большинстве случаев. 3. написать клиентское приложение, которое построчно проходит по базе, и отображает оператору грязные данные и очищенные алгоритмами из второго пункта. Оператор в приложении либо подтверждает правильность извлечения данных, либо исправляет руками и подтверждает, либо помечает строку как пропущенную и оставляет её для уточнения с владельцем данных или начальством или кем-то ещё. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.09.2019, 22:32 |
|
||
|
Очистка данных в базе данных
|
|||
|---|---|---|---|
|
#18+
Gerros, да именно это и надо. Ох, сложновато звучит...А можете проконсультировать в лс на примере хотя бы одного параметра? Пожалуйста ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2019, 18:22 |
|
||
|
Очистка данных в базе данных
|
|||
|---|---|---|---|
|
#18+
Student191, Пришлите фрагмент исходных данных на почту в профиле. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2019, 18:47 |
|
||
|
Очистка данных в базе данных
|
|||
|---|---|---|---|
|
#18+
Gerros, прислала, правда, всю таблицу, посмотрите, какой более-менее нормальный параметр там... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2019, 19:34 |
|
||
|
Очистка данных в базе данных
|
|||
|---|---|---|---|
|
#18+
Student191Здравствуйте. Подскажите, пожалуйста. Есть база данных из 15 тысяч строк и 50 признаков. Нужно "очистить" данные, как это сделать? Там есть и просто текст (например, образование), и возраст, и другие данные. С чего начать "подготовку"? Помогите, пожалуйста, советом, очень нужно!!!! Заранее спасибо Не нужно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.10.2019, 12:53 |
|
||
|
Очистка данных в базе данных
|
|||
|---|---|---|---|
|
#18+
Кстати, да. В таблице данные оставьте в таком виде и не трогайте - это будет таблица исходных данных, она должна быть неизменна - чтобы было что смотреть, когда лишнего отчистите. Для чистых данных нужна будет ещё одна таблица. Потом составляете список, что считать шумом в данных. Пишите список эвристик, на которые будете опираться при очистке данных. Лучше добавить их на какое-нибудь корпоративное wiki. Чистить данные в несколько шагов. 1. Удалить лишние/дублирующиеся строки. 2. Поправить данные в полях, если это можно сделать опираясь на другие поля. 3. Попытаться как-то сагрегировать данные. Так же нужна будет отдельная проверка "чистых" данных - что они действительно чистые. Может часть данных придётся выводить на ручную проверку. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.10.2019, 15:17 |
|
||
|
Очистка данных в базе данных
|
|||
|---|---|---|---|
|
#18+
Student191Здравствуйте. Подскажите, пожалуйста. Есть база данных из 15 тысяч строк и 50 признаков. Нужно "очистить" данные, как это сделать? Там есть и просто текст (например, образование), и возраст, и другие данные. С чего начать "подготовку"? Помогите, пожалуйста, советом, очень нужно!!!! Заранее спасибо Обычно удяляет данные человек отвественный. Например - владелец бизнеса. Если вы удалите и чего-то напортачите а бэкап как всегда был нерабочий уже 2 года - то вас будут бить больно. Хороший совет - перед удалением написать скрипты и показать их и их результат ответственному. Особенно с этими 50 так называемыми признаками. Что-то здесь в этой постановке плохо... Расплывчато... Как говорил мой военрук - нижуя непонятно. Еще также хороший совет сделать дамп этой таблицы и ее зависимых во внешние файлы. И хранить дамп хотя-бы лет 5. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.10.2019, 15:24 |
|
||
|
|
start [/forum/topic.php?fid=32&msg=39876622&tid=1539901]: |
0ms |
get settings: |
9ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
41ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
57ms |
get tp. blocked users: |
2ms |
| others: | 16ms |
| total: | 159ms |
| 0 / 0 |
