Задача с собеседования / Unix-системы

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Задача с собеседования

15 сообщений из 15, страница 1 из 1

Задача с собеседования

#39279365

mlelechka

Гость

Второй день гуглю, ничего не нагуглю:

На сервере хранится очень большое количество файлов. Список файлов (разделенных символом перевода строки) можно получить по следующему URL: http://host/files. Некоторые из них мы периодически кешируем к себе на диск, но время от времени возникает необходимость удалить закешированный файл, если его больше нет на сервере. Сейчас это делается командой

curl http://host/files | grep -q my-file || rm my-file
Все ли хорошо в этой команде? Если нет, то что не так, и как это исправить? Список файлов очень большой и желательно не сохранять его на диск и тем более не закачивать весь в память.

Есть у кого-нибудь идеи?

...

Рейтинг:

0 / 0

25.07.2016, 02:04

| Ответить | Цитировать | Написать

Задача с собеседования

#39279371

Вячеслав Любомудров

Участник

Откуда: Владивосток

Сообщения: 18 655

Рейтинг: 0 / 0

Ога, файлы мы закачиваем (кешируем), а на список файлов места нет

Не делается разница между "список не получен" и "имя не найдено в списке"
Если по каким-нибудь причинам список файлов не отдастся (сервер недоступен, файл удален), кешированный файл будет удален, что, очевидно, не то, что задумывалось.

Т.е. можно как-то так:
curl --head --fail --silent http://host/files && (curl http://host/files | grep -q my-file || rm my-file)

...

Рейтинг:

0 / 0

25.07.2016, 04:30

| Ответить | Цитировать | Написать

Задача с собеседования

#39279448

Dimitry Sibiryakov

Участник

Сообщения: 54 521

Рейтинг: 0 / 0

И на каждый файл в кэше получать полный список файлов с сервера. Это как-то нехорошо.
Posted via ActualForum NNTP Server 1.5

...

Рейтинг:

0 / 0

25.07.2016, 10:55

| Ответить | Цитировать | Написать

Задача с собеседования

#39279535

Идущий лесом

Гость

на уровне командной строки не скажу, как решить. А для себя я в подобном случае скомпилил бы небольшую программку, которая сможет решать эту задачу с минимальными затратами ресурсов.

...

Рейтинг:

0 / 0

25.07.2016, 12:15

| Ответить | Цитировать | Написать

Задача с собеседования

#39279770

mlelechka

Гость

Идущий лесомна уровне командной строки не скажу, как решить. А для себя я в подобном случае скомпилил бы небольшую программку, которая сможет решать эту задачу с минимальными затратами ресурсов.

А как бы она решала эту задачу?

...

Рейтинг:

0 / 0

25.07.2016, 15:31

| Ответить | Цитировать | Написать

Задача с собеседования

#39279776

Dimitry Sibiryakov

Участник

Сообщения: 54 521

Рейтинг: 0 / 0

mlelechkaА как бы она решала эту задачу?
1) Получить список файлов с сервера;
2) Получить список файлов на локальном диске;
3) Сравнить их и получить разницу;
4) Принять меры.
Posted via ActualForum NNTP Server 1.5

...

Рейтинг:

0 / 0

25.07.2016, 15:46

| Ответить | Цитировать | Написать

Задача с собеседования

#39279812

Sergey Orlov

Участник

Откуда: СПб

Сообщения: 4 520

Рейтинг: 0 / 0

Можно еще поставить rsync или подобную утилиту с соответствующими настройками и запускать ее ручками когда надо...

...

Рейтинг:

0 / 0

25.07.2016, 16:43

| Ответить | Цитировать | Написать

Задача с собеседования

#39279816

Гость 321

Гость

Это похоже упражнение на Bloom фильтры

...

Рейтинг:

0 / 0

25.07.2016, 16:47

| Ответить | Цитировать | Написать

Задача с собеседования

#39279828

volodin661

Участник

Откуда: Внутренняя Монголия

Сообщения: 537

Рейтинг: 0 / 0

mlelechkaСписок файлов очень большой и желательно не сохранять его на диск и тем более не закачивать весь в память.
Есть у кого-нибудь идеи?

Код: powershell

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.

RANGES
 
  HTTP 1.1 introduced byte-ranges. Using this, a client can request
  to get only one or more subparts of a specified document. Curl supports
  this with the -r flag.
 
  Get the first 100 bytes of a document:
 
        curl -r 0-99 http://www.get.this/
 
  Get the last 500 bytes of a document:
 
        curl -r -500 http://www.get.this/

...

Рейтинг:

0 / 0

25.07.2016, 17:12

| Ответить | Цитировать | Написать

Задача с собеседования

#39279933

mlelechka

Гость

Dimitry SibiryakovmlelechkaА как бы она решала эту задачу?
1) Получить список файлов с сервера;
2) Получить список файлов на локальном диске;
3) Сравнить их и получить разницу;
4) Принять меры.

Да, сравнивать и получать разницу круто, но по условию "список файлов очень большой и желательно не сохранять его на диск и тем более не закачивать весь в память".

...

Рейтинг:

0 / 0

25.07.2016, 21:03

| Ответить | Цитировать | Написать

Задача с собеседования

#39279935

mlelechka

Гость

volodin661mlelechkaСписок файлов очень большой и желательно не сохранять его на диск и тем более не закачивать весь в память.
Есть у кого-нибудь идеи?

Код: powershell

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.

RANGES
 
  HTTP 1.1 introduced byte-ranges. Using this, a client can request
  to get only one or more subparts of a specified document. Curl supports
  this with the -r flag.
 
  Get the first 100 bytes of a document:
 
        curl -r 0-99 http://www.get.this/
 
  Get the last 500 bytes of a document:
 
        curl -r -500 http://www.get.this/

Не уверена, что это можно применить, придется каждый кусок сравнивать со списком того что на сервере и запоминать, что нашлось, а что нет...

...

Рейтинг:

0 / 0

25.07.2016, 21:05

| Ответить | Цитировать | Написать

Задача с собеседования

#39279937

mlelechka

Гость

Sergey OrlovМожно еще поставить rsync или подобную утилиту с соответствующими настройками и запускать ее ручками когда надо...

Да вот я как раз и не нагуглила ничего подходящего(( rsync был первой идеей

...

Рейтинг:

0 / 0

25.07.2016, 21:10

| Ответить | Цитировать | Написать

Задача с собеседования

#39279942

Dimitry Sibiryakov

Участник

Сообщения: 54 521

Рейтинг: 0 / 0

mlelechkaсравнивать и получать разницу круто, но по условию "список файлов очень большой и
желательно не сохранять его на диск и тем более не закачивать весь в память".

Если оба списка отсортированы, то этого и не требуется. Достаточно одновременно получать
по одному элементу из каждого списка.
Posted via ActualForum NNTP Server 1.5

...

Рейтинг:

0 / 0

25.07.2016, 21:19

| Ответить | Цитировать | Написать

Задача с собеседования

#39279961

volodin661

Участник

Откуда: Внутренняя Монголия

Сообщения: 537

Рейтинг: 0 / 0

mlelechkaпридется каждый кусок сравнивать

тебе не придётся ничего сравнивать,
сравнивать будет код на bash, который тебе предлагают написать при собеседовании,
но ты можешь с достоинством отказаться и от возни на bash, и от собеседования.

...

Рейтинг:

0 / 0

25.07.2016, 22:02

| Ответить | Цитировать | Написать

Задача с собеседования

#39279962

MazoHist

Участник

Сообщения: 999

Рейтинг: 0 / 0

Если предположить что получение списка требует больше ресурсов, чем собственно проверка - то дешевле попытаться обратиться к самому файлу и если файл не найден - удалить

Код: sql

for i in `ls -1`; do  curl -I -s -L -w "%{http_code}" http://host/$i -o dev/null|grep -qv 200 && rm $i; done

...

Рейтинг:

0 / 0

25.07.2016, 22:04

| Ответить | Цитировать | Написать

15 сообщений из 15, страница 1 из 1

Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Задача с собеседования

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/topic.php?fid=25&fpage=21&tid=1481705]:	0ms
get settings:	12ms
get forum list:	16ms
check forum access:	4ms
check topic access:	4ms
track hit:	56ms
get topic data:	14ms
get forum data:	3ms
get page messages:	61ms
get tp. blocked users:	2ms
others:	272ms

total:	444ms