Друзья, очень просим вашей помощи.
Ведем с девушками и женщинами форум помощи животным, в основном кошкам и собакам (хотя спасали и ручную крысу). Так получилось, что владелец сайта продал его фирме-перекупщику сайтов. Они оставили нам права администраторов для управления форумом - чистки от спама, банов "разведенцам" и "коробочникам" и т.д. Доступа к работе сайта у нас нет. В последние где-то пол года форум стал очень плохо работать - сначала перестал работать поиск по форуму, потом перестали приходить уведомления на почту о новых сообщениях и наконец начались проблемы с регистрацией и входом - через раз работает регистрация новых пользователей, так же вход по своему паролю и его восстановлению. Пробовали писать им, но они не отвечают. Кроме того они размещают на сайте море рекламы, а на форуме нельзя прикреплять картинки - только через сервисы radikal и т.п.

Из-за проблем с регистрацией и входом хотим уйти на свой сайт, даже с потерей доменного имени. Но для нас очень важен контент форума - информация о "черных" передержках, "коробочниках", наконец просто темы по больным котикам или собакам - многие из них ведутся много лет.

Сейчас как мы поняли вся работа с активным контентом ведётся через базы данных, но фирма не дает нам доступа к базе данных форума и просто так перенести контент мы не можем. Скажите, может быть можно как-то из html страничек форума создать базу данных и перенести её на новый сайт стандартными средствами ? Ничего не понимаем в этом. Знаем, что раньше легко можно было создать образ сайта скажем программами типа webzip и залить его на новый адрес, но с форумом видимо такая вещь не получится.
Может быть можно заплатить программистам чтобы они написали программу, которая бы просканировала все страницы форума и внесла их в базу данных ?
Не указываем названия форума, так как боимся что владельцы сайта лишат нас прав администраторов. Можете сделать поиск по приложенным изображениям в браузере или на yandex.картинки - вы сразу увидите название нашего форума.
P.S. Прошу модераторов перенести тему в нужный раздел если ошиблись или посоветовать где можно спросить.

crutchmaster,

Мы боимся что как только владельцы сайта увидят что мы собираемся уходить, они лишат девушек-модераторов последних прав администрирования, после чего помогать животным станет окончательно невозможно. Здесь не прикрепились картинки, иначе бы вы перешли по ссылке и увидели что там творится - реклама бурения на скважины, как похудеть за две недели и с кем сейчас Лолита. При первом входе на форум и нажатии на любую ссылку вас сначала перебрасывает на сайт желтых новостей, а потом уже начинают работать ссылки. Девчонки написали кучу сообщений владельцам сайта, что у нас не работает даже регистрация, но те не снизошли хотя бы до ответа.

crutchmaster,

Про законность конечно мы думали. Кому принадлежит сообщение на форуме - тому кто его написал или тому кто опубликовал ? Думаю, мы как-нибудь смогли бы решить этот вопрос. Сейчас важнее как всё-таки перевести информацию из формата html страничек в формат современной базы данных.

crutchmaster, s_ustinov,
спасибо за ваши советы.

Про коммерческую составляющую и хостинг. С этим не должно быть больших проблем - на форуме много жертвователей на покалеченных, несчастных животных, думаю, если объяснить ситуацию, что нам критически важно переехать и найти 3-4 тысячи рублей в месяц на хостинг, то мы найдём эти деньги. Многие, включая меня, тратят большую часть своей зарплаты помогая живности, хостинг будет просто ещё одной формой помощи.

Вы правильно пишете что дальше надо выкачать содержимое, тем же webzip'ом, хотя мне напомнили про более мощную программу - teleport pro. С картинками проблем быть не должно - на нашем форуме их просто нет, так решил владелец сайта (все картинки на внешних ресурсах - radikal и т.д.). С переносом пользователей тоже не проблема, мы уже думали - придётся просто разослать всем или хотя бы самым активным пользователям сообщение с просьбой перерегистрироваться на новом месте. Но как потом запихнуть все старые сообщения в новую базу данных !? Не смог найти даже близко решения в сети. Если честно, это удивительно, ведь форумы наверное только в последние лет 10 хранятся в базах данных sql, а раньше этого ничего не было ведь. Как же администраторы переносили свои форумы ? Может помните раньше были такие "доски объявлений", FIDOnet, там была просто куча сообщений, как же их переносили в своё время ? Даже современные форумы, ну тот же cells.ru :
http://cells.ru/forum/list.php?7
Почти уверен что сообщения на нем хранятся в виде кучи html, даже без картинок. Если владелец решит сменить формат форума, то только через удаление, никаких средств миграции ни Microsoft, ни Oracle не придумали ?

Почитал на выходных книгу по базам данных, там всё-таки все не то. Даже про импорт данных ни слова. Опять - удивительно, даже в excel можно импортировать данные разных типов из обычного текстового файла, лишь бы они были разделены как-то однотипно - пробелами, запятыми.

В общем, без помощи тех, кто уже проходил через это я боюсь нам не справиться. Уже думал, что придётся писать что-то на C++ под эту конкретную задачу, но я ничего не знаю про sql - ни как там хранятся данные, ни как они организованы. Теоретически все просто - тема такая-то, в ней пользователь с логином таким-то написал сообщение с номером таким-то, дата, оформление сообщения, вложения. Но как все это запихнуть в sql чтобы новый движок форума смог импортировать ? Вообще правильно ли я все понимаю или все работает по-другому ?

Спасибо всем за советы.

Усталый разработчик, как говорят американцы (а может быть и не говорят) "вы видите проблему". Решить на кого зарегистрировать новый домен сейчас проблема номер один, нам хватило этого владельца с его отношением выше крыши, причем думаем и про благотворительные фонды.

Я повторюсь - нам очень хотелось бы перенести активную версию форума, а не html-копию. Я писал - женщины ведут там какие-то свои темы про подобранных котят и щенят годами, у них постоянные жертвователи (мы называем их кураторами животных). Многие такие темы могут просто умереть при переносе на новое место. Так произошло со многими темами когда у нас владелец отключил уведомления на e-mail - многие жертвователи просто перестали видеть новости о подопечном животном и перестали заходить на форум. Конечно, если не получится сделать как хотелось бы - спарсим и вставим на новый форум статичную копию старого форума с пометкой "архив".

Внимательно прочитал все конкретные советы по тому как действовать и думаю, что сами мы все-таки не справимся. Максимум - сможем спарсить контент старого форума teleport'ом, о том чтобы внести все это в базу данных нового форума не может быть и речи.
Подскажите - где можно найти грамотного, опытного программиста, который бы выполнил всю задачу от начала до конца и сколько это может стоить ?
Крайне скептически отношусь к поиску такого человека на досках объявлений. Во-первых был отрицательный опыт - студент приходил, делал как потом оказалось страшно примитивные вещи по разработке web-сайта на фирме, в конце месяца приезжал за деньгами. Работу до конца так и не довел, нам пришлось разбираться во всем и делать все самим.
Во-вторых, думаю программист хорошего уровня зарабатывает в хорошей фирме хорошие деньги (на job.ru море вакансий со знанием sql) и не перебивается случайными заработками в Интернете. Возможно, я ошибаюсь. Или платить безусловно за готовый результат, неграмотный программист-студент просто бросит работу не доделав ?

Stanislav P, у модераторов есть доступ к логинам и e-mail пользователей. На форуме даже есть функция "массовой" рассылки одного сообщения списку пользователей (по логинам). Мы думали, это может пригодиться если просить вести женщин свои старые темы на новом форуме. Пока как я написал упираемся в перенос форума.

Еще вопрос форумчанам - какой движок нового форума лучше выбрать на долгосрок, можно платный ? Девушки-модераторы предлагают создать новый сайт на Drupal, скорее всего из-за его бесплатности.

Bsplesk, да именно этот город, исправил в профиле. Очень хотелось бы связаться с вами, но не смог найти функцию отправки личных сообщений.

Нет, никакого магазина у нас конечно нет и не предвидится. Это именно форум для активного общения и поиска жертвователей тем, кто помогает животным. Поэтому bitrix нам конечно не нужен, у них и на сайте почти в каждом абзаце написано про интернет-магазин. Кроме того не совсем понятно за что там надо платить каждый год, за какие их усилия ? А примеры их работ в виде сайта Евросеть и Ростелеком - это выше моего понимания. Ведь это одни из самых неудобных публичных сайтов сети, лучше было просто не писать о их. Форум banki.ru конечно производит сильное впечатление, возможно, один из лучших форумов. Одни веселые роджеры чего стоят (видимо нанимали платного профессионального аниматора). Но действительно ли это сделано на bitrix - yandex не выдает этого, на сайте bitrix banki.ru тоже не присутствует в примерах (возможно не увидел). Был уверен, что они самостоятельно разрабатывали проект.



Спасибо, замечательный проект. В отличие от сайта bitrix всё расписано самыми простыми словами. Наверное на нем и остановимся.

Если вас могло бы заинтересовать предложение о переносе нашего форума, напишите мне на e-mail, открыл его в профиле.
Попробую конечно вывесить объявление на хабрфриланс и фриланс.ру, но повторюсь - здесь я могу нажать на имя пользователя и посмотреть какие вопросы он задавал и какие ответы писал. Для меня это лучший показатель насколько он в теме. Там - только примеры работ в прошлом, и это ни о чем не говорит, особенно как у нас, когда задача очень нестандартная.

Без слов. Просто великолепно.



Хорошо, буду знать. Да, все пожертвования идут напрямую от жертвователей тем, кто спасает животных. Мы только как информ. ресурс, хотя и ведем учёт в каждой теме чтобы выявлять мошенников.

Может быть подскажете также услугами какого хостинг провайдера воспользоваться ? Скажем, beget ?
Почти все посетители сайта - Москва и область если это важно.

И тот же вопрос про регистратора доменного имени и важно ли сейчас в какой доменной зоне регистрировать его (как меньше проблем будет) ?

P. S. Написали заявку на перенос форума на хабр.фриланс, пишут есть ли доступ к e-mail и паролям пользователей, сейчас выясняем это. Движок форума советуют phpBB.

Думаю, вам виднее браться или нет. С хабр.фриланс написали несколько человек понимающих что нам нужно. Цены озвучивают от 6000р. + торг до 300$. Мы правда написали как раз как вы советуете не писать - "выполните нам все чтобы заработало". Спрашивают есть ли у модераторов доступ к e-mail пользователей, без этого не перенести, а ещё лучше и к паролям. Женщины ответили что к e-mail есть, про пароли пока не пишут. Вообще все движется очень медленно (к слову о сроках), женщины отвечают раз в три дня и вообще кажется не горят желанием делать что-то. На моё огромное письмо насчёт того что у нас умирает форум и уходят жертвователи написали что-то отвлеченное про то, кто будет модератором на новом форуме и что они за 15 лет от этого устали.




Да в общем единственное требование сейчас это чтобы приходили уведомления на e-mail об ответах, о появлении новых сообщений в подписанных темах и конечно в "личке". Когда жертвователи не видят слов благодарности они быстро теряют ко всему этому интерес. Размещение фотографий и видео на самом форуме нам конечно нужно - одно дело написать что котёнок слепнет и другое дело выложить фотографию этого. Кроме того там многие женщины в возрасте, надо чтобы они не тыкались по радикалам ища как вставить фотографию, а просто нажали бы кнопку.

Да, ещё одна вещь - в будущем потребуется выводить на главную страницу форума в выделенное место выбранные случайным образом ссылки на 5-7 тем из форума чтобы чуть-чуть поднять интерес к ним, иначе они утонут где-то там в недрах форума, и женщины останутся совсем без помощи. Кажется, на php это не очень сложная задача ? В сети есть примеры. Оба движка подойдут для этого ?



Уважаемые форумчане, насчёт хостинга и регистрации доменного имени не подскажете или сейчас уже можно выбирать первого попавшегося ?

Посмотрел и ваш, и несколько других хостинг провайдеров, судя по отзывам в сети они кажется действительно сейчас примерно на одном уровне по ценам и качеству. Наверное выберем beget, хотя чувствую что это не лучший выбор. По крайней мере цены на регистрацию и продление доменов не запредельные. К тому же планирую регистрировать также домен в зоне .com, залить туда копию форума и переводить темы по мере сил - если вдруг кто-то выйдет на него через google и переведет женщинам 10$, значит старался не зря, они там в долгах как в шелках со своей жалостью.

Могу зарегистрироваться в beget по партнёрской ссылке если им кто-либо пользуется здесь. Дают что-то 20% скидки на услуги кажется.




Почитал отзывы профессионалов и решил остановиться на Simple Machines Forum. Надо будет почитать про php и html5 чтобы узнать как на главную страницу вывести 10 самых срочных и несколько случайных архивных тем форума.




Anti OffTopic: обязуюсь отчитаться в этой теме после процесса парсинга и маппинга для тех, кто зайдёт в неё.

Спасибо всем огромное за советы. Очень долго не писал так как перенос форума остановился окончательно - мы очень долго переписывались с женщиной-модератором, но так ни до чего и не договорились. В конце-концов и я потерял к этому интерес с мыслями - пусть всё как работает так и работает. Однако неделю назад произошло кое-что новое ... форум полностью слёг, Error404. Думаю, можете представить мои мысли и о модераторше и о себе самом (не спасти 15-и летний форум за две недели до его удаления...). Чуть забегая вперёд - у женщин, которые помогают животным, там была тихая паника. Через пару дней он однако заработал - сначала первая страница, потом весь. Но я решил что это далеко не конец и решил попытаться перенести форум уже самостоятельно.



Развернул этот движок на локальном сервере (XAMPP) - всё очень понравилось. Пока не понял как выводить случайным образом темы на первую страницу. Посмотрел разные порталы, не знаю какой из них сможет сделать это и не лучше ли вообще всё руками на php. Спросил на форуме по SMF, думаю там должны подсказать, вот здесь:
https://www.simplemachines.ru/index.php?topic=20896.0



Да, спасибо. Всё прочитал и законспектировал на будущее хотя и не всё пока понятно:






Спасибо, всё по пунктам. Я действительно решил махнуть рукой на контент старого форума. Буду просить женщин переносить активные темы руками, что еще остаётся ?

И про архив пользователей - опять в точку. Копаясь на старом форуме, я вдруг нашел, что движок старого форума сохраняет e-mail пользователей в отдельных "страницах", причем их адрес содержит номером пользователя (его индекс). Это редкостная удача. Остаётся только запустить парсер Offline Explorer, а в нем есть функция перебора по цифрам/символам ({1,100} или {A,Z}). Многие пользователи конечно скрывают свой e-mail, ну хоть так. Понятно, что если бы модераторша захотела начать что-то делать, то уже давно был бы список всех e-mail всех пользователей, да и рассылку от имени модератора наверное не сложно сделать из админки.



Ну я в общем написал всё выше. А если у вас похожая проблема - мне кажется всё-таки лучше заплатить фрилансерам (если конечно сайт не ворованный). Конечно оценив стоит ли старая информация на форуме того чтобы её вытягивать. Я в объявлении написал "требуется парсинг и маппинг форума", увидев первое слово, мне написала куча народу что мол легко всё спарсим. Пришлось писать в личке, что парсинг это только часть дела, нужен маппинг в новую БД. После этого ответили буквально человек пять, но тех кто точно в теме. К сожалению, как я написал, у нас всё встало - не представляю что должно произойти чтобы женщина-модератор отдала свои модераторские права кому-то на время.