Перенос сайта с linux на windows

Перенос сайта(ов) без простоя и потери данных между выделенными серверами

Казалось бы, что сложного перенести сайт на другой сервер? Наверно многие из нас копировали свои первые хоумпейджи с хостинга на хостинг в поисках лучшего, еще учась в школе или на первых курсах университета. Или вешая на уши лапши руководству, объясняли, что задача эта не решается мгновенно и сайт сутки работать не будет, ибо DNS такая штука…

Если в целом, ерундовая задача, правда? Но как сделать все идеально? Так, чтобы без простоев, чтобы не было расхождений в БД, чтобы не потерялись какие-нибудь файлики-аватарки-картинки, когда обновляется DNS запись IN A и у половины пользователей старый сайт, а у половины новый. А если это highload? Или сайт делало несколько поколений «лучших» программистов, считающих своим долгом создать новое подключение к БД в своем «модуле» для сайта. Наконец, если таких сайтов >10?

• Скопировать файлы
• Сделать дамб баз данных
• Развернуть на новом сервере
• На старом сервере заменить все коннекты к бд к новому
• Настроить DNS
• …

Сколько это займет времени? Сколько драгоценных минут сайт не будет работатьне будет работать правильно?

Почему-то я не нашел какой-либо статьи на хабре, поэтому решил написать несколько приемов, как можно перенести корявый проект или сразу несколько так, чтобы шеф был доволен стабильной работой сайта.

Все это актуально скорее для сайтов, написанных на РНР, для администраторов столкнувшихся с проектами, где не использовались фреймворки, cms и голова при написании кода.

1. Перенос файлов

Лучший способ через ssh при помощи rsync:

rsync -avz -e ssh логин@удалённый.хост:/путь/откуда/ /путь/куда/

Так rsync синхронизирует папки инкрементально, то есть копирует только то, чего не хватает и не тронет что-то новое. Например, можно написать небольшой bash скрипт, который будет синхронизировать все папки с старого сервера на новый в момент обновления DNS, но все же лучшим вариантом будет спустя пару суток синхронизировать папки с ключом -n (—dry-run) чтобы просто увидеть расхождения. Думаю в документации по rsync найдутся решения любых задач по синхронизации файлов. Программа должна быть установлена на оба сервера.

По протоколу FTP rsync работать не умеет, тогда используем lftp:

lftp -e 'mirror каталог-на-сервере локальный-каталог; bye;' -u логин:пароль@удалённый.хост

2. Перенос БД на примере MySQL

На обоих машинах открываем порт сервера MySQL в мир:

[mysqld]
...
bind-address            = * #127.0.0.1
...

Я напишу пример как я делаю бекапы каждый день, вырезка из logrotate.d:

#!/bin/bash
CMD="mysqldump --defaults-file=/root/my.cnf --no-create-info=FALSE --order-by-primary=FALSE --force=FALSE --no-data=FALSE --tz-utc=TRUE --flush-privileges=FALSE --compress=TRUE --replace=FALSE --host=localhost --insert-ignore=FALSE --extended-insert=TRUE --quote-names=TRUE --hex-blob=FALSE --complete-insert=FALSE --add-locks=TRUE --port=3306 --disable-keys=TRUE --delayed-insert=FALSE --create-options=TRUE --delete-master-logs=FALSE --comments=TRUE --default-character-set=utf8 --max_allowed_packet=1G --flush-logs=FALSE --dump-date=TRUE --lock-tables=TRUE --allow-keyw
ords=FALSE --events=FALSE --databases --routines"

for i in $(mysql --defaults-file=/root/my.cnf --batch --skip-column-names -e 'SHOW DATABASES' | grep -v '^information_schema$'); do
	if [ ! -e /srv/dumps/$i ]; then mkdir -m 700 /srv/dumps/$i; fi
		$CMD $i | gzip -c > /srv/dumps/$i/$i.sql.gz
done

/root/my.cnf

[client]
user = root
password = passw

Почему не классически «mysqldump -u root -p database > dump.sql»? Тогда не будут сохранены view и хранимые процедуры. Правильно делает дампы MySQL Workbench, оттуда я и взял эту команду.

Далее, в переменную $CMD добавляем -h ip_старый_сервер и меняем строчку $CMD $i | gzip -c > /srv/dumps/$i/$i.sql.gz на:

$CMD $i | mysql -u root -ppasswod $i

Конечно нужно предварительно создать все базы данных:

mysql --defaults-file=/root/my.cnf --batch --skip-column-names -e 'SHOW DATABASES' | grep -v '^information_schema$'

3. Перенаправление всех соединений к localhost:3306 — старый сервер на новый сервер

Довольно просто, используем ssh tunnel (предварительно остановив mysql):

ssh -Nf -L 3306:REMOTE_IP:3306 user@localhost

Причем ssh требуется только на локальной машине. Проверяем:

netstat -lnpt | grep 3306
telnet 127.0.0.1 3306

Получаем удаленный MySQL сервер на локальной машине. Все бы хорошо, но MySQL client если видит, что соединение идет к localhost то соединяется с сервером через локальный socket и никакие настройки его делать так отучить не могут. Т.е.

telnet localhost 3306

Или как обычно мы пишем в скриптах:

$resource = new mysqli('localhost', 'user', 'password');

Работать не будут, т.к. такое соединение тоже будет по обработано через локальный сокет. Конечно можно пробежаться по всем соединениям сайта и заменить localhost на 127.0.0.1 или внешний IP сервера, уже заработает, но есть способ лучше.

Нужно отредактировать в hex редакторе файлы:

libmysqlclient.so.15.0.0
libmysqlclient_r.so.15.0.0
или (зависит от версии mysql)
libmysqlclient.so.16.0.0
libmysqlclient_r.so.16.0.0

Найти единственное совпадение по тексту localhost и заменить на что-нибудь другое, вроде lacalhost, в обоих файлах. После локальные соединения будут работать через TCP/IP! Единственное MySQL не пускает юзеров у которых удаленный хост может быть только localhost в привилегиях. Это надо исправить на % во время переноса.

Пропустим настройки веб сервера, по этой теме полно материалов.
В итоге мы имеем две рабочие машины с одним сервером БД. Спокойно перенастраиваем DNS и идем спать!

p.s. Так же пришла в голову идея проксировать запросы со старого сервера на новый через nginx. Кто-нибудь делал так?

upd:
Так же я не претендую на лучшее решение, скорее ищу его. Что скажете?

Любой разработчик рано или поздно сталкивается с необходимостью переноса веб-проекта с одного сервера на другой. Это может быть связано как с развёртыванием локального сайта на удаленном сервере, так и с переносом рабочего сайта с одного сервера на другой (при смене хостинга), а также с переносом сайта на локальный компьютер для дальнейшего тестирования.

В этой заметке я расскажу как перенести сайт с одного сервера на другой. Приведенная ниже информация подходит для любых проектов и решает следующие типы задач:

• Перенос сайта с локального сервера (Денвера, OpenServer, WAMP, LAMP и т.д.) на хостинг;
• Как перенести сайт с хостинга на локальный сервер;
• Как перенести сайт с одного сервера на другой.

Для наглядности я опишу процесс миграции на системе WordPress, которая обслуживает мой блог slicks.name, а если у Вас возникнут затруднения с переносом любой другой CMS ( к примеру PrestaShop, OpenCart и т.д.) — вы всегда вольны написать в комментариях, и я Вам помогу!

Немного теоретической подготовки.

Любой современный сайт состоит из двух основных компонентов:

1. Файловая система;
2. База данных.

Таким образом, для полного и правильного переноса сайта нам необходимо перенести оба этих компонента.

Копирование файловой системы веб-сайта

Начнём с самого простого. Для переноса файлов сайта с сервера на локальную машину нам потребуется FTP клиент и учётная запись для доступа на сервер, либо Вы можете воспользоваться файловым менеджером внутри панели управления хостинга. А на локальном компьютере следует создать соответствующую папку под файлы сайта.

Лично я предпочитаю следующую структуру файлов у себя на ПК:

Все сайты у меня расположены по адресу /home/www-data/, для каждого веб-проекта я создаю папку с соответствующим названием, но без указания доменной зоны (для лаконичности названия папки). Для сайта slicks.name я создал папку с адресом /home/www-data/slicks/, а в  папке под конкретный сайт создаю следующую структуру:

• public_html — для файловой системы сайта. На хостинге домены также расположены по аналогичной схеме (/domains/slicks.name/public_html);
• back-up — в этой папке хранятся все резервные копии базы данных, а также архивы версий сайта;
• source — как вы поняли из названия тут у меня различные исходники к веб-проекту (PSD макет шаблона, логотипы и так далее).

Всё, что от нас нужно — это скопировать содержимое из папки с файлами сайта в нашу локальную папку.

Маленький совет: если сайт большой и содержит множество файлов, имеет смысл сжать (сделать рез. копию) все файлы сайта в 1 архив через панель хостинга и затем загрузить этот файл. В противном случае, при загрузке через FTP клиент для каждого файла программа будет вынуждена открывать соединение, загружать файл, затем закрывать соединение, открывать его для загрузки следующего файла и так далее.

Создание резервной копии базы данных

Что касается резервного копирования базы данных, то существуют следующие способы реализации задачи:

• Серверная консоль;
• Панель хостинга;
• phpMyAdmin;
• специальные модули для CMS (Я в WordPress использую WordPress Database Backup для регулярного копирования БД).

Я остановлюсь на копировании через phpMyAdmin. Т.к. считаю этот способ наиболее простым, доступным и не требующим дополнительных затрат времени и усилий.

Заходим в phpMyAdmin по адресу, который вы легко можете найти в панели хостинга, а если же хотите перенести локальный сайт на хостинг, то скорее всего адрес у вас будет такой http://localhost/phpmyadmin/. PhpMyAdmin попросит логин и пароль для доступа к базе данных. Если пароль и логин вам не известны — их легко получить, зная какая CMS на сайте используется. Любой веб-проект, использующий Базу данных для хранения информации о статьях, товарах, комментариях и т.д. хранит у себя в файловой системе файл с конфигурацией для доступа к базе данных. В WordPress файл называется wp-config.php и  расположен в корне сайта, в PrestaSHop, к примеру, по адресу /config/settings.inc.php. Там мы и найдём наши поля DataBase User и Password, а также имя базы данных, которая содержит информацию о нашем сайте.

Заходим в phpMyAdmin, в списке баз данных (слева) нажимаем мышкой на нашу базу. И теперь кликаем EXPORT на панели вверху. Как писал ранее, я сохраняю копии баз данных в папке /home/www-data/slicks/back-up/.

Конфигурация файлов после копирования.

Если вы переносили сайт с одного хостинга на другой и при этом имя сайта не менялось, больше ничего делать не нужно. Смело меняйте NSы и всё будет работать. Но если Вы новичек и переносите сайт впервые в жизни — потренируйтесь с переносом на локальный сайт, а уже потом переносите с сервера на локалку, чтобы избежать проблем. Если же переносили сайт с локального на реальный сервер или наоборот, то читаем дальше.

Как правильно, локальному сайту присваивается имя в локальной доменной зоне. Скажем, я сайту slicks.name дал локальное имя slicks.lan. Это удобно тем, что во-первых, всегда видно какой сайт локальный, а какой реальный, а во-вторых нет конфликта, как если бы оба сайта и локальный, и реальный имели бы одинаковое доменное имя slicks.name. Но! Теперь чтобы всё работало, нам нужно немного магии

Редактирование файла базы данных

Для начала сделаем рез. копию БД, а новый файл пометим приставкой local. В «локальной» БД через автозамену меняем все вхождения доменного имени (у меня slicks.name) на локальное название сайта (slicks.lan). При переносе с виртуального на реальный хост делаем аналогично, но наоборот.

И в phpMyAdmin создаём БД с таким же именем, как имелась на сайте. затем импортируем наш измененный дамп базы данных. И самое важное, создаем в разделе privileges нового пользователя с аналогичным логином и паролем, как в вашем файле конфигурации.

Маленький совет: перед импортом файла БД сожмите его в ZIP архив. При импорте БД на другом сервере может возникнуть ошибка, если файл будет превышать максимальный размер файла для загрузки. У меня он установлен в 2,048KiB. При этом моя БД занимает 3,8 Мб, а в zip архиве всего 680 кб!

Ну вот и всё! Удачи!

Если сайт не запускается, смотрите на ошибку, которую он пишет. У меня потребовалось также подправить файл .htacces, поскольку в нём были установлены специальные правила от хостинга для защиты. Не убрав эти инструкции я получал ошибку 500. А также у меня там стояла защита от hotlink, и я через автозамену подправил все slicks.name на slicks.lan.

В статье мы расскажем, как копировать файлы в Windows и Linux-системах, и покажем основные команды, с помощью которых происходит передача файлов по SSH.

Для копирования файлов по SSH в Linux-системах и Windows используют разные инструменты:

• scp (Secure CoPy) — утилита для безопасного копирования данных между Linux-системами по протоколу SSH. Она входит в состав OpenSSH, поэтому для работы с утилитой не нужно устанавливать дополнительное ПО;
• pscp.exe — утилита для загрузки файлов по SSH в ОС Windows. Она обладает теми же возможностями, что и scp. Утилита входит в состав программы Putty — SSH-клиента для Windows. Скачать программу можно по ссылке.

Копирование файлов по SSH на Linux

Для Linux копирование файлов по SSH происходит с использованием команды scp. С её помощью можно копировать файлы:

• с локального компьютера на удалённый сервер,
• с удалённого сервера на локальный компьютер,
• с одного удалённого сервера на другой.

Общий вид команды:

scp [опция] [источник] [получатель]

Как скопировать файл по SSH с локальной машины на удалённый сервер

Как загрузить файл на сервер по SSH? Для этого используйте команду вида:

scp [путь к файлу] [имя пользователя]@[имя сервера/ip-адрес]:[путь к файлу]

Пример команды:

scp /home/test.txt root@123.123.123.123:/directory

Файл test.txt будет скопирован на хост 123.123.123.123 в директорию «/directory».

Как скопировать файлы с удалённого сервера на локальный компьютер

При подключённом SSH скачать файл на локальный компьютер с удалённого сервера можно с помощью команды:

scp [имя пользователя]@[имя сервера/ip-адрес]:[путь к файлу] [путь к файлу]

Пример команды:

scp root@123.123.123.123:/home/test.txt /directory

Файл test.txt будет загружен с сервера 123.123.123.123 на локальный компьютер в папку «/directory».

Как скопировать файл по SSH с одного удалённого сервера на другой

Подключитесь по SSH к серверу, на котором расположен файл. Затем выполните команду:

scp [путь к файлу] [имя пользователя]@[имя сервера/ip-адрес]:[путь к файлу]

Пример команды:

scp /home/test.txt root@123.123.123.123:/directory

Файл test.txt будет скопирован на хост 123.123.123.123 в директорию «/directory».

Как скачать папку со всеми файлами и подпапками

Если вы хотите скачать папку со всеми файлами и подпапками, используйте ключ -r:

scp -r [источник] [получатель]

Как подключиться к серверу по нестандартному порту

Бывает, что для подключения по SSH нужно указать нестандартный порт. Без указания порта команда подключается к серверу по стандартному 22 порту. Чтобы указать нестандартный порт, введите команду с ключом -P:

scp -P [источник] [получатель]

Пример команды:

scp -P 12345 /home/test.txt root@123.123.123.123:/directory

Эта команда подключается по порту 12345 к серверу 123.123.123.123 и копирует на него файл «test.txt» с локального компьютера в директорию «/directory».

Как передать и скачать файлы по SSH на Windows

Скопировать файл по SSH на сервер можно командой:

pscp [путь к файлу] [имя пользователя]@[имя сервера/ip-адрес]:[путь к файлу]

Скачать файл по SSH с сервера командой:

pscp [имя пользователя]@[имя сервера/ip-адрес]:[путь к файлу] [путь к файлу]

Увидеть список папок и файлов на сервере можно через pscp.exe. Для этого введите:

pscp -ls [имя пользователя]@[имя сервера/ip-адрес]:[путь]

Если в пути или в названии файла есть пробелы, используйте кавычки:

pscp “C:files or docsfile name” root@123.123.123.123:/home

Перенос локального сайта с Windows на Linux (Помогите перенести локальный сайт с Windows 2003 на ASP Linux 9)

Модератор: SLEDopit

LoadModule rewrite_module modules/mod_rewrite.so