Запуск яндекс диска как службы windows

Подключаем Яндекс Диск как обычный локальный диск в Windows

В операционных системах Windows есть возможность подключить облачное хранилище Яндекс.Диск как сетевой диск, а затем пользоваться им как обычным локальным диском. Данное подключение осуществляется с помощью протокола WebDAV.

WebDAV (Web Distributed Authoring and Versioning) или просто DAV — набор расширений и дополнений к протоколу HTTP, поддерживающих совместную работу пользователей над редактированием файлов и управление файлами на удаленных веб-серверах. © wikipedia

Подключение Яндекс.Диск по протоколу WebDAV позволяет получить доступ к файлам прямо в проводнике Windows. Все содержимое облачного диска будет доступно только при подключенном интернет-соединении. Этот способ подключения также удобен в случае, когда вы уже пользуетесь установленной программой-клиентом на компьютере, так как имея несколько учетных записей в Яндекс можно пользоваться несколькими дисками одновременно.

Для подключения Яндекс.Диск по протоколу WebDAV открываем Проводник Windows. В окне Проводника слева правой кнопкой мыши нажимаем на «Мой компьютер» («Этот компьютер»). В открывшемся контекстном меню выбираем «Подключить сетевой диск».

В окне «Подключение сетевого диска» выбираем букву для диска (либо оставляем по умолчанию), в поле «Папка» вводим https://webdav.yandex.ru, ставим галочку в пункте «Восстанавливать подключение при входе в систему», затем нажимаем кнопку «Готово».

В следующем окне «Безопасность Windows» вводим данные своей учетной записи: логин и пароль (логин только до значка «собаки» → @).

Если данные введены верно, то в окне Проводника появится отображение подключенного сетевого диска. Можно пользоваться диском от Яндекс как обычным диском на компьютере, только все файлы будут храниться в «облаке».

Для отключения сетевого диска нажимаем правой кнопкой мыши по «Этот компьютер» («Мой компьютер»), а в контекстном меню выбираем «Отключить сетевой диск». Либо нажимаем правой кнопкой мыши по значку сетевого диска и выбираем пункт «Отключить».

Источник

Как мы делали Яндекс.Диск: серверная сторона, WebDAV и Erlang

На прошлой неделе Яндекс.Диску исполнился год, и за этот год сервисом успели воспользоваться уже больше 8 000 000 пользователей.

А сейчас мы продолжаем рассказывать о том, сколько усилий понадобилось, чтобы всё это стало возможным. Недавно мы писали о том, как и почему команда Яндекс.Диска выбрала WebDAV для синхронизации десктоп-клиентов с сервером и начала работу над прототипом клиента Яндекс.Диска. Сегодня, как и обещали, — о том, как всё работает с серверной стороны.

Для правильной синхронизации нужно не только уметь заливать файлы, но и реанимировать заливку в случае прерванного соединения, а также научить клиент учитывать изменения в файлах.

Очевидно, что в случае, когда соединение с сервером прерывается, а потом восстанавливается, клиент должен уметь дозаливать файл на него. Есть два параметра, которые необходимо учитывать в таком случае: имя файла и его размер. Но для нас их недостаточно — с хранилищем одновременно могут работать несколько клиентов и файл может обновляться конкурентно. Поэтому понадобилось добавить ещё один параметр.

На тот момент мы уже начали разработку модуля синхронизации, который в процессе работы считал md5-хэш содержимого файла. И мы решили воспользоваться им как уточняющим параметром. Во-первых, клиент всегда имел эту информацию и, используя md5-хэш, мы не увеличивали нагрузку на него. Во-вторых, он лучше любого параметра, не зависящего от содержимого файла, — он даёт возможность проверять идентичность отправленного и полученного файла.

Перед отправкой файла на сервер клиент считает хэш. Дальше он заливает файл методом PUT, сообщая серверу этот хэш в HTTP-заголовке Etag. При получении такого запроса сервер сохраняет размер заливаемого файла и его md5 в специальную таблицу незавершённых заливок. В случае нормальной заливки всего содержимого на сервере вычислется md5 полученного файла и сравнивается с полученным от клиента — при их совпадениях файл принят верно и его можно сохранять.

В случае проблем с соединением — если оно было закрыто или при длительном таймауте — на сервере необходимо было сохранить в таблице реально принятый размер и залогировать в access.log неудачно завершённый запрос. Мы использовали в качестве фреймворка веб-сервера mochiweb и в процессе обработки проблем с обрывами соединений встретились с его особенностями. На любые ошибки библиотека реагировала вызовом ‘exit(normal)`, что означает «тихое» завершение процесса. Это нормально, если перед нами стоит nginx для логирования запросов и если при подобном завершении соединения ничего делать не надо. Конечно, можно перехватить такое исключение. Но понять, какая именно из возможных проблем случилась, мы в таком случае можем разве что по наличию известных функций в стектрейсе. Нормальным этот метод не назовёшь, поэтому пришлось править библиотеку на предмет выдачи более вменяемых ошибок.

При обрыве соединения клиент не может полагаться на информацию о том, какое количество байт отправляемого файла реально попало на сервер. Поэтому нам пришлось сделать ещё одну доработку протокола — мы расширили метод HEAD, с помощью которого клиент запрашивает эту информацию, передавая серверу путь куда заливался файл, его размер и md5. Сервер ищет незавершённые закачки пользователя с такими же параметрами и отвечает клиенту, сколько реально закачано. После этого клиент должен возобновить закачку с указанного сервером места с помощью специального запроса — нового расширения метода PUT.

Кроме просто докачки файлов, мы захотели накладывать бинарные патчи файлов — дельта-обновления, — так, как это делается в rsync, но минимизируя нагрузку от этих операций на сервере. Мы разбиваем файл на блоки, по которым считаются быстрые и стойкие сигнатуры. Метод вычисления быстрых сигнатур — rolling checksum — мы позаимствовали из rsync. Сигнатуры блоков используются для поиска совпадающих частей файла, которые пересылать по сети не требуется. Комбинацию из размера блока, сигнатур и md5-файла мы называем дайджестом файла. Для того чтобы клиент смог определить, какие части обновлённого файла ему необходимо скачать или отправить на сервер, ему необходимо получить дайджест файла, хранящегося на сервере. Для этого опять пришлось расширить протокол — на этот раз методом получения дайджеста.

Что же касается самих дайджестов, получаемых с сервера, мы не хотели затормаживать процесс синхронизации их расчётом по запросу, поэтому было решено хранить их на сервере уже посчитанными.

Для начала мы попробовали считать дайджесты во время стриминга файлов в Erlang. Казалось, это уменьшит накладные расходы: порция данных уже лежит в памяти и передать её в модуль расчёта дайджеста выглядело дешёвым решением. К сожалению, из-за специфики работы с памятью в Erlang, это оказалось не так: данные копировались в драйвер, считавший хэши, промежуточные результаты копировались обратно в процесс-обработчик, а затем всё опять отправлялось в драйвер. Это оказалось чересчур ресурсоёмким. Разрабатывать специализиованный драйвер, который хранил бы всё промежуточное состояние внутри и не передавал бы его обратно в Erlang, не хотелось. Альтернативным решением стало складывать файл на диск как обычно, а дайджест считать после полного получения файла отдельной программой, написанной на C и запускаемой из Erlang как порт. Мы использовали этот подход и сократили время на расчёт дайджеста в 10 раз.

Для дельта-обновлений на сервере был расширен стандартный метод PUT, который принимает бинарный дифф и накладывает его на исходный файл. В таком диффе определены лишь две команды: скопировать часть исходного файла и вставить часть, пришедшую от клиента. Сервер занимается лишь простыми операциями, а весь тяжёлый анализ изменений в файлах находится на стороне клиента.

Для случаев, когда файл обновился на сервере, применяется тот же алгоритм поиска одинаковых частей. Клиенту могут потребоваться и несколько частей одного файла, поэтому мы поддержали запросы с указанием множества Range-ей, когда ответ приходит в виде multipart/byteranges, чтобы снизить количество обращений к метаданным файла.

Ещё один метод, который нужен для синхронизации — получить диффы дерева файлов, чтобы клиент мог определить, какие файлы успели обновиться на сервере. Эта задача отличается от обычного версионирования, поэтому методы, предлагаемые стандартом, нам не подошли, и пришлось ещё раз расширить протокол. Когда клиент хочет обновить файлы, он вызывает этот новый метод, указывая идентификатор имеющейся у него синхронизированной версии. А сервер отвечает идентификатором последней версии и списком изменений, произошедших в файловой структуре (не в самих файлах) с момента последнего обновления. Для этого мы храним историю всех изменений в файловой структуре для каждого пользователя.

Пожалуй, за исключением некоторых мелочей, это всё, чем занимается WebDAV-сервер в Яндекс.Диске. Мы довольны тем, что выбрали именно этот протокол. С одной стороны, он практически «из коробки» отвечал нашим нуждам и не требовал существенных доработок, а с другой — благодаря нему с Яндекс.Диском легко интегрировать многие утилиты и приложения.

Источник

Программа Яндекс.Диск для Windows

Яндекс.Диск выглядит как обычная папка на компьютере. Файлы в ней могут не занимать место — просто укажите, что оставить только в облаке, а что продублировать на жёстком диске.

Еще в программе можно снимать и редактировать скриншоты, а также оставлять заметки.

Где скачать Яндекс.Диск и что делать дальше.

Как загружать файлы, делиться ими и что еще можно делать с файлами в программе.

Как скачивать на компьютер фото и видео из безлимита.

Как сделать так, чтобы все изменения из любых папок на компьютере сами загружались в облако.

Как писать заметки в Яндекс.Диске.

Как снимать скриншоты и редактировать их.

Что такое синхронизация и как ее настроить.

Как увеличить место на Диске и получить возможности Диска Про.

Где скачать Яндекс.Диск и что делать дальше.

Как загружать файлы, делиться ими и что еще можно делать с файлами в программе.

Как скачивать на компьютер фото и видео из безлимита.

Как сделать так, чтобы все изменения из любых папок на компьютере сами загружались в облако.

Как писать заметки в Яндекс.Диске.

Как снимать скриншоты и редактировать их.

Что такое синхронизация и как ее настроить.

Как увеличить место на Диске и получить возможности Диска Про.

Программа Яндекс.Диск для Windows

Яндекс.Диск выглядит как обычная папка на компьютере. Файлы в ней могут не занимать место — просто укажите, что оставить только в облаке, а что продублировать на жёстком диске.

Еще в программе можно снимать и редактировать скриншоты, а также оставлять заметки.

Где скачать Яндекс.Диск и что делать дальше.

Как загружать файлы, делиться ими и что еще можно делать с файлами в программе.

Как скачивать на компьютер фото и видео из безлимита.

Как писать заметки в Яндекс.Диске.

Как снимать скриншоты и редактировать их.

Что такое синхронизация и как ее настроить.

Как увеличить место на Диске и получить возможности Диска Про.

Источник

Как подключить Яндекс.Диск как сетевой диск

Сетевой диск Яндекс

Специально для тех пользователей, которые не желают держать огромную папку на своем системном диске, в Яндекс Диске включена поддержка технологии WebDAV, которая позволяет подключаться к сервису, как к обычной папке или диску. Давайте по шагам разберем, как воспользоваться данной возможностью.

Шаг 1: Добавление нового элемента в сетевое окружение

Этот шаг будет описан для того, чтобы избежать некоторых проблем при подключении сетевого диска. Его можно пропустить и сразу перейти ко второму.

Нажимаем «Далее».

Поскольку мы уже создавали данное сетевое размещение, запрос имени пользователя и пароля был пропущен «Мастером», у вас же этот запрос обязательно появится.

Если планируется пользоваться несколькими аккаунтами, ни в коем случае не ставьте галку напротив «Запомнить учетные данные», иначе подключиться к другому аккаунту без танцев с бубном не получится.

Вот так выглядит размещение в папке «Компьютер».

В общем-то Яндекс Диском уже можно пользоваться, но нам нужен именно сетевой диск, поэтому давайте его подключим.

Шаг 2: Подключение сетевого диска

Ошибка «Неправильное имя папки»

В некоторых случаях система при вводе стандартного адреса может выдать ошибку «Неправильное имя папки», которая говорит о невозможности доступа к защищенным ресурсам SSL (HTTPS). Решается проблема двумя способами. Первый — вместо адреса

Второй — поправить параметр в системном реестре.

Дважды кликаем по ключу

Меняем значение на «2» (без кавычек) и жмем ОК.

Теперь вы знаете, как просто подключить Яндекс Диск как сетевой диск стандартными средствами Windows.

Помимо этой статьи, на сайте еще 12378 инструкций.
Добавьте сайт Lumpics.ru в закладки (CTRL+D) и мы точно еще пригодимся вам.

Отблагодарите автора, поделитесь статьей в социальных сетях.

Помогла ли вам эта статья?

Поделиться статьей в социальных сетях:

Еще статьи по данной теме:

ну теперь диском стало пользоваться на много проще. а то раньше нужно было заходить на саййт и загружать файлы, а теперь можно просто перенести файлы сразу на комп) очень полезная статья, все подорбно рассказано, по полочкам и даже нуб поймет) но блин столько мароки с нм. можно ведь было что-то по легче придумать(

У меня В win 10 после перезагрузки системы, автоматически подключение не срабатывает, приходится два раза тыкать по диску и нажимать ок в поле с уже введенным логином и паролем, только после этого диск снова работает. Можно сделать чтобы он все таки сам подключался при запуске системы…. Галочки при создании диска стояли верно. Спасибо!

Геннадий, так и должно быть, поскольку ресурс находится не в локальной сети, а в интернете, и требует аутентификации пользователя для подключения. К тому же, при загрузке системы происходит обнаружение сетевых дисков и попытка подключения, а поскольку в этот момент интернет еще не включен (службы запускаются позже), то и автоматического коннекта не происходит. Кстати, рассмотрите другой вариант использования Диска как сетевого, ссылка ниже
/connecting-to-yandex-disk-via-webdav-client/

Здравствуйте, а у меня почему то пишит неправильное имя папки, задайте другое, ввожу как у вас написано. Что еще можно сделать?

пишет неправильное имя папки, задайте другое имя!
Автор не знает сам, тупо копипастит у таких же даунов )))

Вы не видите, что на скриншотах все получилось сделать по описанной в статье инструкции? Когда у вас возникает какая-то сложность в процессе, то прежде чем показывать свою невоспитанность, возможно, стоит попытаться сформулировать комментарий в более корректной форме, если рассчитываете на помощь? Ваша проблема решается двумя путями:
1. Вместо https://webdav.yandex.ru пишете http://webdav.yandex.ru
2. Изменяете параметр BasicAuthLevel в ветке реестра HKEY_LOCAL_MACHINESYSTEMCurrentControlSetServicesWebClientParameters на значение 2 вместо стандартного 1. Это снимает блок с не SSL-соединений, из-за чего ошибка с «Неправильным именем папки» возникнуть в большинстве случаев не должна.

Диск подключается с глюками — большие файлы (более 50 мб) не открываются или не скачиваются, нек папки пустые

реестр не помог, немогу подключиться к яндексу

Теперь пишет отказано в доступе, а так же через тотал командер в плагине то же самое, еррор 401 отказано в доступе

Я тоже так мучился и читал форумы, пока не открыл яндекс-справку (поддержку) и все сделал за 5 минут. Цитирую: Не подходит пароль в Яндекс.Диске по протоколу WebDAV
English version is below.

Скорее всего, вы ввели для авторизации обычный пароль. Это небезопасно, поскольку стороннее приложение, которые вы используете, может с помощью вашего пароля получить доступ не только к вашему Диску, но и к Почте, Календарю и другим сервисам.

Чтобы подключиться к Яндекс.Диску по протоколу WebDAV, создайте пароль приложения. Пароль приложения — это отдельный пароль, который будет создан специально для подключения вашего Яндекс.Диска по WebDAV. Такой пароль безопасен и не даст доступ к управлению вашей учетной записью.

Чтобы создать пароль приложения для WebDAV:

Откройте Яндекс.Паспорт.
В разделе Пароли и авторизация нажмите Включить пароли приложений. Затем введите пароль, чтобы подтвердить действие. Если у вас уже включены пароли приложений, пропустите этот шаг.
Нажмите Создать пароль приложения.
Выберите тип приложения Файлы WebDAV.
Введите название пароля (например, «WebDAV Яндекс.Диск на компьютере»).
Нажмите Создать.
Используйте новый пароль приложения для авторизации по WebDAV

Спасибо! Помогли, скорее всего из за смены основного пароля все пароли для приложений слетели и после этого перестали работать. В интернете уйма инструкций как подключиться но не в одной не указано что надо создать пароль приложения.

Источник

Вопросы и ответы о программе Яндекс.Диск

Что произойдет, если переместить папку Яндекс.Диска?

Если вы перенесете папку Яндекс.Диска, не указав новое положение в настройках программы, программа создаст папку заново на прежнем месте. Как переместить вашу копию Диска, см. в разделе Как выбрать другую папку для синхронизации с сервером.

Можно ли доверять работу с Диском сторонним программам?

Для корректной и гарантированной работы Диска мы рекомендуем использовать наши официальные приложения и программы.

Можно ли не держать файлы, хранящиеся на Диске, на своем компьютере?

Настроить выборочную синхронизацию можно по инструкции Выборочная синхронизация папок.

Управлять файлами, не скачивая их, также можно на странице сервиса.

Что произойдет, если я удалю файлы из папки Яндекс.Диска?

Когда вы удаляете файлы в программе, они попадают в Корзину и хранятся в ней 30 дней. После этого они автоматически удаляются с сервера. Восстановить удаленные с сервера файлы нельзя. Восстановить файлы из Корзины можно только в веб-интерфейсе Яндекс.Диска.

Если вы хотите удалить файл с компьютера, но сохранить на сервере, настройте выборочную синхронизацию по инструкции Выборочная синхронизация папок.

Можно ли ограничить доступ к папке Яндекс.Диска?

Если вы хотите закрыть папку, например, от остальных пользователей вашего компьютера, вы можете ограничить доступ к ней стандартными средствами Windows. При этом следует помнить, что ограничение доступа может помешать работе программы.

Источник

Adblock
detector

		Автосохранение папок Как сделать так, чтобы все изменения из любых папок на компьютере сами загружались в облако.

Удобное подключение Яндекс Диск без клиента через WebDAV Windows

Нынче все медиа гиганты в интернете предлагают свои услуги по размещению аудио, видио и любой другой информации на своих хранилищах в том или ином виде. Большинство услуг разных брендов очень схожи, но есть и некоторые отличия. И конечно же каждый бренд пытается навязать свое программное обеспечение, в том числе и для хранения данных.

Выбирая из множества облачных хранилищ файлов таких как Microsoft Skydrive, Google Drive, Яндекс Диск, Dropbox проще всего исходить из того для каких нужд оно будет использоваться. Skydrive удобно использовать на Windows 8 для хранения документов офисных продуктов — onenote, word и тп. Google drive для фанатов Google Plus и Google Docs, а также для параноиков любящих двойную аутентификацию. Сейчас же речь пойдет о чудном Яндексе и его Диске.

1. Начальный объем 3 гб
2. Бесплатно и быстро расширяется до 10 гб
3. Быстрый доступ через браузер по адресу https://mail.yandex.ru/my/#disk/disk/
4. Синхронизация папок через программу Яндекс Диск для Windows, Mac OS X, iOS, Android
5. Доступ через протокол WebDAV

Последний пункт — действительно удобный вариант хранения и при этом экономии пространства на своем ПК для домохозяек и широкий простор для резервного хранения данных для сисадминов. Сисадмины наверняка сами разберутся как пользоваться функционалом, а вот для домохозяек опишу простейший способ подключения сетевой папки Яндекс Диск.

Итак, по порядку:

1. Регистрируемся на Яндекс — http://passport.yandex.ru
2. Заходим на https://mail.yandex.ru/my/#disk/landing и выполняем предложенные действия чтобы максимально расширить доступное пространство. После расширения программу Яндекс Диск с компьютера не мешало бы удалить поскольку она не потребуется.
3. Открыть «Мой компьютер», нажать правой кнопкой мыши мимо дисков, нажать «Добавить новый элемент в сетевое окружение»
   
4. Далее прожать «далее»
5. 
   
6. Вводим адрес для подключения https://webdav.yandex.ru
   
7. Вводим логин и пароль от учетной записи в Яндекс
   
   
   
8. Все готово. Теперь в «Мой компьютер добавлена папка с хранилищем файлов на сервере яндекс.
   
9. Если нужно — можно создать несколько учетных записей Яндекс и хранить столько информации сколько потребуется.
10. PROFIT!

Источник

Автозапуск Яндекс.Диска как службы systemd в Fedora 19

Захотелось тут делать на Яндекс.Диск резервные копии. Операционная система у меня Russian Fedora 19 x64. Запуск через rc.local был удален еще из предыдущих выпусков Fedora как устаревший, и я решил делать все по уму — запускать Яндекс.Диск как системную службу. Стандартный запуск служб в Fedora 19 это systemd, начинаем двигаться в этом направлении. Использую официальный консольный клиент Яндекс.Диска ( да код закрытый, но работает намного шустрее чем webdav, и не надо ломать голову с синхронизацией).

Итак, приступим:

• Становлюсь root
• Создаю локальную директорию Яндекс.Диска
• Меняю директорию для загрузки пакета
• Скачиваю 64-битный rpm пакет
• Устанавливаю пакет
• Запускаю первоначальную настройку Яндекс.Диска
• Отвечаю на вопросы Яндекс.Диска

Копирую папку с конфигурацией в /etc (я считаю все файлы должны находится в стандартных местах)

Правлю пути в файле /etc/yandex-disk/config.cfg

И привожу файл /etc/yandex-disk/config.cfg к следующему виду

Создаю файл /usr/lib/systemd/system/yandex-disk.service

Со следующим содержанием

Перезапускаю systemd

Запускаю службу yandex-disk.service

Проверям запуск службы командой

И получаем примерно такой ответ

Или проверям запуск службы командой

И получаем такой ответ

Добавляю службу yandex-disk.service в автозагрузку

Все работает после перезагрузки.

Локальные копии бэкапов синхронизирую с локальной копией Яндекс.Диска командой в crobtab`е

Также обнаружил возможность запускать несколько копий Яндекс.Диска с разными учетными записями. Например так:

Источник

Резервное копирование на ЯндексДиск через приложение.

Из-за негласных изменений, довольно красивая схема резервного копирования по протоколу WebDAV в данный момент работает крайне плохо. Поэтому приходится перенастраивать на копирование через приложение. Ниже мануал по настройке.

1. Устанавливаем приложение ЯДиск.

Качаем с оф.сайта и устанавливаем.

2. Настраиваем ЯДиск.

2.1 Отключаем автоматическое обновление.

Т.к. ЯДиск устанавливается в папку, имя которой соответствует версии программы, нужно отключить автоматическое обновление или при каждом обновлении нужно будет переделывать службу.

2.2 Отключаем автоматический запуск при входе пользователя.

Чтобы не было косяков при синхронизации, должен быть запущен только один процесс ЯДиска. Идем в Файл — Настройки — Основные снимаем гелку запускать при входе в систему.

2.3 Настраиваем расположение папок для синхронизации.

Идем в Файл — Настройки — Основные — Настроить расположение папок.

3. Настраиваем запуск ЯДиска в качестве службы.

В общем случае синхронизация должна работать вне зависимости от входа пользователя в систему, пожтому нужно запускать ЯДиск как службу.

3.1 Качаем программку nssm отсюда или с оф. сайта.

3.2 Копируем программку в programm files или куда-нибудь, чтобы по запарке не удалить. служба будет запускаться через эту прогу.

3.3 Создаем службу YaDisk.

Выполняем команду
nssm install YaDisk

Дальше настраиваем новую службу

Вкладка Application
Path — Путь до исполняемого файла Ядиска.
Пример C:UsersАдминистраторAppDataRoamingYandexYandexDisk23.1.18.3306YandexDisk2.exe

Вкладка Details
Display Name — YaDisk

Вкладка Log on as
логин и пароль пользователя от имени которого будет запускаться служба.

Нажимаем Install service.

3.4 Запускаем службу через оснастку службы (services.msc).

4. Настраиваем автоматическую очистку корзины Ядиска.

При удалении из папки ЯДиска файлы помещаются в корзину и продолжают занимать место. Для полного удаления нужно настроить автоматическую чистку корзины.

4.1 Создаем приложение cleantrash.

Заходим на https://oauth.yandex.ru/ под логином и паролем учетки для Ядиска.

Регистрируем новое приложение

Название приложения — cleantrash
Платформы — Web-сервисы
Callback URI #1: — кликаем Подставить URL для разработки.
Доступы — Яндекс.Диск REST API
ставим галки:
Доступ к информации о Диске
Доступ к папке приложения на Диске
Запись в любом месте на Диске
Чтение всего Диска

Нажимаем кнопку Создать, получаем ID и пароль.

4.2 Разрешаем приложению доступ и получаем токен.

Открываем ссылку
https://oauth.yandex.ru/authorize?response_type=token&display=popup&client_id=вашid
где вашid — id полученный на предыдущем шаге.
Нажимаем кнопку разрешить, сохраняем полученный токен.

4.3 Запихиваем команду для очистки в скрипт или планировщик.

4.3.1 Скачиваем программку curl отсюда или с оф.сайта.
4.3.2 Копируем программку в programm files или куда-нибудь, чтобы по запарке не удалить.
4.3.3 Добавляем в скрипт для резервного копирования строчку:
START /B -s -H «Authorization: OAuth » -X «DELETE» https://cloud-api.yandex.net/v1/disk/trash/resources/?path=
можно сделать отдельный скрипт для очистки корзины и кинуть в планировщик. Тест скрипта:

@echo off
START /B c:UsersuserDownloadscurlbincurl.exe -s -H «Authorization: OAuth » -X «DELETE» https://cloud-api.yandex.net/v1/disk/trash/resources/?path=
exit

5. Пример скрипта для копирования вместе с удалением старых копий и очисткой корзины.

Источник

Как мы делали Яндекс.Диск: серверная сторона, WebDAV и Erlang

На прошлой неделе Яндекс.Диску исполнился год, и за этот год сервисом успели воспользоваться уже больше 8 000 000 пользователей.

А сейчас мы продолжаем рассказывать о том, сколько усилий понадобилось, чтобы всё это стало возможным. Недавно мы писали о том, как и почему команда Яндекс.Диска выбрала WebDAV для синхронизации десктоп-клиентов с сервером и начала работу над прототипом клиента Яндекс.Диска. Сегодня, как и обещали, — о том, как всё работает с серверной стороны.

Для правильной синхронизации нужно не только уметь заливать файлы, но и реанимировать заливку в случае прерванного соединения, а также научить клиент учитывать изменения в файлах.

Очевидно, что в случае, когда соединение с сервером прерывается, а потом восстанавливается, клиент должен уметь дозаливать файл на него. Есть два параметра, которые необходимо учитывать в таком случае: имя файла и его размер. Но для нас их недостаточно — с хранилищем одновременно могут работать несколько клиентов и файл может обновляться конкурентно. Поэтому понадобилось добавить ещё один параметр.

На тот момент мы уже начали разработку модуля синхронизации, который в процессе работы считал md5-хэш содержимого файла. И мы решили воспользоваться им как уточняющим параметром. Во-первых, клиент всегда имел эту информацию и, используя md5-хэш, мы не увеличивали нагрузку на него. Во-вторых, он лучше любого параметра, не зависящего от содержимого файла, — он даёт возможность проверять идентичность отправленного и полученного файла.

Перед отправкой файла на сервер клиент считает хэш. Дальше он заливает файл методом PUT, сообщая серверу этот хэш в HTTP-заголовке Etag. При получении такого запроса сервер сохраняет размер заливаемого файла и его md5 в специальную таблицу незавершённых заливок. В случае нормальной заливки всего содержимого на сервере вычислется md5 полученного файла и сравнивается с полученным от клиента — при их совпадениях файл принят верно и его можно сохранять.

В случае проблем с соединением — если оно было закрыто или при длительном таймауте — на сервере необходимо было сохранить в таблице реально принятый размер и залогировать в access.log неудачно завершённый запрос. Мы использовали в качестве фреймворка веб-сервера mochiweb и в процессе обработки проблем с обрывами соединений встретились с его особенностями. На любые ошибки библиотека реагировала вызовом ‘exit(normal)`, что означает «тихое» завершение процесса. Это нормально, если перед нами стоит nginx для логирования запросов и если при подобном завершении соединения ничего делать не надо. Конечно, можно перехватить такое исключение. Но понять, какая именно из возможных проблем случилась, мы в таком случае можем разве что по наличию известных функций в стектрейсе. Нормальным этот метод не назовёшь, поэтому пришлось править библиотеку на предмет выдачи более вменяемых ошибок.

При обрыве соединения клиент не может полагаться на информацию о том, какое количество байт отправляемого файла реально попало на сервер. Поэтому нам пришлось сделать ещё одну доработку протокола — мы расширили метод HEAD, с помощью которого клиент запрашивает эту информацию, передавая серверу путь куда заливался файл, его размер и md5. Сервер ищет незавершённые закачки пользователя с такими же параметрами и отвечает клиенту, сколько реально закачано. После этого клиент должен возобновить закачку с указанного сервером места с помощью специального запроса — нового расширения метода PUT.

Кроме просто докачки файлов, мы захотели накладывать бинарные патчи файлов — дельта-обновления, — так, как это делается в rsync, но минимизируя нагрузку от этих операций на сервере. Мы разбиваем файл на блоки, по которым считаются быстрые и стойкие сигнатуры. Метод вычисления быстрых сигнатур — rolling checksum — мы позаимствовали из rsync. Сигнатуры блоков используются для поиска совпадающих частей файла, которые пересылать по сети не требуется. Комбинацию из размера блока, сигнатур и md5-файла мы называем дайджестом файла. Для того чтобы клиент смог определить, какие части обновлённого файла ему необходимо скачать или отправить на сервер, ему необходимо получить дайджест файла, хранящегося на сервере. Для этого опять пришлось расширить протокол — на этот раз методом получения дайджеста.

Что же касается самих дайджестов, получаемых с сервера, мы не хотели затормаживать процесс синхронизации их расчётом по запросу, поэтому было решено хранить их на сервере уже посчитанными.

Для начала мы попробовали считать дайджесты во время стриминга файлов в Erlang. Казалось, это уменьшит накладные расходы: порция данных уже лежит в памяти и передать её в модуль расчёта дайджеста выглядело дешёвым решением. К сожалению, из-за специфики работы с памятью в Erlang, это оказалось не так: данные копировались в драйвер, считавший хэши, промежуточные результаты копировались обратно в процесс-обработчик, а затем всё опять отправлялось в драйвер. Это оказалось чересчур ресурсоёмким. Разрабатывать специализиованный драйвер, который хранил бы всё промежуточное состояние внутри и не передавал бы его обратно в Erlang, не хотелось. Альтернативным решением стало складывать файл на диск как обычно, а дайджест считать после полного получения файла отдельной программой, написанной на C и запускаемой из Erlang как порт. Мы использовали этот подход и сократили время на расчёт дайджеста в 10 раз.

Для дельта-обновлений на сервере был расширен стандартный метод PUT, который принимает бинарный дифф и накладывает его на исходный файл. В таком диффе определены лишь две команды: скопировать часть исходного файла и вставить часть, пришедшую от клиента. Сервер занимается лишь простыми операциями, а весь тяжёлый анализ изменений в файлах находится на стороне клиента.

Для случаев, когда файл обновился на сервере, применяется тот же алгоритм поиска одинаковых частей. Клиенту могут потребоваться и несколько частей одного файла, поэтому мы поддержали запросы с указанием множества Range-ей, когда ответ приходит в виде multipart/byteranges, чтобы снизить количество обращений к метаданным файла.

Ещё один метод, который нужен для синхронизации — получить диффы дерева файлов, чтобы клиент мог определить, какие файлы успели обновиться на сервере. Эта задача отличается от обычного версионирования, поэтому методы, предлагаемые стандартом, нам не подошли, и пришлось ещё раз расширить протокол. Когда клиент хочет обновить файлы, он вызывает этот новый метод, указывая идентификатор имеющейся у него синхронизированной версии. А сервер отвечает идентификатором последней версии и списком изменений, произошедших в файловой структуре (не в самих файлах) с момента последнего обновления. Для этого мы храним историю всех изменений в файловой структуре для каждого пользователя.

Пожалуй, за исключением некоторых мелочей, это всё, чем занимается WebDAV-сервер в Яндекс.Диске. Мы довольны тем, что выбрали именно этот протокол. С одной стороны, он практически «из коробки» отвечал нашим нуждам и не требовал существенных доработок, а с другой — благодаря нему с Яндекс.Диском легко интегрировать многие утилиты и приложения.

Источник