Как установить cudnn в windows 10

  Перевод

  Ссылка на автора

В Часть 1 В этой серии я рассказал о том, как вы можете модернизировать аппаратное обеспечение своего ПК, добавив в него видеокарту, совместимую с CUDA Toolkit, например графический процессор Nvidia. В этой части 2 рассматривается установка CUDA, cuDNN и Tensorflow в Windows 10. В данной статье предполагается, что на вашем компьютере уже установлен CUDA-совместимый графический процессор; но если у вас этого еще нет, Часть 1 из этой серии поможет вам настроить аппаратное обеспечение, готовое к этим шагам.

Шаг 1: Проверьте программное обеспечение, которое вам нужно установить

Предполагая, что Windows уже установлена ​​на вашем ПК, дополнительные части программного обеспечения, которые вы установите в рамках этих шагов: —

• Microsoft Visual Studio
• инструментарий NVIDIA CUDA
• NVIDIA cuDNN
• питон
• Tensorflow (с поддержкой GPU)

C:Program FilesNVIDA GPU Computing ToolkitCUDAv9.0

cudnn-9.0-windows10-x64-v7.zip 

C:UsersjoDocumentscuDNN_downloads

<downloadpath>cudnn-9.0-windows10-x64-v7.5.0.56.zip

<downloadpath>cudnn-9.0-windows10-x64-v7.5.0.56

<downloadpath>cudnn-9.0-windows10-x64-v7.5.0.56cudabincudnn64_7.dll

C:Program FilesNVIDA GPU Computing ToolkitCUDAv9.0

C:Program FilesNVIDIA GPU Computing ToolkitCUDAv9.0bin

<downloadpath>cudnn-9.0-windows10-x64-v7.5.0.56cuda includecudnn.h

C:Program FilesNVIDIA GPU Computing ToolkitCUDAv9.0include

<downloadpath>cudnn-9.0-windows10-x64-v7.5.0.56cudalibx64cudnn.lib

C:Program FilesNVIDIA GPU Computing ToolkitCUDAv9.0libx64

Variable Name: CUDA_PATH 
Variable Value: C:Program FilesNVIDIA GPU Computing ToolkitCUDAv9.0

pip3 install --upgrade tensorflow-gpu

# importing the tensorflow package
import tensorflow as tf 

tf.test.is_built_with_cuda()

tf.test.is_gpu_available(cuda_only=False, min_cuda_compute_capability=None)

В очередной раз после переустановки Windows осознал, что надо накатить драйвера, CUDA, cuDNN, Tensorflow/Keras для обучения нейронных сетей.

Каждый раз для меня это оказывается несложной, но времязатратной операцией: найти подходящую комбинацию Tensorflow/Keras, CUDA, cuDNN и Python несложно, но вспоминаю про эти зависимости только в тот момент, когда при импорте Tensorflow вижу, что видеокарта не обнаружена и начинаю поиск нужной страницы в документации Tensorflow.

В этот раз ситуация немного усложнилась. Помимо установки Tensorflow мне потребовалось установить PyTorch. Со своими зависимостями и поддерживаемыми версиями Python, CUDA и cuDNN.

По итогам нескольких часов экспериментов решил, что надо зафиксировать все полезные ссылки в одном посте для будущего меня.

Краткий алгоритм установки Tensorflow и PyTorch

Примечание: Установить Tensorflow и PyTorch можно в одном виртуальном окружении, но в статье этого алгоритма нет.

Подготовка к установке

1. Определить какая версия Python поддерживается Tensorflow и PyTorch (на момент написания статьи мне не удалось установить PyTorch в виртуальном окружении с Python 3.9.5)
2. Для выбранной версии Python найти подходящие версии Tensorflow и PyTorch
3. Определить, какие версии CUDA поддерживают выбранные ранее версии Tensorflow и PyTorch
4. Определить поддерживаемую версию cuDNN для Tensorflow – не все поддерживаемые CUDA версии cuDNN поддерживаются Tensorflow. Для PyTorch этой особенности не заметил

Установка CUDA и cuDNN

1. Скачиваем подходящую версию CUDA и устанавливаем. Можно установить со всеми значениями по умолчанию
2. Скачиваем cuDNN, подходящую для выбранной версии Tensorflow (п.1.2). Для скачивания cuDNN потребуется регистрация на сайте NVidia. “Установка” cuDNN заключается в распакове архива и заменой существующих файлов CUDA на файлы из архива

Устанавливаем Tensorflow

1. Создаём виртуальное окружение для Tensorflow c выбранной версией Python. Назовём его, например, py38tf
2. Переключаемся в окружение py38tf и устанавливаем поддерживаемую версию Tensorflow pip install tensorflow==x.x.x
3. Проверяем поддержку GPU командой

   python -c "import tensorflow as tf; print('CUDA available' if tf.config.list_physical_devices('GPU') else 'CUDA not available')"
   

Устанавливаем PyTorch

1. Создаём виртуальное окружение для PyTorch c выбранной версией Python. Назовём его, например, py38torch
2. Переключаемся в окружение py38torch и устанавливаем поддерживаемую версию PyTorch
3. Проверяем поддержку GPU командой

python -c "import torch; print('CUDA available' if torch.cuda.is_available() else 'CUDA not available')"

В моём случае заработала комбинация:

• Python 3.8.8
• Драйвер NVidia 441.22
• CUDA 10.1
• cuDNN 7.6
• Tensorflow 2.3.0
• PyTorch 1.7.1+cu101

Tensorflow и PyTorch установлены в разных виртуальных окружениях.

Итого

Польза этой статьи будет понятна не скоро: систему переустанавливаю я не часто.

Если воспользуетесь этим алгоритмом и найдёте какие-то ошибки – пишите в комментарии

Если вам понравилась статья, то можете зайти в мой telegram-канал. В канал попадают небольшие заметки о Python, .NET, Go.

CPU и GPU

CPU и GPU — это разные компьютерные устройства, процессоры были распознаны людьми как компьютерное сердце, но ГПУ недавно не присоединен к людям из-за его превосходных характеристик вычисления изображений или производительности матрицы.

Отношения и разница в процессоре и гг.

Как видно из вышеуказанного рисункаGPU (процессор изображения, графический блок обработки графики)с участиемЦП (центральный процессор,Central Processing Unit）Основное отличие в конструкции состоит в том, что GPU имеет более эксплуатационные единицы (как зеленый алу на рисунке), а блоки управления и кэша не так много процессоров, поскольку GPU выполняет в то же время, когда GPU рассчитывается параллельно. Программа не требует слишком много контроля. Блок кэша используется для выполнения кэша данных, и CPU может уменьшить количество доступа первичную память Cache, который должен уменьшить задержку памяти.memory latency). Кэш в GPU небольшой или нет, потому что GPU может уменьшить задержки памяти параллельными вычислениями. Следовательно, конструкция CPU CAHCE в основном для достижения низких задержек, и контроль является в основном универсальным, и комплексные блоки управления логическими управляющими гарантируют, что ЦП является высокоэффективным задачами и инструкциями. Следовательно, процессор хорош в логическом контроле, который является последовательным расчетом, а GPU хорош при высокоинтенсивных расчетах, что параллельно. Например, графический процессор похоже на тысячи трудностей. Все сухие, и нет зависимости, что является независимым, простой, более мощным; ЦП похож на пакет, хотя и способен усердно работать, но есть меньше людей, поэтому Как правило, они несут ответственность за распределение задач, планирование персонала и другую работу.

Видно, что ускорение GPU реализуется параллельно через большое количество потоков, поэтому ГПУ не влияет на работу, которая не может быть очень параллельной. ЦП является последовательной операцией и требует сильной универсальности, в основном играющей роль общего управления и задачи распределения.

https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#thread-hierarchy

2. Что такое CUDA?

CUDA (вычислить единую архитектуру устройства, унифицированную вычислительную архитектуру)Это интеграционная технология, запущенная NVIDIA, которая является официальным названием компании для GPGPU. Через эту технологию пользователи могут использовать NVIDIAGeForce 8Последний GPU и новейший Quadro GPU рассчитываются. Это также первый раз, когда вы можете использовать GPU в качестве среды разработки C-компилятора. Когда NVIDIA Marketing компилятор часто смешивается с архитектурой, вызывая путаницу. На самом деле, CUDA может быть совместима с OpenCL или вашим собственным C-компилятором. Будь то CUDA C-Language или OpenCL, команда в конечном итоге будет преобразована в код PTX и будет настроен.

Другими словами, CUDA представляет собой параллельную вычислительную структуру для NVIDIA, которая находится только на GPU NVIDIA, и только тогда, когда проблема расчета, которая должна быть решена, — это сыграть много параллельно, чтобы рассчитать роль CUDA.,

Под архитектурой CUDA минимальный блок при выполнении чипа — это нить. Несколько трех могут образовывать блок. Нить в блоке может получить доступ к той же совместной совмещенной памяти и может быстро синхронизировать действие. Количество потоков, которые каждый блок может содержать, ограничено. Однако блок, который выполняет ту же программу, может образовывать сетку. Нить в другом блоке не может получить доступ к той же общую память, поэтому вы не можете напрямую общаться или синхронизировать. Следовательно, степень потока может сотрудничать в различных блоках относительно низкой. Однако, используя этот режим, вы можете позволить программе не нужно беспокоиться о количестве потоков, которые чип отображения действительно может выполняться одновременно. Например, чип отображения, имеющий очень небольшое количество блока выполнения, может выполнять последовательный порядок в каждом блоке, не одновременно. Различные сетки могут выполнять разные программы (т.е. ядро).

CUDA(ComputeUnified Device Architecture)Это операционная платформа, запущенная производителем видеокарт NVIDIA. CUDA — это общая параллельная вычислительная архитектура, запущенная NVIDIA, которая позволяет GPU решать сложные вычислительные проблемы.

3. Что такое CUDNN?

NVIDIA cuDNNЭто ускоритель GPU для глубоких нейронных сетей. Это подчеркивает производительность, простоту использования и низкую накладную расход памяти.NVIDIA cuDNNОн может быть интегрирован в более высокий уровень структуры машинного обучения, таких как Tensorflow Google, популярное программное обеспечение Caffe в Беркли, штат Калифорния. Простой плагин дизайн позволяет разработчикам сосредоточиться на проектировании и внедрении моделей нейронных сетей, а не простых регулировков, а также реализуя высокую производительность современных параллельных вычислений на графическом процессе.

4. Отношения между Куда и CUDNN

Куда считается верстанием с большим количеством инструментов, таких как молотки, отвертки и т. Д. CUDNN основан на библиотеке ускорительной библиотеки GPU в CUDA на основе CUDA, которая имеет его для завершения расчетов глубины обучения на GPU. Это эквивалентно работе, например, это гаечный ключ. Но когда куда куда нет, нет пути. Чтобы запустить глубину нейронной сети на CUDA, вы должны установить CUDNN, как вы хотите скрутить гайку. Таким образом, GPU будет работать в глубокой нейронной сети, и рабочая скорость — это много процессора.

Официальный учебник по установке
CUDA：https://docs.nvidia.com/cuda/cuda-installation-guide-microsoft-windows/index.html
cuDNN：https://docs.nvidia.com/deeplearning/sdk/cudnn-install/index.html#installwindows

5. Установка

5.1 Установка CUDA

CUDA10Установочный пакет можно загрузить непосредственно с веб-сайта NVIDIA.

Согласно соответствующему варианту системы, я выбираюcuda_10.1.243_426.00_win10.exe(Размер 2,3 г), рекомендуется выбирать при установкенастроить Вместо"оптимизация"(Из английского объяснения, его можно увидеть, на самом деле, охватывание оптимизации должна быть более подходящей, она будет установлена ​​все компоненты и перезаписать существующий драйвер, но я не хочу устанавливать ведро Full-Family, пусть Один мой официальный драйвер видеокарты, чем новый).

Дважды щелкните, чтобы установить:

Настроить переменные среды

Проверьте, настроен ли он

5.2 Установка CUDNN

После завершения установки вам нужно скачатьСоответствующая версия, соответствующая CUDAизcuDNNПосле того, как страница загрузки, показанной ниже, после завершения загрузки поместите все файлы в этом сжатом пакете в каталог установки CUDA10 в соответствии с папкой.

Добавьте переменную среды

Добавить переменные среды:C:Program FilesNVIDIA GPU Computing ToolkitCUDAv10.0libx64

6. Ссылка

https://blog.csdn.net/weixin_41781408/article/details/89946085
https://blog.csdn.net/MrCharles/article/details/89193619

7. Примечание:

Невозможно построить процессор GPU с помощью AnaConda. Невозможно построить окружающую среду!

NVIDIA leads artificial intelligence computing-NVIDIA
https://www.nvidia.cn/

NVIDIA Developer-NVIDIA DEVELOPER
https://developer.nvidia.com/

NVIDIA cuDNN
https://developer.nvidia.com/cudnn

cuDNN Archive
https://developer.nvidia.com/rdp/cudnn-archive

DEEP LEARNING SDK DOCUMENTATION — cuDNN Archives
https://docs.nvidia.com/deeplearning/sdk/cudnn-archived/index.html

NVIDIA Deep Learning SDK
https://docs.nvidia.com/deeplearning/sdk/index.html

cuDNN Release 7.6.0 Documentation — cuDNN Installation Guide
https://docs.nvidia.com/deeplearning/sdk/cudnn-archived/cudnn_760/cudnn-install/index.html

1. Download cuDNN v7.6.0 (May 20, 2019), for CUDA 10.1

The NVIDIA CUDA® Deep Neural Network library (cuDNN) is a GPU-accelerated library of primitives for deep neural networks.

Library for Windows, Mac, Linux, Ubuntu and RedHat/Centos (x86_64 architecture) cuDNN Library for Windows 10

primitive ['prɪmɪtɪv]: adj. primitive, ancient, simple, rough n. primitive

Usecudnn-10.1-windows10-x64-v7.6.0.64.zip installation.

2. cuDNN Installation Guide — Overview

The NVIDIA CUDA Deep Neural Network library (cuDNN) is a GPU-accelerated library of primitives for deep neural networks. cuDNN provides highly tuned implementations for standard routines such as forward and backward convolution, pooling, normalization, and activation layers. cuDNN is part of the NVIDIA Deep Learning SDK.
NVIDIA CUDA Deep Neural Network library (cuDNN) is a GPU accelerated primitive library for deep neural networks. cuDNN provides highly optimized implementations for standard routines, such as forward and backward convolution, pooling, normalization, and activation layers. cuDNN is part of the NVIDIA Deep Learning SDK.

Deep learning researchers and framework developers worldwide rely on cuDNN for high-performance GPU acceleration. It allows them to focus on training neural networks and developing software applications rather than spending time on low-level GPU performance tuning. cuDNN accelerates widely used deep learning frameworks, including Caffe, Caffe2, TensorFlow, Theano, Torch, PyTorch, MXNet, and Microsoft Cognitive Toolkit. cuDNN is freely available to members of the NVIDIA Developer Program.
Deep learning researchers and framework developers around the world rely on cuDNN to achieve high-performance GPU acceleration. It allows them to focus on training neural networks and developing software applications without having to spend time on the underlying GPU performance tuning. cuDNN accelerates the widely used deep learning frameworks, including Caffe, Caffe2, TensorFlow, Theano, Torch, PyTorch, MXNet, and Microsoft Cognitive Toolkit. cuDNN is freely available to members of the NVIDIA Developer Program.

3. Downloading cuDNN

4. Installing cuDNN on Windows

4.1. Prerequisites

• NVIDIA GPU
  https://developer.nvidia.com/cuda-gpus
  

• Supported NVIDIA hardware, CUDA, and CUDA driver versions for cuDNN v7.5.1 — v7.6.2
  https://docs.nvidia.com/deeplearning/sdk/cudnn-support-matrix/index.html
  

• One of the following supported CUDA versions and NVIDIA graphics driver:
  NVIDIA graphics driver R418 or newer for CUDA 10.1
  NVIDIA graphics driver R410 or newer for CUDA 10.0
  NVIDIA graphics driver R396 or newer for CUDA 9.2
  NVIDIA graphics driver R384 or newer for CUDA 9
  NVIDIA graphics driver R377 or newer for CUDA 8

4.1.1. Installing NVIDIA Graphics Drivers

4.1.2. Installing CUDA

4.2. Installing cuDNN on Windows

1. cudnn-10.1-windows10-x64-v7.6.0.64.zip -> unzip to current folder

• Your CUDA directory path is referred to as C:Program FilesNVIDIA GPU Computing ToolkitCUDAv10.1

• Your cuDNN directory path is referred to as <installpath> = E:software

• E:softwarecuda
  

1. Navigate to your <installpath> directory containing cuDNN.

2. Unzip the cuDNN package.
   cudnn-10.1-windows10-x64-v7.6.0.64.zip

3. Copy the following files into the CUDA Toolkit directory.
   a. Copy <installpath>cudabincudnn64_7.dll to C:Program FilesNVIDIA GPU Computing ToolkitCUDAv10.1bin.
   E:softwarecudabincudnn64_7.dll -> C:Program FilesNVIDIA GPU Computing ToolkitCUDAv10.1bin
   b. Copy <installpath>cudaincludecudnn.h to C:Program FilesNVIDIA GPU Computing ToolkitCUDAv10.1include.
   E:softwarecudaincludecudnn.h -> C:Program FilesNVIDIA GPU Computing ToolkitCUDAv10.1include
   c. Copy <installpath>cudalibx64cudnn.lib to C:Program FilesNVIDIA GPU Computing ToolkitCUDAv10.1libx64.
   E:softwarecudalibx64cudnn.lib -> C:Program FilesNVIDIA GPU Computing ToolkitCUDAv10.1libx64

4. Set the following environment variables to point to where cuDNN is located. To access the value of the $(CUDA_PATH) environment variable, perform the following steps:
   a. Open a command prompt from the Start menu.
   b. Type Run and hit Enter.
   c. Issue the control sysdm.cpl command.
   d. Select the Advanced tab at the top of the window.
   e. Click Environment Variables at the bottom of the window.
   f. Ensure the following values are set:

Variable Name: CUDA_PATH 
Variable Value: C:Program FilesNVIDIA GPU Computing ToolkitCUDAv10.1

1. Include cudnn.lib in your Visual Studio project.
   a. Open the Visual Studio project and right-click on the project name.
   b. Click Linker > Input > Additional Dependencies.
   c. Add cudnn.lib and click OK.

cuDNN v7 can coexist with previous versions of cuDNN, such as v5 or v6.

References

cuDNN Support Matrix — CUDA And NVIDIA Hardware For cuDNN
https://docs.nvidia.com/deeplearning/sdk/cudnn-support-matrix/index.html

CUDA Installation Guide for Microsoft Windows
https://docs.nvidia.com/cuda/cuda-installation-guide-microsoft-windows/index.html