Системные требования¶
-
Windows 8 и выше, 32-бит или 64-бит.
-
400 МБ дискового пространства.
Наиболее полный список требований для Windows (а также требования для MacOS и Linux) — на
сайте Anaconda. Для Miniconda требования те же, за исключением дискового пространства.
Проверка хеш-суммы дистрибутива¶
Разработчики Miniconda рекомендуют перед запуском установки проверить хеш-сумму загруженного дистрибутива, чтобы убедиться в его целостности и подлинности.
На странице
документации conda
вы найдете хеш-сумму SHA256 для последней версии дистрибутива. Хеш-суммы для более ранних версий также
доступны.
Проверьте дистрибутив:
-
Запустите PowerShell (например, нажмите Win+R и введите
powershell). -
Введите следующую команду:
Get-FileHash путь-к-вашему-дистрибутиву -Algorithm SHA256 -
Сверьте полученный результат со значением, указанным на странице со ссылкой на загрузку дистрибутива.
Установка Miniconda¶
Запустите файл скачанного дистрибутива (с расширением exe) и следуйте инструкциям установщика.
В процессе установки вам нужно будет указать:
-
для каких пользователей компьютера устанавливать Miniconda: только для себя (не требуются права администратора) или для всех пользователей (нужны права администратора);
-
в какую папку установить Miniconda;
-
нужно ли добавить Miniconda в переменную окружения PATH (разработчики Miniconda не рекомендуют устанавливать этот флажок, так как это впоследствии может вызвать проблемы, для решения которых придется удалить и переустановить Miniconda);
-
нужно ли зарегистрировать версию Python, устанавливаемую с Miniconda, как используемую по умолчанию другими программами (например, PyCharm или PyDev).
Машинное обучение − это просто. Но знаете ли вы, что можно использовать Python для машинного обучения? Вот инструкция по настройке для Windows.
Люди привыкли выполнять большую часть работы автономно. В этой статье рассказываем о возможностях языка Python для машинного обучения на Windows, описание дистрибутива Anaconda, процесс его установки и создание нейронной сети.
Anaconda и Conda
Используемый в Python pip не идеален. Для оптимизации работы был выпущен дистрибутив Anaconda и система управления Conda, которые могут помочь в настройке Python для машинного обучения.
Хотя Conda тесно связана с Anaconda, эти проекты отличаются своими функциями. Anaconda − дистрибутив ПО в экосистеме PyData, которая включает сам язык программирования Python, а также двоичные файлы для нескольких сторонних проектов. Существует и Miniconda − версия с минимальным исходным пакетом. Conda − система управления пакетами, которая может быть установлена без Anaconda или Miniconda. Она способна решать проблемы внешних зависимостей, путем загрузки скомпилированных версий ПО. Кроме того, Conda является менеджером среды. С ее помощью вы можете настроить отдельную среду. Сейчас мы рассмотрим процесс установки Miniconda.
Установка дистрибутива Miniconda
Скачайте и установите необходимую версию Miniconda на ПК. При установке продвинутых настроек снимите галочку с первого пункта.
Поскольку при установке не был выбран пункт «Add Anaconda to my PATH environment variable», то команды Anaconda не будут работать в командной строке по умолчанию. Для их использования следует запустить дистрибутив отдельно. Когда он откроется, проверьте доступность Conda, запустив conda —version:
(base) C:UsersIEUser>conda --version conda 4.5.11
Чтобы получить больше информации об установке, запустите conda info:
(base) C:UsersIEUser>conda info
active environment : base
active env location : C:UsersIEUserMiniconda3
shell level : 1
user config file : C:UsersIEUser.condarc
populated config files : C:UsersIEUser.condarc
conda version : 4.5.11
conda-build version : not installed
python version : 3.7.0.final.0
base environment : C:UsersIEUserMiniconda3 (writable)
channel URLs : https://repo.anaconda.com/pkgs/main/win-64
https://repo.anaconda.com/pkgs/main/noarch
https://repo.anaconda.com/pkgs/free/win-64
https://repo.anaconda.com/pkgs/free/noarch
https://repo.anaconda.com/pkgs/r/win-64
https://repo.anaconda.com/pkgs/r/noarch
https://repo.anaconda.com/pkgs/pro/win-64
https://repo.anaconda.com/pkgs/pro/noarch
https://repo.anaconda.com/pkgs/msys2/win-64
https://repo.anaconda.com/pkgs/msys2/noarch
package cache : C:UsersIEUserMiniconda3pkgs
C:UsersIEUserAppDataLocalcondacondapkgs
envs directories : C:UsersIEUserMiniconda3envs
C:UsersIEUserAppDataLocalcondacondaenvs
C:UsersIEUser.condaenvs
platform : win-64
user-agent : conda/4.5.11 requests/2.19.1 CPython/3.7.0 Windows/10 Windows/10.0.17134
administrator : False
netrc file : None
offline mode : False
Понимание среды Conda
При работе с чужими проектами у вас может возникнуть потребность в установке определенных версий пакетов. Виртуальные среды − решение проблемы. Они позволяют создать несколько сред, каждая из которых имеет разные версии пакетов. Базовая настройка Python для машинного обучения включает в себя Virtualenv, инструмент для создания изолированных сред.
Conda включает собственный менеджер среды и дает некоторые преимущества относительно Virtualenv. Кроме того, среды Conda полностью совместимы с базовыми пакетами языка Python, которые могут быть установлены с помощью pip.
Используя Anaconda, можно проверить доступные среды Conda, запустив сonda env list:
(base) C:UsersIEUser>conda env list base * C:UsersIEUserMiniconda3
Базовая среда − корневая среда, созданная Miniconda. Можно создать еще одну, под названием otherenv, путем запуска conda create —name otherenv:
(base) C:UsersIEUser>conda create --name otherenv Solving environment: done environment location: C:UsersIEUserMiniconda3envsotherenv Proceed ([y]/n)? y Preparing transaction: done Verifying transaction: done Executing transaction: done
После завершения процесса создания среды, можно ее активировать, запустив conda activate otherenv. Заметить изменения среды можно, посмотрев на скобки в начале строки:
(base) C:UsersIEUser>conda activate otherenv (otherenv) C:UsersIEUser>
Откройте Python interpreter в этой среде, запустив python:
(otherenv) C:UsersIEUser>python Python 3.7.0 (default, Jun 28 2018, 08:04:48) [MSC v.1912 64 bit (AMD64)] :: Anaconda, Inc. on win32 Type "help", "copyright", "credits" or "license" for more information. >>>
Среда включает в себя Python 3.7.0, ту же версию, что включена в корневую среду. Чтобы выйти, запустите quit():
>>> quit() (otherenv) C:UsersIEUser>
Чтобы отключить среду otherenv и вернуться в корневую среду, пропишите deactivate:
(otherenv) C:UsersIEUser>deactivate (base) C:UsersIEUser>
Conda позволяет легко создавать среды с различными версиями Python. Чтобы включить другую версию в среду, укажите ее, используя python =<version> при запуске conda create. Чтобы создать среду с именем py2 с Python 2.7, запустите conda create —name py2 python=2.7:
(base) C:UsersIEUser>conda create --name py2 python=2.7
Solving environment: done
environment location: C:UsersIEUserMiniconda3envspy2
added / updated specs:
- python=2.7
The following NEW packages will be INSTALLED:
certifi: 2018.8.24-py27_1
pip: 10.0.1-py27_0
python: 2.7.15-he216670_0
setuptools: 40.2.0-py27_0
vc: 9-h7299396_1
vs2008_runtime: 9.00.30729.1-hfaea7d5_1
wheel: 0.31.1-py27_0
wincertstore: 0.2-py27hf04cefb_0
Proceed ([y]/n)? y
Preparing transaction: done
Verifying transaction: done
Executing transaction: done
(base) C:UsersIEUser>
Как видно из вывода conda create, были установлены новые пакеты, так как среда использует Python 2.7. Можно проверить, что среда действительно использует его, активировав Python interpreter:
(base) C:UsersIEUser>conda activate py2 (py2) C:UsersIEUser>python Python 2.7.15 |Anaconda, Inc.| (default, May 1 2018, 18:37:09) [MSC v.1500 64 bit (AMD64)] on win32 Type "help", "copyright", "credits" or "license" for more information. >>>
Теперь, если вы запустите conda env list, можно увидеть две среды, которые были созданы вами:
(py2) C:UsersIEUser>conda env list base C:UsersIEUserMiniconda3 otherenv C:UsersIEUserMiniconda3envsotherenv py2 * C:UsersIEUserMiniconda3envspy2 (py2) C:UsersIEUser>
Asterisk указывает на активную среду. Ее можно удалить, выполнив команду conda remove —name <environment name> —all:
(py2) C:UsersIEUser>deactivate
(base) C:UsersIEUser>conda remove --name py2 --all
Remove all packages in environment C:UsersIEUserMiniconda3envspy2:
environment location: C:UsersIEUserMiniconda3envspy2
The following packages will be REMOVED:
certifi: 2018.8.24-py27_1
pip: 10.0.1-py27_0
python: 2.7.15-he216670_0
setuptools: 40.2.0-py27_0
vc: 9-h7299396_1
vs2008_runtime: 9.00.30729.1-hfaea7d5_1
wheel: 0.31.1-py27_0
wincertstore: 0.2-py27hf04cefb_0
Proceed ([y]/n)? y
(base) C:UsersIEUser>
Управление базовыми пакетами с помощью Conda
Пакеты ПО могут быть установлены с помощью Conda. Корневая база Miniconda включает в себя базовые пакеты, которые не являются частью стандартной библиотеки Python для настройки машинного обучения.
Установка по умолчанию включает минимум пакетов Conda. Чтобы проверить список установленных пакетов, нужно убедиться, что она активна, и запустить conda list. В корневой среде устанавливаются эти пакеты:
(base) C:UsersIEUser>conda list asn1crypto 0.24.0 py37_0 ca-certificates 2018.03.07 0 certifi 2018.8.24 py37_1 cffi 1.11.5 py37h74b6da3_1 chardet 3.0.4 py37_1 conda 4.5.11 py37_0 conda-env 2.6.0 1 console_shortcut 0.1.1 3 cryptography 2.3.1 py37h74b6da3_0 idna 2.7 py37_0 menuinst 1.4.14 py37hfa6e2cd_0 openssl 1.0.2p hfa6e2cd_0 pip 10.0.1 py37_0 pycosat 0.6.3 py37hfa6e2cd_0 pycparser 2.18 py37_1 pyopenssl 18.0.0 py37_0 pysocks 1.6.8 py37_0 python 3.7.0 hea74fb7_0 pywin32 223 py37hfa6e2cd_1 requests 2.19.1 py37_0 ruamel_yaml 0.15.46 py37hfa6e2cd_0 setuptools 40.2.0 py37_0 six 1.11.0 py37_1 urllib3 1.23 py37_0 vc 14 h0510ff6_3 vs2015_runtime 14.0.25123 3 wheel 0.31.1 py37_0 win_inet_pton 1.0.1 py37_1 wincertstore 0.2 py37_0 yaml 0.1.7 hc54c509_2 (base) C:UsersIEUser>
Поиск и установка пакетов
Пакеты устанавливаются из репозиториев, называемых channels by Conda. Чтобы выполнить поиск определенного пакета, запустите поиск <package name>. Вот так вы будете искать keras:
(base) C:UsersIEUser>conda search keras Loading channels: done keras 2.0.8 py35h15001cb_0 pkgs/main keras 2.0.8 py36h65e7a35_0 pkgs/main keras 2.1.2 py35_0 pkgs/main keras 2.1.2 py36_0 pkgs/main keras 2.1.3 py35_0 pkgs/main keras 2.1.3 py36_0 pkgs/main ... (more)
Для каждой версии существуют разные версии пакетов и сборки. Предыдущий поиск показывает только пакеты с именем keras. Чтобы выполнить более широкий поиск, используйте *. Например, при запуске conda search *keras*, вы получите следующее:
(base) C:UsersIEUser>conda search *keras* Loading channels: done keras 2.0.8 py35h15001cb_0 pkgs/main keras 2.0.8 py36h65e7a35_0 pkgs/main keras 2.1.2 py35_0 pkgs/main keras 2.1.2 py36_0 pkgs/main keras 2.1.3 py35_0 pkgs/main keras 2.1.3 py36_0 pkgs/main ... (more) keras-applications 1.0.2 py35_0 pkgs/main keras-applications 1.0.2 py36_0 pkgs/main keras-applications 1.0.4 py35_0 pkgs/main ... (more) keras-base 2.2.0 py35_0 pkgs/main keras-base 2.2.0 py36_0 pkgs/main ... (more)
Вы можете заметить, что в каналах по умолчанию есть и другие пакеты, связанные с keras.
Чтобы установить пакет, запустите conda install <package name>. По умолчанию самая новая версия пакета будет установлена в активной среде. Установите пакет keras в среду otherenv, созданную вами:
(base) C:UsersIEUser>conda activate otherenv
(otherenv) C:UsersIEUser>conda install keras
Solving environment: done
environment location: C:UsersIEUserMiniconda3envsotherenv
added / updated specs:
- keras
The following NEW packages will be INSTALLED:
_tflow_1100_select: 0.0.3-mkl
absl-py: 0.4.1-py36_0
astor: 0.7.1-py36_0
blas: 1.0-mkl
certifi: 2018.8.24-py36_1
gast: 0.2.0-py36_0
grpcio: 1.12.1-py36h1a1b453_0
h5py: 2.8.0-py36h3bdd7fb_2
hdf5: 1.10.2-hac2f561_1
icc_rt: 2017.0.4-h97af966_0
intel-openmp: 2018.0.3-0
keras: 2.2.2-0
keras-applications: 1.0.4-py36_1
keras-base: 2.2.2-py36_0
keras-preprocessing: 1.0.2-py36_1
libmklml: 2018.0.3-1
libprotobuf: 3.6.0-h1a1b453_0
markdown: 2.6.11-py36_0
mkl: 2019.0-117
mkl_fft: 1.0.4-py36h1e22a9b_1
mkl_random: 1.0.1-py36h77b88f5_1
numpy: 1.15.1-py36ha559c80_0
numpy-base: 1.15.1-py36h8128ebf_0
pip: 10.0.1-py36_0
protobuf: 3.6.0-py36he025d50_0
python: 3.6.6-hea74fb7_0
pyyaml: 3.13-py36hfa6e2cd_0
scipy: 1.1.0-py36h4f6bf74_1
setuptools: 40.2.0-py36_0
six: 1.11.0-py36_1
tensorboard: 1.10.0-py36he025d50_0
tensorflow: 1.10.0-mkl_py36hb361250_0
tensorflow-base: 1.10.0-mkl_py36h81393da_0
termcolor: 1.1.0-py36_1
vc: 14-h0510ff6_3
vs2013_runtime: 12.0.21005-1
vs2015_runtime: 14.0.25123-3
werkzeug: 0.14.1-py36_0
wheel: 0.31.1-py36_0
wincertstore: 0.2-py36h7fe50ca_0
yaml: 0.1.7-hc54c509_2
zlib: 1.2.11-h8395fce_2
Proceed ([y]/n)?
Conda управляет необходимыми функциями для пакета. Так как у keras их много, при его установке Conda позволяет установить большой список пакетов.
Поскольку новая сборка keras использует Python 3.6, а среда otherenv была создана с использованием Python 3.7, пакет python 3.6.6 был включен как зависимость. После подтверждения установки вы сможете проверить, что версия Python для среды otherenv была понижена до версии 3.6.6.
Но если вы не хотите понижать версию вашего пакета, просто создайте новую среду с необходимой версией Python. Чтобы проверить список пакетов и прочего, необходимого для ее установки, посмотрите на параметр —dry-run:
(otherenv) C:UsersIEUser>conda install keras --dry-run
При необходимости можно изменить базовую версию Python среды Conda, установив определенную версию пакета python. Создайте новую среду под названием envpython:
(otherenv) C:UsersIEUser>conda create --name envpython Solving environment: done environment location: C:UsersIEUserMiniconda3envsenvpython Proceed ([y]/n)? y Preparing transaction: done Verifying transaction: done Executing transaction: done
Поскольку корневая среда использует Python 3,7, создается envpython с этой же версией.
(base) C:UsersIEUser>conda activate envpython (envpython) C:UsersIEUser>python Python 3.7.0 (default, Jun 28 2018, 08:04:48) [MSC v.1912 64 bit (AMD64)] :: Anaconda, Inc. on win32 Type "help", "copyright", "credits" or "license" for more information. >>> quit() (envpython) C:UsersIEUser>
Чтобы установить определенную версию пакета , запустите conda install <package name>=<version>. Вот так вы установите Python 3.6 в среду envpython:
(envpython) C:UsersIEUser>conda install python=3.6
Solving environment: done
environment location: C:UsersIEUserMiniconda3envsenvpython
added / updated specs:
- python=3.6
The following NEW packages will be INSTALLED:
certifi: 2018.8.24-py36_1
pip: 10.0.1-py36_0
python: 3.6.6-hea74fb7_0
setuptools: 40.2.0-py36_0
vc: 14-h0510ff6_3
vs2015_runtime: 14.0.25123-3
wheel: 0.31.1-py36_0
wincertstore: 0.2-py36h7fe50ca_0
Proceed ([y]/n)?
Если вам нужно установить несколько пакетов, запустите conda install, указав имена пакетов. Вот как вы установите numpy, scipy и matplotlib:
(envpython) C:UsersIEUser>deactivate
(base) C:UsersIEUser>conda install numpy scipy matplotlib
Solving environment: done
environment location: C:UsersIEUserMiniconda3
added / updated specs:
- matplotlib
- numpy
- scipy
The following packages will be downloaded:
package | build
---------------------------|-----------------
libpng-1.6.34 | h79bbb47_0 1.3 MB
mkl_random-1.0.1 | py37h77b88f5_1 267 KB
intel-openmp-2019.0 | 117 1.7 MB
qt-5.9.6 | vc14h62aca36_0 92.5 MB
matplotlib-2.2.3 | py37hd159220_0 6.5 MB
tornado-5.1 | py37hfa6e2cd_0 668 KB
pyqt-5.9.2 | py37ha878b3d_0 4.6 MB
pytz-2018.5 | py37_0 232 KB
scipy-1.1.0 | py37h4f6bf74_1 13.5 MB
jpeg-9b | hb83a4c4_2 313 KB
python-dateutil-2.7.3 | py37_0 260 KB
numpy-base-1.15.1 | py37h8128ebf_0 3.9 MB
numpy-1.15.1 | py37ha559c80_0 37 KB
mkl_fft-1.0.4 | py37h1e22a9b_1 120 KB
kiwisolver-1.0.1 | py37h6538335_0 61 KB
pyparsing-2.2.0 | py37_1 96 KB
cycler-0.10.0 | py37_0 13 KB
freetype-2.9.1 | ha9979f8_1 470 KB
icu-58.2 | ha66f8fd_1 21.9 MB
sqlite-3.24.0 | h7602738_0 899 KB
sip-4.19.12 | py37h6538335_0 283 KB
------------------------------------------------------------
Total: 149.5 MB
The following NEW packages will be INSTALLED:
blas: 1.0-mkl
cycler: 0.10.0-py37_0
freetype: 2.9.1-ha9979f8_1
icc_rt: 2017.0.4-h97af966_0
icu: 58.2-ha66f8fd_1
intel-openmp: 2019.0-117
jpeg: 9b-hb83a4c4_2
kiwisolver: 1.0.1-py37h6538335_0
libpng: 1.6.34-h79bbb47_0
matplotlib: 2.2.3-py37hd159220_0
mkl: 2019.0-117
mkl_fft: 1.0.4-py37h1e22a9b_1
mkl_random: 1.0.1-py37h77b88f5_1
numpy: 1.15.1-py37ha559c80_0
numpy-base: 1.15.1-py37h8128ebf_0
pyparsing: 2.2.0-py37_1
pyqt: 5.9.2-py37ha878b3d_0
python-dateutil: 2.7.3-py37_0
pytz: 2018.5-py37_0
qt: 5.9.6-vc14h62aca36_0
scipy: 1.1.0-py37h4f6bf74_1
sip: 4.19.12-py37h6538335_0
sqlite: 3.24.0-h7602738_0
tornado: 5.1-py37hfa6e2cd_0
zlib: 1.2.11-h8395fce_2
Proceed ([y]/n)?
Обновление и удаление пакетов
Иногда вам будет нужно обновлять пакеты. Для этого запустите conda update <package name>. Если вы хотите обновить все пакеты, активируйте среду и запустите conda update —all.
Чтобы удалить пакеты, пропишите conda remove <package name>, но помните, что при удалении пакета, все зависимые от него тоже удалятся:
(base) C:UsersIEUser>conda remove numpy
Solving environment: done
environment location: C:UsersIEUserMiniconda3
removed specs:
- numpy
The following packages will be REMOVED:
matplotlib: 2.2.3-py37hd159220_0
mkl_fft: 1.0.4-py37h1e22a9b_1
mkl_random: 1.0.1-py37h77b88f5_1
numpy: 1.15.1-py37ha559c80_0
scipy: 1.1.0-py37h4f6bf74_1
Proceed ([y]/n)?
Использование каналов
Иногда вы не сможете найти нужные вам пакеты на базовых каналах. Вот так вы будете устанавливать pytorch:
(base) C:UsersIEUser>conda search pytorch
Loading channels: done
PackagesNotFoundError: The following packages are not available from current channels:
- pytorch
Current channels:
- https://repo.anaconda.com/pkgs/main/win-64
- https://repo.anaconda.com/pkgs/main/noarch
- https://repo.anaconda.com/pkgs/free/win-64
- https://repo.anaconda.com/pkgs/free/noarch
- https://repo.anaconda.com/pkgs/r/win-64
- https://repo.anaconda.com/pkgs/r/noarch
- https://repo.anaconda.com/pkgs/pro/win-64
- https://repo.anaconda.com/pkgs/pro/noarch
- https://repo.anaconda.com/pkgs/msys2/win-64
- https://repo.anaconda.com/pkgs/msys2/noarch
To search for alternate channels that may provide the conda package you're
looking for, navigate to
https://anaconda.org
and use the search bar at the top of the page.
В случае, если будете искать pytorch на сайте anaconda, вы получите следующие результаты:
В канале pytorch имеется пакет под названием pytorch с версией 0.4.1. Чтобы установить пакет с определенного канала, используйте параметр -c <chanel> вместе с conda install:
(base) C:UsersIEUser>conda install -c pytorch pytorch
Solving environment: done
environment location: C:UsersIEUserMiniconda3
added / updated specs:
- pytorch
The following packages will be downloaded:
package | build
---------------------------|-----------------
pytorch-0.4.1 |py37_cuda90_cudnn7he774522_1 590.4 MB pytorch
The following NEW packages will be INSTALLED:
pytorch: 0.4.1-py37_cuda90_cudnn7he774522_1 pytorch
Proceed ([y]/n)?
Также можно добавить канал, чтобы Conda производила там поиск пакетов. Чтобы посмотреть текущие каналы, запустите conda config —get channels:
(base) C:UsersIEUser>conda config --get channels --add channels 'defaults' (base) C:UsersIEUser>
Когда у вас появится множество каналов,нужно будет выставить приоритет. Чтобы добавить канал с наименьшим приоритетом в список, запустите conda config —append channels <channel name>. С наивысшим − conda config —prepend channels <channel name>. Рекомендуется выставлять новым каналам низкий приоритет, чтобы продолжить использовать каналы по умолчанию. Таким образом, вы можете установить pytorch, добавив канал pytorch и запустив conda install pytorch:
(base) C:UsersIEUser>conda config --append channels pytorch
(base) C:UsersIEUser>conda config --get channels
--add channels 'pytorch' # lowest priority
--add channels 'defaults' # highest priority
(base) C:UsersIEUser>conda install pytorch
Solving environment: done
environment location: C:UsersIEUserMiniconda3
added / updated specs:
- pytorch
The following packages will be downloaded:
package | build
---------------------------|-----------------
pytorch-0.4.1 |py37_cuda90_cudnn7he774522_1 590.4 MB pytorch
The following NEW packages will be INSTALLED:
pytorch: 0.4.1-py37_cuda90_cudnn7he774522_1 pytorch
Proceed ([y]/n)?
Использование Pip в среде Conda
Иногда при настройке Python для машинного обучения вам могут понадобиться чистые пакеты Python, которые будут недоступны на каналах Conda. Например, Unipath.
Вы сможете найти пакет, используя другой канал. Но так как unipath − чистый пакет Python, то можно использовать pip для его установки. Следует использовать pip, установленный conda create:
conda create --name newproject
Чтобы установить pip, активируйте среду и установите пакет Conda:
(base) C:UsersIEUser>conda activate newproject
(newproject) C:UsersIEUser>conda install pip
Solving environment: done
environment location: C:UsersIEUserMiniconda3envsnewproject
added / updated specs:
- pip
The following NEW packages will be INSTALLED:
certifi: 2018.8.24-py37_1
pip: 10.0.1-py37_0
python: 3.7.0-hea74fb7_0
setuptools: 40.2.0-py37_0
vc: 14-h0510ff6_3
vs2015_runtime: 14.0.25123-3
wheel: 0.31.1-py37_0
wincertstore: 0.2-py37_0
Proceed ([y]/n)?
Наконец, используйте pip, чтобы установить unipath:
(newproject) C:UsersIEUser>pip install unipath Collecting unipath Installing collected packages: unipath Successfully installed unipath-1.1 You are using pip version 10.0.1, however version 18.0 is available. You should consider upgrading via the 'python -m pip install --upgrade pip' command. (newproject) C:UsersIEUser>
После установки вы можете посмотреть на пакеты с помощью conda list и проверить, что Unipath был установлен:
(newproject) C:UsersIEUser>conda list certifi 2018.8.24 py37_1 pip 10.0.1 py37_0 python 3.7.0 hea74fb7_0 setuptools 40.2.0 py37_0 Unipath 1.1 <pip> vc 14 h0510ff6_3 vs2015_runtime 14.0.25123 3 wheel 0.31.1 py37_0 wincertstore 0.2 py37_0 (newproject) C:UsersIEUser>
Также можно использовать пакеты из системы VSC с помощью pip. Чтобы активировать supervisor, version 4.0.0dev0. доступный в репозитории Git, для начала установите последний:
(newproject) C:UsersIEUser> conda install git
Теперь установите supervisor, используя pip, с помощью репозитория Git:
(newproject) pip install -e git://github.com/Supervisor/supervisor@abef0a2be35f4aae4a4edeceadb7a213b729ef8d#egg=supervisor
После завершения установки supervisor будет указан в списке установленных пакетов:
(newproject) C:UsersIEUser>conda list certifi 2018.8.24 py37_1 git 2.18.0 h6bb4b03_0 meld3 1.0.2 <pip> pip 10.0.1 py37_0 python 3.7.0 hea74fb7_0 setuptools 40.2.0 py37_0 supervisor 4.0.0.dev0 <pip> ... (more)
Простой пример машинного обучения
XOR gate − ещё один момент, который стоит знать в процессе настройки Python для машинного обучения: используя Conda обучите нейронную сеть функционировать как XOR gate
XOR gate реализуют операцию OR. Требуется два цифровых входа, равные 0 или 1. И вывода, 1 (true) и 0 (false). Таблица ниже суммирует операции XOR gate:
Операцию XOR можно интерпретировать как classification problem, потому что она принимает два входа и должна классифицировать их как 0 или 1 в зависимости от того, равны они друг другу или нет. Именно этот пример обычно используется в качестве первого случая обучения нейронной сети, поскольку он прост, но в то же время требует нелинейного классификатора, такого как нейронная сеть. Чтобы реализовать нейронную сеть, создайте среду Conda, названную nnxor:
(base) C:UsersIEUser>conda create nnxor
Теперь активируйте и установите пакет keras:
(base) C:UsersIEUser>conda activate nnxor (nnxor) C:UsersIEUser>conda install keras
keras − высокоуровневый API, который упрощает внедрение нейронных сетей поверх известных библиотек, таких как TensorFlow. Обучите следующую нейронную сеть действовать как XOR gate:
Сеть берет два входа (A, B) и передает их двум нейронам, показанными большими кругами. Затем она принимает входные данные этих нейронов и подает их на выходной нейрон, который должен обеспечивать классификацию в соответствии с таблицей XOR.
Процесс обучения состоит в том, чтобы настроить значения w_1 до w_6, чтобы выход соответствовал таблице. Для этого входные примеры начнут подаваться по одному, вывод станет рассчитываться с текущими значениями, и, сравнивая вывод с желаемым, значения будут корректироваться.
Для этого создайте папку с именем nnxor в директории (C:UsersIEUser) с файлом под именем nnxor.py, чтобы сохранить программу Python для реализации нейронной сети.
В файле nnxor.py выберите сеть для обучения и тестирования:
import numpy as np
np.random.seed(444)
from keras.models import Sequential
from keras.layers.core import Dense, Activation
from keras.optimizers import SGD
X = np.array([[0, 0],
[0, 1],
[1, 0],
[1, 1]])
y = np.array([[0], [1], [1], [0]])
model = Sequential()
model.add(Dense(2, input_dim=2))
model.add(Activation('sigmoid'))
model.add(Dense(1))
model.add(Activation('sigmoid'))
sgd = SGD(lr=0.1)
model.compile(loss='mean_squared_error', optimizer=sgd)
model.fit(X, y, batch_size=1, epochs=5000)
if __name__ == '__main__':
print(model.predict(X))
Импортируйте numpy, инициализируйте случайный seed, чтобы можно было воспроизвести те же результаты при повторном запуске программы и импортировать keras, используемый в сети.
Определите массив X, содержащий 4 возможных набора A-B входов, и массив y, содержащий выходные данные.
Следующие пять строк сформируют нейронную сеть. Модель Sequental() − одна из моделей keras для определения нейронной сети. Определите первый слой из двух входных нейронов, определив их функцию активации в качестве sigmond function. Затем обозначьте входной слой их одного нейрона с той же функцией активации.
Следующие две строки определяют детали обучения сети. Чтобы настроить параметры, используйте Stochastic Gradient Descent с оптимальной скоростью обучения, равной 0,1. Наконец, выполните обучение с помощью fit(), используя X и Y в качестве примеров обучения, после того, как каждый пример будет загружен в сеть (batch_size=1). Число epochs представляет собой количество попыток обучения сети.
В этом случае вы повторяете операцию 5500 раз, используя обучающий набор, содержащий 4 примера ввода и вывода. После обращения нейросети к исходным данным тренировочные варианты перемешиваются заново.
На последней строке вы печатаете прогнозируемые значения 4 возможных примеров ввода.
(nnxor) C:UsersIEUser>cd nnxor (nnxor) C:UsersIEUsernnxor>python nnxor.py Using TensorFlow backend. Epoch 1/5000 2018-09-16 09:49:05.987096: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX AVX2 2018-09-16 09:49:05.993128: I tensorflow/core/common_runtime/process_util.cc:69] Creating new thread pool with default inter op setting: 2. Tune using inter_op_parallelism_threads for best performance. 4/4 [==============================] - 0s 39ms/step - loss: 0.2565 Epoch 2/5000 4/4 [==============================] - 0s 0us/step - loss: 0.2566 Epoch 3/5000 4/4 [==============================] - 0s 0us/step - loss: 0.2566 Epoch 4/5000 4/4 [==============================] - 0s 0us/step - loss: 0.2566 Epoch 5/5000 4/4 [==============================] - 0s 0us/step - loss: 0.2566 Epoch 6/5000 4/4 [==============================] - 0s 0us/step - loss: 0.2566
После обучения, вы можете проверить прогнозы, которые дает сеть для возможных входных значений:
Epoch 4997/5000 4/4 [==============================] - 0s 0us/step - loss: 0.0034 Epoch 4998/5000 4/4 [==============================] - 0s 0us/step - loss: 0.0034 Epoch 4999/5000 4/4 [==============================] - 0s 0us/step - loss: 0.0034 Epoch 5000/5000 4/4 [==============================] - 0s 0us/step - loss: 0.0034 [[0.0587215 ] [0.9468337 ] [0.9323144 ] [0.05158457]]
Как вы определите X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]]), ожидаемые входные округленные значения станут равны 0,1,1 и 0, что согласуется с прогнозами сети.
Машинное обучение применяется в различных областях, охватывая все большую аудиторию. Тем не менее, создание среды может быть сложней задачей. В этой статье вы узнали об основах создания среды Python на Windows с использованием Anaconda. Теперь, когда у вас есть основа, пришло время начать работу с настоящими приложениями.
- Работа с документацией в Python: поиск информации и соглашения
- Машинное обучение за год
- Машинное обучение для самых маленьких
- 13 лучших книг по Python для начинающих и продолжающих
Источник: Настройка Python для машинного обучения on Realpython
Installing miniconda on Windows
This guide is focused on how to install the miniconda package on a Windows machine.
Background
Continuum Analytics has developed the Anaconda package management system for Python. This is a powerful tool that allows users to install packages easily and without root access. It also allows for simple control over virtual environments (called conda envs) that make dependency resolution for particular software or pipelines a breeze.
The entire Anaconda package is quite large. Rather than installing the whole thing, we will be installing miniconda. Miniconda simply installs Python and the machinery to add additional packages that are enabled in the conda package management system. After we have finished installing miniconda, we will install a couple of useful packages that we plan to use during this workshop.
Install Guide
Navigate to the miniconda website. Click on the «64-bit (exe installer)» link underneath «Windows».
It should download a file called «Miniconda3-latest-Windows-x86_64.exe» to your Downloads folder. When it is done downloading, double-click on this file to begin the installation process.
Agree to the License Agreement, and click Next.
Select «Just Me» when it asks who to install for, and click Next.
Accept the default value for Install Location and click Next.
Ensure that both of the Advanced Installation Options checkboxes are selected, and then click Install.
It will take a little while (just a minute or 2) going through the actual installation, but you should finally get a success message. Uncheck the option to «Learn more about Anaconda Cloud» (unless you really want to), and click Finish.
Verify Installation
Open a command prompt, and enter the following command. (That is a Captial V)
You should see the following response:
Use conda to install Jupyter
Now that you’re setup, we’ll install a couple of important Python packages using the conda package manager. The first one that we will install is Jupyter so that we can take advantage of Jupyter notebooks later in the class. To do this, you only need to enter a single simple command:
Jupyter requires many other dependencies outside of the vanilla Python install. Fortunately, conda knows this and will automatically install each dependency that Jupyter requires. After issuing the command above, you will receive a prompt with the names of the dependencies that need to be installed/upgraded. Additionally, you will receive a prompt requesting whether you wish to proceed with the install:
Go ahead and press ENTER. Conda will then install all necessary packages to your system.
That’s all that we’ll install for now. I hope this give you a good idea of how to easily install Python packages using conda.
Installing miniconda on Windows
This guide is focused on how to install the miniconda package on a Windows machine.
Background
Continuum Analytics has developed the Anaconda package management system for Python. This is a powerful tool that allows users to install packages easily and without root access. It also allows for simple control over virtual environments (called conda envs) that make dependency resolution for particular software or pipelines a breeze.
The entire Anaconda package is quite large. Rather than installing the whole thing, we will be installing miniconda. Miniconda simply installs Python and the machinery to add additional packages that are enabled in the conda package management system. After we have finished installing miniconda, we will install a couple of useful packages that we plan to use during this workshop.
Install Guide
Navigate to the miniconda website. Click on the «64-bit (exe installer)» link underneath «Windows».
It should download a file called «Miniconda3-latest-Windows-x86_64.exe» to your Downloads folder. When it is done downloading, double-click on this file to begin the installation process.
Agree to the License Agreement, and click Next.
Select «Just Me» when it asks who to install for, and click Next.
Accept the default value for Install Location and click Next.
Ensure that both of the Advanced Installation Options checkboxes are selected, and then click Install.
It will take a little while (just a minute or 2) going through the actual installation, but you should finally get a success message. Uncheck the option to «Learn more about Anaconda Cloud» (unless you really want to), and click Finish.
Verify Installation
Open a command prompt, and enter the following command. (That is a Captial V)
You should see the following response:
Use conda to install Jupyter
Now that you’re setup, we’ll install a couple of important Python packages using the conda package manager. The first one that we will install is Jupyter so that we can take advantage of Jupyter notebooks later in the class. To do this, you only need to enter a single simple command:
Jupyter requires many other dependencies outside of the vanilla Python install. Fortunately, conda knows this and will automatically install each dependency that Jupyter requires. After issuing the command above, you will receive a prompt with the names of the dependencies that need to be installed/upgraded. Additionally, you will receive a prompt requesting whether you wish to proceed with the install:
Go ahead and press ENTER. Conda will then install all necessary packages to your system.
That’s all that we’ll install for now. I hope this give you a good idea of how to easily install Python packages using conda.
Для работы над заданиями курса в Windows 10 рекомендуется использовать следующее программное окружение:
- Редактор Visual Studio Code
- Инструменты командной строки Git for Windows
- Среда разработки MinGW-w64 (Minimalist GNU for Windows), содержащая компилятор GCC (GNU Compiler Collection)
- Инструменты для сборки проектов CMake
- Система управления пакетами python Miniconda3
Рассмотрим процесс установки и настройки этих инструментов.
Установка VS Code
Установка VS Code не представляет сложностей. Достаточно скачать установочный файл со страницы загрузок и запустить его. Пока это все, что необходимо сделать. После установки остальных программ мы вернемся к настройке VS Code.
Установка и настройка Git for Windows
Скачайте установочный файл Git for Windows со страницы загрузок и запустите его. На момент написания этого текста актуальной версией является 2.28.0. В процессе установки Вам будут заданы вопросы по конфигурации. В большинстве случаев подойдут рекомендуемые варианты.
Если в системе уже установлен редактор VS Code, то его можно выбрать в качестве редактора по умолчанию для Git:
Важным моментом является настройка обработки конца строки в файлах. Чтобы с этим не возникало проблем, необходимо выбрать вариант, который уже отмечен по умолчанию:
Чтобы команды git были доступны во всех терминалах, следует выбрать рекомендуемый вариант для изменения переменной окружения PATH:
Проверьте, что установка завершилась успешно, открыв терминал и исполнив команду git. Результат должен выглядеть так:
> git
usage: git [--version] [--help] [-C <path>] [-c <name>=<value>]
[--exec-path[=<path>]] [--html-path] [--man-path]
[--info-path] [-p | --paginate | -P | --no-pager]
[--no-replace-objects] [--bare] [--git-dir=<path>]
[--work-tree=<path>] [--namespace=<name>]
<command> [<args>]
В качестве терминала в Windows 10 мы рекомендуем использовать PowerShell.
Теперь необходимо задать имя пользователя и адрес электронной почты:
> git config --global user.name "Ivan Petrov"
> git config --global user.email i.petrov@nsu.ru
Git хранит настройки в файле ~.gitconfig. У автора этот файл выглядит следующим образом:
[user]
email = vit.vorobiev@gmail.com
name = Vitaly Vorobyev
[core]
editor = "[path-to-vscode]" --wait
На этом первоначальная конфигурация инструментов git завершена. Навык работы с git приходит с практикой. Действия с git, необходимые для выполнения заданий курса, всегда будут подробно описаны. Тем не менее, мы рекомендуем обращаться к документации, чтобы прояснять непонятные моменты.
Установка MinGW-w64
Установочный файл MinGW-w64 mingw-w64-install.exe можно найти на этой странице. При установке не нужно менять настройки по умолчанию, кроме пути установки. Путь установки не должен содержать пробелов, поэтому путь по умолчанию в директории Program Files не подходит.
После завершения установки, в директории mingw32bin будут расположены различные исполняемые файлы. Среди них нас интересует файл g++.exe, который запускает сборку программ C++. Сделаем так, чтобы этот файл был доступен в любой директории из командной строки. Если этого не сделать, то для использования команды g++ надо будет прописывать полный путь до файла g++.exe.
Откройте меню “Система” в “Панели управления”:
Из меню “Система” перейдите в “Дополнительные параметры системы”:
Выберите “Переменные среды”:
Выберите переменную Path и нажмите кнопку “Изменить…”:
Добавьте в новую строку полный путь до директории mingw32bin и нажмите кнопку OK.
Чтобы проверить, что настройка выполнена успешно, откройте консоль (не в директории mingw32bin) и выполните команду g++ --help:
> g++ --help
Usage: g++.exe [options] file...
Ваша система теперь готова к сборке программ на языке C++.
Установка CMake
Скачайте со станицы загрузок установочный файл cmake-3.18.1-win64-x64.msi (на момент написания текста актуальная версия — 3.18.1). Для 32-разрядной системы вместо этого нужно скачать файл cmake-3.18.1-win32-x86.msi. Запустите файл и выполните установку. В ходе установки выберите изменение переменной окружения PATH:
Выполните в консоли команду cmake --help для проверки корректности установки CMake:
> cmake --help
Usage
cmake [options] <path-to-source>
cmake [options] <path-to-existing-build>
cmake [options] -S <path-to-source> -B <path-to-build>
Specify a source directory to (re-)generate a build system for it in
the current working directory. Specify an existing build directory to
re-generate its build system.
Код большинства заданий по C++ этого курса будет компилироваться с помощью CMake. Эта система значительно упрощает процесс сборки C++ проектов, особенно если они состоят из многих файлов.
Установка Miniconda3
Система Windows (в отличие от Linux) не имеет установленного по умолчанию интерпретатора python. Менеджер пакетов python Anaconda и его минимальная сборка Miniconda позволят нам установить в системы все необходимые инструменты для работы с python. Загрузите со страницы загрузки установочный файл Miniconda3 Windows 64-bit или Miniconda3 Windows 32-bit, в зависимости от разрядности системы. При установке отметьте галочку для добавления необходимых записей в переменную окружения PATH, несмотря на то что это действие не рекомендуется установщиком:
Убедитесь в том, что установка выполнена успешно, выполнив в консоли следующую команду:
>conda --help
usage: conda-script.py [-h] [-V] command ...
conda is a tool for managing and deploying applications, environments and packages.
Выполните инициализацию (необходимо выполнить один раз):
Создайте окружение для работы с заданиями этого курса:
>conda create -n nsu python=3
Conda вычислит набор пакетов, которые необходимо установить в новом окружении, и попросит подтвердить создание окружения:
После установки активируйте новое окружение и запустите консоль python:
>conda activate nsu
(nsu) >python
Python 3.8.5 (default, Aug 5 2020, 09:44:06) [MSC v.1916 64 bit (AMD64)] :: Anaconda, Inc. on win32
Type "help", "copyright", "credits" or "license" for more information.
>>>
Ваша система теперь готова для работы с заданиями курса “Программирование на C++ и python”. Нам осталось настроить редактор VS Code для максимально удобной работы.
Настройка VS Code
Установите следующие расширения VS Code:
- C/C++ for Visual Studio Code
- CMake Tools
- Python
Выбор интерпретатора python
При начале работы с кодом python (при открытии файла с расширением .py) VS Code предложит выбрать интерпретатор python, который будет использоваться для подсветки кода, проверки синтаксиса и вывода подсказок:
Можете, например, выбрать интерпретатор из недавно созданного окружения nsu.
Создадим файл test.py, содержащий одну строку:
Исполнить этот скрипт можно, открыв консоль в VS Code с помощью сочетания клавиш Ctrl+J и набрав в ней
В правом верхнем углу окна находится кнопка с зеленым треугольником ▷, нажатие на которую приводит к тому же результату:
Настройка работы с GCC
Создайте файл test.cpp, содержащий следующий код:
#include <iostream>
int main() {
std::cout << "Hello, world!" << std::endl;
return 0;
}
Скомпилируем его с помощью компилятора GCC и командной строки. Откройте консоль в VS Code (Ctrl+J) и исполните команду
Компилятор создал исполняемый файл a.exe. Запустите его:
Работает. Настроим теперь VS Code для автоматизации этого действия. Выберите в меню пункт Terminal -> Configure Default Build Task...:
Выберите из выпавшего списка пункт g++.exe. В результате будет сгенерирован файл .vscode/tasks.json подобный такому:
{
"version": "2.0.0",
"tasks": [
{
"type": "shell",
"label": "C/C++: cpp.exe build active file",
"command": "D:\mingw\mingw32\bin\g++.exe",
"args": [
"-g",
"${file}",
"-o",
"${fileDirname}\${fileBasenameNoExtension}.exe"
],
"options": {
"cwd": "${workspaceFolder}"
},
"problemMatcher": [
"$gcc"
],
"group": {
"kind": "build",
"isDefault": true
}
}
]
}
Теперь при нажатии клавиш Ctrl+Shift+B или выборе пункта меню Terminal -> Run Build Task будет выполняться компиляция открытого файла. Для файла test.cpp будет создан исполняемый файл test.exe.
Работа с CMake
Откройте новую рабочую директорию VS Code, создайте в ней файл main.cpp, содержащий следующий код:
#include <iostream>
int main() {
std::cout << "Hello, world!" << std::endl;
return 0;
}
и файл CMakeLists.txt со следующим содержанием:
cmake_minimum_required(VERSION 3.0.0)
add_executable(test main.cpp)
Эти два файла составляют минимальный CMake-проект. Выполним сначала сборку CMake-проекта через консоль: создайте в рабочей директории поддиректорию build, в которой будет осуществляться сборка, и перейдите в неё:
Выполните настройку проекта и запустите сборку:
> cmake -G "MinGW Makefiles" ..
> cmake --build .
В первой команде мы указали, что сборка будет осуществляться с помощью MinGW и что файлы проекта расположены в родительской директории (путь ..). Вторая команда осуществляет сборку в текущей директории (путь .). В директории build должен появиться исполняемый файл test.exe.
Расширение VS Code для работы с CMake позволяет автоматизировать сборку проекта. Выберите рабочую директорию VS Code (комбинация клавиш Ctrl+K+O), содержащую файлы main.cpp и CMakeLists.txt. Наберите комбинацию клавиш Ctrl+Shift+P и в строке сверху наберите команду >CMake: Configure. Это запустит настройку инструментов CMake. После завершения настройки в нижней части окна появятся инструменты управления сборкой:
Кнопку “Сборка” запускает сборку, а кнопка ▷ — исполняемый файл.
Если автоматическая настройка CMake привела к ошибке, то, вероятно, инициализация CMake выполнилась без параметра -G "MinGW Makefiles". В этом случае выполните эту команду в консоли, как показано выше. Достаточно выполнить это действие один раз, после чего конфигурация этого и других проектов будет выполняться верно.
Работа с git
Покажем как можно работать с git-репозиторием через VS Code. Выполните fork репозитория задания Hello, Classroom на GitHub:
Это действие создает новый репозиторий в Вашем аккаунте. Разрешите автоматическое тестирование решения, нажав на большую зеленую кнопку во вкладке Actions:
Новый репозиторий необходимо клонировать на Вашу локальную систему. Удобнее всего это делать с помощью протокола ssh. Для этого сначала необходимо включить OpenSSH Client, который по умолчанию выключен.
Взаимодействие с GitHub репозиторием будет происходить по протоколу ssh с помощью техники шифрования с открытым ключом. Создать пару из приватного и публичного ключа можно в консоли:
>ssh-keygen
Generating public/private rsa key pair.
По умолчанию сгенерированные ключи будут расположены в директории ~.ssh. Файл с публичным ключом называется id-rsa.pub. Публичный ключ нужно добавить на GitHub. Для этого откройте раздел SSH and GPG keys в меню Settings и нажмите на кнопку New SSH key:
Заполните открывшуюся форму. В поле Key нужно скопировать содержимое файла id-rsa.pub. Проследите, чтобы при копировании не появились лишние переносы строк. Весь ключ должен быть расположен в одной строке.
Теперь мы готовы к клонированию репозитория. Выберите на компьютере директорию, в которой Вы будете работать с заданиями курса и перейдите в неё. Откройте страницу репозитория hello-classroom в Вашем аккаунте GitHub и скопируйте строку для клонирования через ssh:
Выполните в консоли команду git clone:
> git clone git@github.com:fakestud/hello-classroom.git
Cloning into 'hello-classroom'...
remote: Enumerating objects: 15, done.
remote: Counting objects: 100% (15/15), done.
remote: Compressing objects: 100% (8/8), done.
remote: Total 15 (delta 0), reused 15 (delta 0), pack-reused 0
Receiving objects: 100% (15/15), done
Строка git@github.com:fakestud/hello-classroom.git есть скопированная выше строка. Репозиторий был клонирован в директорию hello-classroom. Выберите её в качестве рабочей директории VS Code. Прочитайте файл README.md, содержащий инструкции по решению задания. После решения задания выполните локальную проверку:
> conda activate nsu
> pip install -r .requirements.txt
> g++ -std=c++17 main.cpp -o a.out
> test_cmd tests/ .a.out
Running 1 tests on 4 CPUs...
test1
Command: .a.out
Success
All 1 tests passed.
Тесты пройдены успешны. Значит, мы готовы к синхронизации репозитория GitHub с нашей локальной версией. В командной строке для этого достаточно выполнить следующие команды:
git add main.cpp
git commit -m "Task solved"
git push -u origin master
Редактор VS Code позволяет выполнить эти действия через графический интерфейс. VS Code отслеживает изменения локальной версии репозитория. Откройте вкладку контроля версий слева и посмотрите на список изменившихся файлов. В нашем случае это должен быть только файл main.cpp. Выполните команду git add, нажав на кнопку +:
Затем команду git commit, нажав на кнопку ✓ и введя комментарий в текстовом поле:
Наконец, выполните команду git push:
Источники
- First-Time Git Setup
- VS Code: User and Workspace Settings
- VS Code: Using GCC with MinGW
- VS Code: Get started with CMake Tools on Linux
- Git in Visual Studio Code
- Must-have плагины и несколько полезностей для СС++ разработки в VS Code
- Памятка пользователям ssh
1. Получите установочный пакет Win Miniconda3.
1. Официальный сайт
https://conda.io/miniconda.html
2. Изображение с открытым исходным кодом
https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/
Во-вторых, процесс установки
1. Запустите установочный пакет и нажмите Далее;
2. Щелкните «Я согласен».
3. Щелкните Далее;
4. Выберите путь установки и нажмите Далее;
5. Выберите добавление переменных среды и нажмите «Установить»;
6. Щелкните Далее;
7. Установка завершена.
Три, пакет управления Conda
# Команда установки
conda install package_name
# Установите numpy, введите
conda install numpy
# Установить matplotlib
conda install matplotlib
# Просмотр установленных пакетов
conda list
# Поиск установочного пакета
conda search search_term
# Установить несколько пакетов одновременно
conda install numpy scipy pandas
# Установить указанную версию пакета
conda install numpy=1.11
# Удалить пакет
conda remove package_name
# Обновить пакет
conda update package_name
# Обновить все пакеты в среде
conda update - всеЧетыре, среда создания Conda
# Создаем среду с именем test_py3 на основе python3.6
conda create --name test_py3 python=3.6
# Создайте среду с именем test_py2 на основе python2.7
conda create --name test_py2 python=2.7
# Активировать тестовую среду
activate test_py2 # windows
source activate test_py2 # linux/mac
# Переключиться на python3
activate test_py3
In this tutorial, I will show how to install Miniconda & Jupyter Notebook on Windows 10. Additionally, I will be explaining the setup process & the importance of Virtual Environments.
What is the difference between Python vs. Anaconda vs. Miniconda?
If you want to buy a smartphone, there are 3 offers:
1. You only get the Smartphone
2. You get the Smartphone + 100 Smartphone Cases + 1 delicious cookie
3. You get the Smartphone + the option to order any Smartphone Case in the future + 1 delicious cookie
Python is in this example the Smartphone. The Smartphone cases are libraries like Pandas, Seaborn, Sklearn, xlwings,… The delicious cookie is conda. Conda is an environment management system.
If you install Anaconda, you will get Python + over 250 packages/libraries already preinstalled + conda
If you install Miniconda, you will get Python + conda
If you install Python, you only get Python Instead of using conda to manage your virtual environments, you can also python’s build-in environment management system venv:
https://docs.python.org/3/tutorial/venv.html
I personally like to manage my virtual environments with conda & install packages whenever I need them. Hence, I am using Miniconda as shown in this tutorial.
📝 Resources:
- Download Miniconda here: https://docs.conda.io/en/latest/
- miniconda.html Jupyter Notebook Markdown Cheatsheet: Download PDF HERE
Перевод
Ссылка на автора
Подробное представление о том, как начать работу с Deep Learning, начиная с включения среды, подходящей для него, в Microsoft Windows 10. Для установки будут использоваться API Keras с графической версией TensorFlow от Google в качестве внутреннего движка.
Это руководство является той же процедурой, которую я использовал во время моего собственного проекта глубокого обучения, и оно мне очень помогло. Целью данного руководства является сбор всей необходимой и обновленной информации в одном месте, а не поиск по всему Google.
Давайте начнем.
Оглавление
- Что такое глубокое обучение?
- Настройка оборудования ПК
- Настройка программного обеспечения ПК
- Переводчик Python
- Python IDE
Что такое глубокое обучение?
Глубокое обучение — это подмножество машинного обучения, в котором используются многоуровневые искусственные нейронные сети для обеспечения современной точности в таких задачах, как обнаружение объектов, распознавание речи, языковой перевод и другие.
Глубокое обучение отличается от традиционных методов машинного обучения тем, что они могут автоматически изучать представления на основе таких данных, как изображения, видео или текст, без введения правил, закодированных вручную, или знаний в области человеческого знания. Их очень гибкие архитектуры могут извлекать уроки непосредственно из необработанных данных и могут повысить их точность прогнозирования, когда предоставляется больше данных.
Настройка оборудования ПК
Для глубокого изучения любого набора данных, программное обеспечение / программа требует компьютерной системы, достаточно мощной, чтобы справиться с необходимой вычислительной мощностью. Поэтому требуются следующие минимальные спецификации:
1) Центральный процессор (CPU)— Процессор Intel Core i5 6-го поколения или выше. Аналогичный процессор AMD также будет оптимальным.
2) ОЗУ— Минимум 8 ГБ, рекомендуется 16 ГБ или выше.
3) Графический процессор (GPU)— NVIDIA GeForce GTX 940 или выше. Графические процессоры AMD не способны выполнять глубокое обучение независимо.
Графические процессоры с поддержкой NVIDIA CUDA для глубокого обучения
4) Операционная система— Microsoft Windows 10 (рекомендуется 64-разрядная версия) Pro или Home. Я рекомендую обновить Windows 10 до последней версии, прежде чем продолжить.
Примечание. В случае ноутбуков идеальным вариантом было бы приобрести игровой ноутбук у любого поставщика, который считается подходящим, например, ASUS, Lenovo Legion, Acer Predator, Alienware и т. Д.
Настройка программного обеспечения ПК
Теперь для глубокого изучения мы будем использовать метод, известный как вычисления на GPU, который направляет сложные математические вычисления на GPU, а не на CPU, что значительно сокращает общее время вычислений. Для этого мы устанавливаем несколько компонентов в следующем порядке:
Microsoft Visual Studio IDE
Примечание. Visual Studio 2019 в настоящее время не поддерживается следующими программами, которые нам необходимо использовать.
Visual Studio имеет решающее значение для установки следующих двух компонентов. Я рекомендую VS2017 (поскольку я его использую), поскольку его производительность превосходит все его предшественники, а установка никогда не была такой простой и быстрой, как раньше. Но есть диапазон, который вы можете использовать любую версию VS с 2010 по 2017 год.
Загрузить Visual Studio 2017 и старше
Нам нужно использовать Visual Studio IDE, поэтому код Visual Studio не будет работать, поскольку он является только редактором кода и не может использоваться таким образом. После успешной установки IDE необходимо установить компоненты для разработки на C ++ и Windows 10 SDK (версия 10.0.15063.0).
NVIDIA GeForce Experience
Этот инструмент предназначен для обновления драйверов графического процессора NVIDIA, и сделать это гораздо проще, поэтому настоятельно рекомендуется установить его, если у вас есть графический процессор NVIDIA
Скачать NVIDIA GeForce Experience
Установите его, и вам нужно будет создать учетную запись, чтобы использовать его. Вы должны увидеть такой экран
В красном поле вы можете увидеть кнопку с надписью «Проверить наличие обновлений». Функция автоматического обновления не является надежной, поэтому проверяйте обновления вручную, прежде чем приступить к загрузке следующего программного обеспечения.
Если ваш драйвер обновлен, тогда вы можете двигаться дальше. Если нет, пожалуйста, обновите его, хотя CUDA Toolkit поставляется в комплекте с драйверами, но рекомендуется сделать это отсюда, так как они несут только минимальные требования к драйверам на момент выпуска (поскольку возможно, что вы используете это через определенное время после даты выпуска) ).
Инструментарий NVIDIA CUDA
Этот программный компонент — это то, что требуется для обеспечения возможности графического процессора для вычислений на графическом процессоре. Мы будем загружать версию 10.0, поскольку это совместимая версия с фреймворками, которые мы будем устанавливать.
Примечание: TensorFlow 1.13.1 и более поздние версии теперь совместимы с CUDA 10.0
Загрузить CUDA Toolkit 10.0
Официальная документация по установке Windows для CUDA 10 0
Затем вам нужно перейти в папку примеров в вашей установке CUDA, где она, если вы выбрали путь по умолчанию во время установки, находится по адресу:
C:ProgramDataNVIDIA CorporationCUDA Samplesv10.01_UtilitiesdeviceQuery
и выберите VS Solution, соответствующий версии VS, установленной в вашей системе, и запустите ее в установленной версии Visual Studio. Если у вас Visual Studio 2017, запустите решение Visual Studio для VS 2017. В результате запуска решения вы должны были достичь
После проверки установки вам необходимо добавить CUDA Toolkit в среду Path, что выполняется следующим способом:
Шаг 1
Шаг 2
Шаг 3
Шаг № 4
Шаг № 5
C:Program FilesNVIDIA GPU Computing ToolkitCUDAv10.0bin
C:Program FilesNVIDIA GPU Computing ToolkitCUDAv10.0libx64
C:Program FilesNVIDIA GPU Computing ToolkitCUDAv10.0include
NVIDIA cuDNN
Скачать NVIDIA cuDNN
Вам нужно зарегистрировать учетную запись разработчика NVIDIA, чтобы загрузить ее бесплатно, и это не сильно беспокоит. Загрузите cuDNN 7.x для CUDA 10.0.
После загрузки распакуйте его, и вы получите 3 файла, а затем выполните:
a) Copy <installpath>cudabincudnn64_7.dll to C:Program FilesNVIDIA GPU Computing ToolkitCUDAv10.0bin.
b) Copy <installpath>cuda includecudnn.h to C:Program FilesNVIDIA GPU Computing ToolkitCUDAv10.0include.
c) Copy <installpath>cudalibx64cudnn.lib to C:Program FilesNVIDIA GPU Computing ToolkitCUDAv10.0libx64.
После завершения ваш GPU теперь готов к выполнению вычислений на GPU.
Переводчик Python
Теперь, когда мы настроили наш графический процессор, пришло время установить наш интерпретатор Python, который мы пойдем с Anaconda. Он считается гораздо лучше в использовании, чем традиционная установка Python, и будет работать намного лучше.
Мы можем установить два варианта этого интерпретатора: Anaconda и Miniconda. Чтобы выбрать, с чем идти, обратитесь к следующему руководству (взято из официальной документации):
Выберите Anaconda, если вы:
- Новичок в Конде или Питоне
- Как удобство автоматической установки Python и более 150 научных пакетов одновременно
- Иметь время и дисковое пространство (несколько минут и 5 ГБ) и / или
- Не хотите устанавливать каждый из пакетов, которые вы хотите использовать по отдельности.
Выберите Miniconda, если вы:
- Не против установить каждый из пакетов, которые вы хотите использовать по отдельности.
- Не хватает времени или места на диске для установки более 150 пакетов одновременно и / или
- Просто вам нужен быстрый доступ к Python и командам conda, и вы хотите разобраться с другими программами позже.
Я использую Miniconda сам. Анаконда раздутая. Многие из пакетов никогда не используются и могут быть легко установлены в случае необходимости.
Примечание. Рекомендуется (но не обязательно) загружать версии Python 3 для выбранного вами интерпретатора, поскольку Python 2 подходит к концу.
Нажмите, чтобы скачать Анаконда
Нажмите, чтобы скачать Miniconda
После того, как вы установили выбранный вами интерпретатор, пришло время установить необходимые пакеты. Откройте Anaconda Prompt и введите команду:
conda update conda
Для пользователей, использующих только Anaconda, после ввода указанной выше команды введите:
conda update anaconda
НЕ закрывайте подсказку Anaconda прямо сейчас.
Примечание: TensorFlow поддерживает Python 3.5, 3.6 и 3.7 в Windows 10.
Теперь пришло время создать нашу среду, мы можем легко сделать это с помощью Anaconda Prompt (в этом случае мы будем создавать среду Python 3.7 с именем TensorFlow-GPU):
conda create -n TensorFlow-GPU python=3.7
И мы успешно создали новую среду.
НЕ закрывайте подсказку Anaconda прямо сейчас.
TensorFlow
Теперь мы начинаем устанавливать версию GPU tenorflow и для этого сначала активируем нашу вновь созданную среду. Просто введите:
conda activate TensorFlow-GPU
Далее мы устанавливаем TensorFlow (последняя версия):
pip install tensorflow-gpu
Версия pip официально поддерживается, в то время как версия conda поддерживается сообществом. Google рекомендует установить версию pip.
TensorFlow версии 1.13 и более поздние поставляются с предварительно установленной Keras и встроенной в TensorFlow, что позволяет пользователям устанавливать отдельный пакет Keras.
Теперь, чтобы протестировать среду, вызовите команду:
python
Затем введите:
>>import tensorflow as tf
Если это результат, вы получите:
>>import tensorflow as tf
>>
Тогда это означает, что установка прошла успешно. Теперь перейдем к IDE. Вы можете закрыть подсказку.
Python IDE / текстовый редактор
Оба следующих варианта отлично подходят для отладки, обработки и интеллектуального автозаполнения кода Python с молниеносной скоростью и точностью.
- Visual Studio Code установлен с этими необходимо расширения,
- PyCharm: Python IDE для профессиональных разработчиков,
С этим вы готовы начать свое путешествие в машинное обучение и не только.