Colaboratory

Часто задаваемые вопросы

Общие сведения

Что такое Colaboratory?

Это облачный сервис на основе Jupyter Notebook, не требующий установки, с бесплатным доступом к вычислительным ресурсам, включая графические процессоры и TPU. Colab применяется главным образом для машинного обучения, обработки данных и образовательных проектов.

Он действительно бесплатный?

Да. Сервисом Colab можно пользоваться бесплатно.

Звучит заманчиво. Какие есть ограничения?

Сервис Colab создан для того, чтобы предоставлять вычислительные ресурсы как можно большему числу учащихся и нуждающихся по всему миру. Поэтому приоритет отдается тем, кто активно программирует в блокноте. В Colab также запрещены действия, которые негативно сказываются на других пользователях и позволяют обходить наши правила безопасности. Ознакомиться с подробным списком ограничений можно в этом разделе. Мы не гарантируем вам доступ к ресурсам в Colab. Кроме того, на их использование действуют лимиты, которые иногда меняются. Это необходимо, чтобы работать с сервисом можно было бесплатно. Подробнее о лимитах на использование ресурсов

Какие действия запрещены в Colab?

В управляемых средах выполнения Colab запрещены действия, которые негативно сказываются на других пользователях и позволяют обходить наши правила, а именно:

К сожалению, мы не можем рассказать больше о том, как работает наша система обнаружения нарушений, иначе эта информация позволит злоумышленникам использовать Colab в своих целях.

Есть и другие ограничения. Поскольку наша задача – предоставлять ресурсы учащимся и нуждающимся по всему миру, приоритет отдается тем, кто активно программирует в блокноте. Некоторые действия в бесплатной управляемой среде выполнения Colab могут быть приостановлены в любой момент без предупреждения, если на балансе окажется недостаточно вычислительных единиц. К таким действиям относятся:

Чтобы снять эти ограничения, приобретите тарифный план и поддерживайте положительный баланс вычислительных единиц. Обратите внимание, что мы не всегда приостанавливаем действия, описанные выше. По возможности мы предоставляем ресурсы всем, кто в них нуждается.

Вы можете купить гарантированные ресурсы, на которые не распространяются ограничения Colab, в GCP Marketplace или Colab Enterprise, а также использовать локальную среду выполнения на своем устройстве. Обратите внимание, что в обоих случаях подключение Google Диска к файловой системе в среде выполнения поддерживаться не будет.

Почему прерывается сеанс в среде выполнения Colab?

Сервис Colab создан для того, чтобы предоставлять вычислительные ресурсы как можно большему числу учащихся и нуждающихся по всему миру. Поэтому приоритет отдается тем, кто активно программирует в блокноте.

Как правило, сеансы пользователей бесплатной версии могут прерываться при попытке обойти интерфейс блокнота и использовать веб-интерфейс среды выполнения Colab для генерации контента. Связанные с этим процессом технологии пользуются популярностью, но требуют значительных вычислительных ресурсов. Наша более приоритетная задача – помогать с программированием.

Тем не менее вы можете снять ограничения, купив тарифный план.

Вы можете купить гарантированные ресурсы, на которые не распространяются ограничения Colab, в GCP Marketplace или Colab Enterprise, а также использовать локальную среду выполнения на своем устройстве. Обратите внимание, что в обоих случаях подключение Google Диска к файловой системе в среде выполнения поддерживаться не будет.

В чем разница между Jupyter и Colab?

Jupyter – это открытая платформа, на базе которой построен сервис Colab. В сервисе можно работать с блокнотами Jupyter и делиться ими с другими людьми. При этом ничего не нужно скачивать и устанавливать.

Использование Colab

Где хранятся мои блокноты? Могу ли я делиться ими с другими людьми?

Блокноты Colab можно сохранять на Google Диске или загружать из сервиса GitHub. Делиться блокнотами Colab так же легко, как Google Документами или Таблицами. Просто нажмите кнопку "Поделиться" в правом верхнем углу блокнота Colab или предоставьте общий доступ к файлу на Google Диске, как описано в этой статье.

Что смогут видеть в блокноте другие пользователи, если я поделюсь им?

Другим пользователям будет доступно все содержимое вашего блокнота (текст, код, выходные данные и комментарии). Вы можете сохранить блокнот или поделиться им, не сохраняя выходные данные. Для этого выберите Изменить > Настройки блокнота > Исключить выходные данные кодовой ячейки при сохранении блокнота. К виртуальной машине, в том числе к созданным вами файлам и библиотекам, не будет предоставлен общий доступ, поэтому мы рекомендуем добавить ячейки для установки и загрузки любых пользовательских библиотек и файлов, которые требуются в вашем блокноте.

Можно ли импортировать готовый блокнот Jupyter или IPython в Colab?

Да. Для этого выберите в меню "Файл" пункт "Загрузить блокнот".

Как искать блокноты Colab?

Для этого воспользуйтесь Google Диском. В левом верхнем углу блокнота нажмите на значок Colab, чтобы открыть список всех блокнотов на Диске. Вы также можете найти блокноты, которые открывали недавно, в меню Файл > Открыть блокнот.

Где выполняется мой код? Как изменится состояние выполнения, если я закрою окно браузера?

Код выполняется на виртуальной машине, выделенной для вашего аккаунта. Виртуальная машина удаляется, если она бездействует в течение некоторого времени, а также когда истекает максимальный срок ее использования, установленный сервисом Colab.

Как можно вывести данные?

Любой блокнот Colab, который вы создали, можно скачать с Google Диска или из меню "Файл" в окне Colab. Все блокноты Colab сохраняются в открытом формате Jupyter Notebook (IPYNB).

Как сбросить настройки виртуальной машины, на которой выполняется мой код, и почему иногда это невозможно сделать?

Чтобы вернуть исходное состояние всех назначенных вам виртуальных машин, выберите Среда выполнения > Отключиться от среды выполнения и удалить ее. Это может помочь, если виртуальная машина стала работать неправильно из-за случайной замены системных файлов или установки несовместимого программного обеспечения. Сбрасывать настройки можно с определенным интервалом. Это позволяет предотвратить чрезмерное потребление ресурсов. В случае ошибки повторите попытку позже.

Почему при выполнении команды drive.mount() превышается время ожидания? Почему происходит сбой при операциях ввода-вывода в папках, подключенных через drive.mount()?

Время ожидания может быть превышено при обработке слишком большого количества файлов или вложенных папок в одном каталоге на Google Диске. Если в корневой папке "Мой диск" содержится несколько тысяч объектов, скорее всего, при подключении диска произойдет такая ошибка. Однако при каждой неудачной попытке часть задачи выполняется и локально кешируется. Поэтому в итоге после нескольких попыток операция может быть выполнена. Если вы столкнулись с такой проблемой, переместите файлы и каталоги из раздела "Мой диск" во вложенные папки. Аналогичная проблема может возникнуть при считывании данных из других папок после успешного выполнения команды drive.mount(). Если в папке много файлов, при попытке доступа к ним могут возникать ошибки, например OSError: [Errno 5] Input/output error. В этом случае также переместите файлы из корневой папки во вложенные.
Если просто переместить файлы и вложенные папки в корзину, ошибка может впоследствии повториться. Чтобы устранить проблему, очистите корзину.

Почему команда "Подключить Диск" иногда вставляет код в блокнот?

Подключение Google Диска к Colab открывает коду доступ ко всем файлам в вашем хранилище. Обычно пользователи должны вручную предоставлять этот доступ при каждом подключении к новой среде выполнения, добавляя в блокнот кодовую ячейку. Так они подтверждают предоставляемые блокноту разрешения.
Иногда достаточно один раз разрешить доступ к Google Диску, и в последующих сеансах он будет подключаться автоматически. Это возможно, только когда блокнот проходит несколько проверок. Например, отредактированные другим пользователем блокноты не будут автоматически подключать Google Диск.

Почему некоторые операции на Google Диске не удается выполнить из-за превышения квоты?

На Google Диске установлены различные ограничения. Например, это квоты на количество операций с одним файлом и количество операций, проводимых одним пользователем, а также на максимальную пропускную способность. При превышении любой из квот возникает ошибка ввода/вывода, как в примере выше. Вы увидите сообщение об этом в интерфейсе Colab. Часто причиной ошибки может стать то, что вы пытаетесь получить доступ к популярному файлу или быстро открыть слишком много разных файлов. Вот несколько способов избежать этой проблемы:

Почему некоторые операции не удается выполнить из-за превышения квоты хранилища Google Диска?

Каждый пользователь может хранить на Google Диске ограниченный объем данных. Если при попытке выполнить ту или иную операцию на Диске возникает ошибка ввода/вывода и появляется уведомление о том, что превышена квота хранилища, освободите место на Диске. Для этого удалите часть файлов через интерфейс drive.google.com и очистите корзину. Через некоторое время освобожденное пространство будет доступно в Colab.

Вы можете приобрести дополнительное пространство на Google Диске. Обратите внимание, что, купив место на Google Диске, вы не увеличите доступное пространство на виртуальных машинах Colab. Это можно сделать, оформив подписку Colab Pro.

Лимиты использования ресурсов

Почему сервис Colab не гарантирует доступа к ресурсам?

Мы предоставляем мощные графические процессоры по относительно невысокой цене. Чтобы это было возможным, в Colab действует гибкое регулирование доступа к аппаратному обеспечению и лимитов на использование.

В бесплатной версии доступ к таким дорогостоящим ресурсам, как графические процессоры, значительно ограничен. В платной версии пользователям открывается намного больше возможностей по приемлемой цене.

Вы можете купить гарантированные ресурсы, на которые не распространяются ограничения Colab, в GCP Marketplace или Colab Enterprise, а также использовать локальную среду выполнения на своем устройстве. Обратите внимание, что в обоих случаях подключение Google Диска к файловой системе в среде выполнения поддерживаться не будет.

Каковы лимиты на использование ресурсов Colab?

Ресурсы в Colab предоставляются бесплатно, но они ограничены, а доступ к ним не гарантирован. Лимиты на использование, а также время простоя, максимальная продолжительность работы виртуальной машины, доступ к некоторым типам графических процессоров и другие параметры могут варьироваться. По этой причине мы нигде не указываем лимиты.

Чтобы получить больше вычислительных ресурсов и увеличить длительность сеансов, приобретите подписку. У тарифных планов тоже есть адаптивные лимиты, то есть доступность ресурсов может со временем меняться. Для подписчиков, которые израсходовали вычислительные единицы, действуют правила и ограничения бесплатной версии сервиса, пока баланс не будет пополнен.

Вы можете купить гарантированные ресурсы, на которые не распространяются ограничения Colab, в GCP Marketplace или Colab Enterprise, а также использовать локальную среду выполнения на своем устройстве. Обратите внимание, что в обоих случаях подключение Google Диска к файловой системе в среде выполнения поддерживаться не будет.

Какие типы графических процессоров доступны в Colab?

Типы доступных графических процессоров со временем меняются. Это необходимо, чтобы сервисом можно было пользоваться бесплатно.

Вы можете купить один из тарифов, чтобы при наличии открыть более быстрые графические процессоры.

Если вам нужно специализированное аппаратное обеспечение, поищите его в GCP Marketplace.

Как долго могут работать блокноты в Colab?

Платформа Colab предназначена для вычислений в интерактивном режиме. При бездействии среда выполнения отключается.

В бесплатной версии Colab блокноты работают не более 12 часов в зависимости от общей нагрузки на сервис и того, как вы им пользуетесь. В планах Colab Pro и Pro+, а также при оплате по мере использования этот лимит увеличивается с учетом того, сколько у вас вычислительных ресурсов.

Как правило, блокноты работают не более 12 часов в зависимости от нагрузки на сервис и того, как вы им пользуетесь. Если у вас закончатся вычислительные ресурсы в Colab Pro, Pro+ или при оплате по мере использования, выполнение серверного кода может прекратиться.

В Colab Pro+ код может выполняться непрерывно в течение 24 часов при условии, что у вас достаточно ресурсов. Отключение при бездействии происходит, только если прекращается выполнение кода.

Чтобы снять ограничения на время выполнения и работу в фоновом режиме, приобретите виртуальную машину в Google Cloud Platform Marketplace.

Сколько памяти доступно в Colab?

В бесплатной версии вам доступны виртуальные машины со стандартным объемом памяти.

С платным тарифом вы можете работать на виртуальных машинах с большим объемом памяти в зависимости от их наличия и вашего баланса вычислительных единиц.

Под памятью подразумевается системная память. У всех чипов графических процессоров одинаковый объем памяти.

Как использовать все возможности Colab?

Закрывайте вкладки Colab, с которыми больше не работаете. Кроме того, старайтесь не нагружать графические процессоры или дополнительную память без необходимости. Так вы будете меньше сталкиваться с лимитами на использование. Вы всегда можете купить больше вычислительной мощности через Pay As You Go.

Подробнее о том, как эффективнее использовать подписку на Colab

Появилось сообщение о том, что мой графический процессор не используется. Что делать?

Сервис Colab предлагает дополнительные возможности для ускорения вычислений, в том числе графические процессоры и TPU. Однако они могут не использоваться, даже если код выполняется в среде с графическим процессором или TPU. Чтобы не столкнуться с лимитами на использование графического процессора, рекомендуем работать в стандартной среде выполнения, если графический процессор не требуется. Нажмите Среда выполнения > Сменить среду выполнения и для параметра Аппаратный ускоритель выберите значение Нет.

Примеры использования сред выполнения с графическим процессором и TPU в Colab приводятся в образцах блокнотов TensorFlow с графическим процессором и TPU в сервисе Colab.

Программирование с помощью искусственного интеллекта

Как получить доступ к программированию с помощью искусственного интеллекта в Colab?

Мы постепенно выпускаем функции программирования с помощью искусственного интеллекта. К ним относятся автозаполнение на основе ИИ, преобразование естественного языка в код и чат-бот на основе передовых моделей Google для помощи в написании кода.

В некоторых регионах у пользователей с платной подпиской уже есть доступ к этим функциям.

Для пользователей без подписки генерация кода доступна в течение ограниченного времени.

К сожалению, аккаунты Google Workspace пока не поддерживаются, но мы работаем над тем, чтобы исправить это как можно скорее.

Можно ли использовать программирование с помощью искусственного интеллекта при создании кода для коммерческого применения?

В Colab есть информация о программировании и обучающие материалы, но программирование с помощью искусственного интеллекта в Colab пока находится на стадии эксперимента. Вы сами отвечаете за создание кода и пояснения к нему. Действуйте по своему усмотрению, а также тщательно тестируйте код и проверяйте его на ошибки и уязвимости.

Если сгенерированный код регулируется лицензией открытого ПО, в Colab будет добавлена информация об этом.

О чем можно спрашивать чат-бота в Colab?

Чат-бот в Colab дает ответы только на вопросы о Colab или программировании в Colab. Если у вас вопрос на общую тему или о других языках программирования, например Java, рекомендуем обратиться к Bard.

Какие языки программирования поддерживаются в Colab?

Функции программирования с помощью искусственного интеллекта в Colab лучше всего подходят для Python.

Ответы в Colab точные? Им можно доверять?

Программирование с помощью искусственного интеллекта в Colab – это экспериментальная функция. Некоторые ответы могут быть неточными, поэтому тщательно проверяйте их. Ваши отзывы помогают нам улучшать возможности искусственного интеллекта в Colab.

Генеративный искусственный интеллект позволяет быстрее воплощать идеи в жизнь, но эта технология только развивается. Программирование с помощью искусственного интеллекта ещё находится на стадии эксперимента. В соответствии с нашими принципами в отношении искусственного интеллекта в Colab есть встроенные инструменты безопасности и четкие механизмы обратной связи. Однако помните, что в некоторых случаях сервис может генерировать неточную или неприемлемую информацию и неправильные ссылки.

Как оставить отзыв об ответе искусственного интеллекта?

Если вы получили ненадежный, бесполезный, неточный или неподходящий ответ, сообщите нам об этом, отправив отзыв.

Для этого нажмите на значок "Нравится" или "Не нравится" в правом нижнем углу ответа.

Как отключить функции программирования с помощью искусственного интеллекта в Colab?

Чтобы отключить эти функции, в меню "Инструменты" выберите "Настройки" и нажмите Colab AI.

Откроется страница, на которой вы сможете отозвать согласие и скрыть функции программирования с помощью искусственного интеллекта.

Как и когда в ответах Colab добавляются цитаты из других источников?

Функции программирования с помощью искусственного интеллекта в Colab, как и некоторые другие автономные большие языковые модели, предназначены для генерирования оригинального контента, а не полного воспроизведения существующего. В наших системах вероятность цитирования ограничена, и мы продолжаем совершенствовать их. Если в Colab приводится прямая цитата, то указывается ее источник.

Какие данные вы собираете? Как они используются?

Когда вы используете возможности генеративного искусственного интеллекта в Colab, Google собирает следующие данные: запросы, связанный код, сгенерированные результаты, информацию об использовании связанных функций и ваши отзывы. Мы используем эти данные, чтобы предоставлять, улучшать и разрабатывать продукты, сервисы и технологии машинного обучения от Google, включая системы для бизнеса, такие как Google Cloud.

Чтобы обеспечивать качество наших продуктов и улучшать их, специалисты Google могут читать, размечать и обрабатывать ваши запросы, связанный код, сгенерированные результаты, информацию об использовании связанных функций и отзывы. Не указывайте в запросах и отзывах личную или конфиденциальную информацию, с помощью которой можно установить вашу личность или личность других людей. Мы храним ваши данные не более 18 месяцев. Google не может идентифицировать пользователей, предоставляющих такие данные, и выполнять запросы на удаление.

В чем разница между кнопкой "Сгенерировать" в ячейке кода и запросом к чат-боту Colab?

При нажатии кнопки "Сгенерировать" в ячейке кода открывается контекстная справка для помощи в написании фрагмента кода. Код создается на основе вашего запроса и последних записей в блокноте – из них берется контекст для модели.

Чат-боту Colab можно задавать общие вопросы о программировании на Python. Вместе с фрагментами кода даются пояснения.

Дополнительные вопросы

Какие браузеры поддерживаются?

Colab работает в большинстве основных браузеров и наиболее тщательно испытан в последних версиях браузеров Chrome, Firefox и Safari.

Как сервис связан с ресурсом colaboratory.jupyter.org?

В 2014 году мы работали с командой разработчиков Jupyter над созданием ранней версии сервиса. Затем сервис Colab получил самостоятельное развитие с учетом отзывов пользователей.

Можно ли использовать другие языки программирования?

В сервисе Colab приоритет отдается языку Python и связанной с ним экосистеме инструментов сторонних разработчиков. Нам известно, что пользователи интересуются, будет ли поддержка других ядер для Jupyter (например, R или Scala). Мы бы хотели внедрить их, но пока не располагаем никакой точной информацией об этом.

Мне нужно сообщить об ошибке или задать вопрос. Как с вами связаться?

Откройте любой блокнот Colab и в меню "Справка" выберите "Отправить отзыв".

Почему меня просят включить сторонние файлы cookie?

Colab использует HTML-файлы iframe и service worker, расположенные на отдельных узлах, для безопасного показа наглядных выходных данных. В браузерах требуют включить сторонние файлы cookie для использования файлов service worker внутри iframe. Если вы не хотите включать их для всех сайтов, в настройках браузера добавьте в список исключений следующее имя хоста: googleusercontent.com.

Как изменить шрифт редактора?

В редакторе Colab используется базовый моноширинный шрифт, но в большинстве современных браузеров его можно изменить. Вот несколько примеров:

Есть ли в Colab поддержка Python 2?

Python 2 больше не поддерживается в Colab. Подробнее о переносе кода Python 2 на Python 3

Где можно узнать больше о платных версиях Colab?

Эта информация есть в разделе часто задаваемых вопросов на странице регистрации.

Как оплачиваются подписки?

Информацию о стоимости Colab Pro, Colab Pro+ и Pay As You Go, а также о смене тарифа вы найдете на странице регистрации.

Как получить доступ к Colab в аккаунте Workspace?

В Google Workspace доступом к Colab управляет администратор организации.

Чтобы учащиеся младше 18 лет могли пользоваться дополнительными сервисами в своих аккаунтах Google Workspace for Education, необходимо согласие родителей. Запросить его можно с помощью этого шаблона уведомления. Не забудьте добавить Colab в список дополнительных сервисов.

Подробную информацию вы найдете в статье Справочного центра Как проинформировать родителей и законных представителей о Google Workspace for Education.