Часто задаваемые вопросы
Общие сведения
Это облачный сервис на основе Jupyter Notebook, не требующий установки, с бесплатным доступом к вычислительным ресурсам, включая графические процессоры и TPU. Colab применяется главным образом для машинного обучения, обработки данных и образовательных проектов.
Да. Сервисом Colab можно пользоваться бесплатно.
Сервис Colab создан для того, чтобы предоставлять вычислительные ресурсы как можно большему числу учащихся и нуждающихся по всему миру. Поэтому приоритет отдается тем, кто активно программирует в блокноте. В Colab также запрещены действия, которые негативно сказываются на других пользователях и позволяют обходить наши правила безопасности. Ознакомиться с подробным списком ограничений можно в этом разделе. Мы не гарантируем вам доступ к ресурсам в Colab. Кроме того, на их использование действуют лимиты, которые иногда меняются. Это необходимо, чтобы работать с сервисом можно было бесплатно. Подробнее о лимитах на использование ресурсов…
В управляемых средах выполнения Colab запрещены действия, которые негативно сказываются на других пользователях и позволяют обходить наши правила, а именно:
- размещение файлов и медиаконтента, а также предоставление других веб-сервисов, не связанных с интерактивными вычислениями в Colab;
- скачивание контента по протоколу BitTorrent и обмен данными через пиринговые сети;
- подключение к удаленным прокси-серверам;
- майнинг криптовалюты;
- проведение DoS-атак;
- взлом паролей;
- использование нескольких аккаунтов для обхода ограничений на доступ и ресурсы;
- создание дипфейков.
К сожалению, мы не можем рассказать больше о том, как работает наша система обнаружения нарушений, иначе эта информация позволит злоумышленникам использовать Colab в своих целях.
Есть и другие ограничения. Поскольку наша задача – предоставлять ресурсы учащимся и нуждающимся по всему миру, приоритет отдается тем, кто активно программирует в блокноте. Некоторые действия в бесплатной управляемой среде выполнения Colab могут быть приостановлены в любой момент без предупреждения, если на балансе окажется недостаточно вычислительных единиц. К таким действиям относятся:
- удаленное управление, например с помощью SSH или удаленного рабочего стола;
- обход интерфейса блокнота для взаимодействия преимущественно через веб-интерфейс;
- обучение шахматам;
- использование рабочих ВМ для распределенных вычислений.
Чтобы снять эти ограничения, приобретите тарифный план и поддерживайте положительный баланс вычислительных единиц. Обратите внимание, что мы не всегда приостанавливаем действия, описанные выше. По возможности мы предоставляем ресурсы всем, кто в них нуждается.
Вы можете купить гарантированные ресурсы, на которые не распространяются ограничения Colab, в GCP Marketplace или Colab Enterprise, а также использовать локальную среду выполнения на своем устройстве. Обратите внимание, что в обоих случаях подключение Google Диска к файловой системе в среде выполнения поддерживаться не будет.
Сервис Colab создан для того, чтобы предоставлять вычислительные ресурсы как можно большему числу учащихся и нуждающихся по всему миру. Поэтому приоритет отдается тем, кто активно программирует в блокноте.
Как правило, сеансы пользователей бесплатной версии могут прерываться при попытке обойти интерфейс блокнота и использовать веб-интерфейс среды выполнения Colab для генерации контента. Связанные с этим процессом технологии пользуются популярностью, но требуют значительных вычислительных ресурсов. Наша более приоритетная задача – помогать с программированием.
Тем не менее вы можете снять ограничения, купив тарифный план.
Вы можете купить гарантированные ресурсы, на которые не распространяются ограничения Colab, в GCP Marketplace или Colab Enterprise, а также использовать локальную среду выполнения на своем устройстве. Обратите внимание, что в обоих случаях подключение Google Диска к файловой системе в среде выполнения поддерживаться не будет.
Jupyter – это открытая платформа, на базе которой построен сервис Colab. В сервисе можно работать с блокнотами Jupyter и делиться ими с другими людьми. При этом ничего не нужно скачивать и устанавливать.
Использование Colab
Блокноты Colab можно сохранять на Google Диске или загружать из сервиса GitHub. Делиться блокнотами Colab так же легко, как Google Документами или Таблицами. Просто нажмите кнопку "Поделиться" в правом верхнем углу блокнота Colab или предоставьте общий доступ к файлу на Google Диске, как описано в этой статье.
Другим пользователям будет доступно все содержимое вашего блокнота (текст, код, выходные данные и комментарии). Вы можете сохранить блокнот или поделиться им, не сохраняя выходные данные. Для этого выберите Изменить > Настройки блокнота > Исключить выходные данные кодовой ячейки при сохранении блокнота. К виртуальной машине, в том числе к созданным вами файлам и библиотекам, не будет предоставлен общий доступ, поэтому мы рекомендуем добавить ячейки для установки и загрузки любых пользовательских библиотек и файлов, которые требуются в вашем блокноте.
Да. Для этого выберите в меню "Файл" пункт "Загрузить блокнот".
Для этого воспользуйтесь Google Диском. В левом верхнем углу блокнота нажмите на значок Colab, чтобы открыть список всех блокнотов на Диске. Вы также можете найти блокноты, которые открывали недавно, в меню Файл > Открыть блокнот.
Код выполняется на виртуальной машине, выделенной для вашего аккаунта. Виртуальная машина удаляется, если она бездействует в течение некоторого времени, а также когда истекает максимальный срок ее использования, установленный сервисом Colab.
Любой блокнот Colab, который вы создали, можно скачать с Google Диска или из меню "Файл" в окне Colab. Все блокноты Colab сохраняются в открытом формате Jupyter Notebook (IPYNB).
Чтобы вернуть исходное состояние всех назначенных вам виртуальных машин, выберите Среда выполнения > Отключиться от среды выполнения и удалить ее. Это может помочь, если виртуальная машина стала работать неправильно из-за случайной замены системных файлов или установки несовместимого программного обеспечения. Сбрасывать настройки можно с определенным интервалом. Это позволяет предотвратить чрезмерное потребление ресурсов. В случае ошибки повторите попытку позже.
drive.mount()
превышается время ожидания? И почему при попытке выполнить операции I/O, считывающие данные из папок, происходит сбой?linkdoneВремя ожидания может превышаться, когда в одном каталоге на Google Диске содержится слишком много файлов и подпапок. Не храните в корневом каталоге "Мой диск" более десяти тысяч объектов, так как в этом случае есть вероятность ошибок при подключении.
Если вы столкнулись с такой проблемой, переместите файлы и папки из раздела "Мой диск". Помните, что в каждой подпапке тоже должно храниться не более десяти тысяч объектов.
Похожая проблема может возникнуть при считывании данных из других папок после успешного выполнения команды drive.mount()
. Если в папке много объектов, при попытке получить доступ к ним есть вероятность появления ошибки, например OSError: [Errno 5] Input/output error
. Эта проблема решается аналогичным способом.
Обратите внимание, что, если просто переместить файлы и вложенные папки в корзину, ошибка может повториться. Для устранения проблемы очистите корзину.
Вы также можете использовать альтернативу Google Диску – хранилище DagsHub. Этот сервис предназначен для машинного обучения и работы с большими наборами данных. Он лучше справляется с масштабированием и более надежен при выполнении задач, типичных для Colab. Более подробная информация содержится в документации DagsHub. Также вы можете ознакомиться с образцом блокнота. DagsHub – это сторонний сервис, который не аффилирован с компанией Google.
drive.mount()
иногда выполняется медленно?linkdoneФайлы на Google Диске могут храниться далеко от ячеек памяти, занятых сеансом Colab. Чтобы повысить производительность кода, реже используйте методы read и write при работе с Диском. Помните, что операции в папках, подключенных командой drive.mount()
, совершаются в рамках сеанса Colab. Если попытка переместить файлы из одной папки в другую через Colab прервется, вы можете потерять все данные.
Подключение Google Диска к Colab открывает коду доступ ко всем файлам в вашем хранилище. Обычно пользователи должны вручную предоставлять этот доступ при каждом подключении к новой среде выполнения, добавляя в блокнот кодовую ячейку. Так они подтверждают предоставляемые блокноту разрешения.
Иногда достаточно один раз разрешить доступ к Google Диску, и в последующих сеансах он будет подключаться автоматически. Это возможно, только когда блокнот проходит несколько проверок. Например, отредактированные другим пользователем блокноты не будут автоматически подключать Google Диск.
На Google Диске установлены различные ограничения. Например, это квоты на количество операций с одним файлом и количество операций, проводимых одним пользователем, а также на максимальную пропускную способность. При превышении любой из квот возникает ошибка ввода/вывода
, как в примере выше. Вы увидите сообщение об этом в интерфейсе Colab. Часто причиной ошибки может стать то, что вы пытаетесь получить доступ к популярному файлу или быстро открыть слишком много разных файлов. Вот несколько способов избежать этой проблемы:
- Скопируйте файл через интерфейс drive.google.com. Не делитесь этим файлом с большим количеством пользователей, чтобы не превышать квоту.
- Не совершайте много мелких операций ввода-вывода. Вместо этого копируйте данные с Диска на виртуальную машину Colab в формате архива, например с расширением
.zip
или.tar.gz
. Разархивируйте данные не в подключенной папке Диска, а на локальной ВМ. - Подождите до завтра, чтобы сбросить счетчик операций.
Каждый пользователь может хранить на Google Диске ограниченный объем данных. Если при попытке выполнить ту или иную операцию на Диске возникает ошибка ввода/вывода
и появляется уведомление о том, что превышена квота хранилища, освободите место на Диске. Для этого удалите часть файлов через интерфейс drive.google.com и очистите корзину. Через некоторое время освобожденное пространство будет доступно в Colab.
Вы можете приобрести дополнительное пространство на Google Диске. Обратите внимание, что, купив место на Google Диске, вы не увеличите доступное пространство на виртуальных машинах Colab. Это можно сделать, оформив подписку Colab Pro.
Лимиты использования ресурсов linkdone
Мы предоставляем мощные графические процессоры по относительно невысокой цене. Чтобы это было возможным, в Colab действует гибкое регулирование доступа к аппаратному обеспечению и лимитов на использование.
В бесплатной версии доступ к таким дорогостоящим ресурсам, как графические процессоры, значительно ограничен. В платной версии пользователям открывается намного больше возможностей по приемлемой цене.
Вы можете купить гарантированные ресурсы, на которые не распространяются ограничения Colab, в GCP Marketplace или Colab Enterprise, а также использовать локальную среду выполнения на своем устройстве. Обратите внимание, что в обоих случаях подключение Google Диска к файловой системе в среде выполнения поддерживаться не будет.
Ресурсы в Colab предоставляются бесплатно, но они ограничены, а доступ к ним не гарантирован. Лимиты на использование, а также время простоя, максимальная продолжительность работы виртуальной машины, доступ к некоторым типам графических процессоров и другие параметры могут варьироваться. По этой причине мы нигде не указываем лимиты.
Чтобы получить больше вычислительных ресурсов и увеличить длительность сеансов, приобретите подписку. У тарифных планов тоже есть адаптивные лимиты, то есть доступность ресурсов может со временем меняться. Для подписчиков, которые израсходовали вычислительные единицы, действуют правила и ограничения бесплатной версии сервиса, пока баланс не будет пополнен.
Вы можете купить гарантированные ресурсы, на которые не распространяются ограничения Colab, в GCP Marketplace или Colab Enterprise, а также использовать локальную среду выполнения на своем устройстве. Обратите внимание, что в обоих случаях подключение Google Диска к файловой системе в среде выполнения поддерживаться не будет.
Типы доступных графических и тензорных процессоров меняются со временем. Это необходимо, чтобы ресурсами Colab можно было пользоваться бесплатно.
Вы можете оформить подписку, чтобы работать с более мощными графическими процессорами, когда они доступны.
Если вам нужно специализированное аппаратное обеспечение, поищите его в GCP Marketplace.
Платформа Colab предназначена для вычислений в интерактивном режиме. При бездействии среда выполнения отключается.
В бесплатной версии Colab блокноты работают не более 12 часов в зависимости от общей нагрузки на сервис и того, как вы им пользуетесь. В планах Colab Pro и Pro+, а также при оплате по мере использования этот лимит увеличивается с учетом того, сколько у вас вычислительных ресурсов.
Как правило, блокноты работают не более 12 часов в зависимости от нагрузки на сервис и того, как вы им пользуетесь. Если у вас закончатся вычислительные ресурсы в Colab Pro, Pro+ или при оплате по мере использования, выполнение серверного кода может прекратиться.
В Colab Pro+ код может выполняться непрерывно в течение 24 часов при условии, что у вас достаточно ресурсов. Отключение при бездействии происходит, только если прекращается выполнение кода.
Чтобы снять ограничения на время выполнения и работу в фоновом режиме, приобретите виртуальную машину в Google Cloud Platform Marketplace.
В бесплатной версии вам доступны виртуальные машины со стандартным объемом памяти.
С платным тарифом вы можете работать на виртуальных машинах с большим объемом памяти в зависимости от их наличия и вашего баланса вычислительных единиц.
Под памятью подразумевается системная память. У всех чипов графических процессоров одинаковый объем памяти.
Закрывайте вкладки Colab, с которыми больше не работаете. Кроме того, старайтесь не нагружать графические процессоры или дополнительную память без необходимости. Так вы будете меньше сталкиваться с лимитами на использование. Вы всегда можете купить больше вычислительной мощности через Pay As You Go.
Подробнее о том, как эффективнее использовать подписку на Colab…
Сервис Colab предлагает дополнительные возможности для ускорения вычислений, в том числе графические процессоры и TPU. Однако они могут не использоваться, даже если код выполняется в среде с графическим процессором или TPU. Чтобы не столкнуться с лимитами на использование графического процессора, рекомендуем работать в стандартной среде выполнения, если графический процессор не требуется. Нажмите Среда выполнения > Сменить среду выполнения и для параметра Аппаратный ускоритель выберите значение Нет.
Примеры использования сред выполнения с графическим процессором и TPU в Colab приводятся в образцах блокнотов TensorFlow с графическим процессором и TPU в сервисе Colab.
Программирование с помощью искусственного интеллекта
Мы постепенно выпускаем функции для программирования с помощью ИИ, например автозаполнение, чат-бот и преобразование естественного языка в код. Они основаны на передовых ИИ-моделях Google.
Доступ к этим функциям уже есть у пользователей в некоторых регионах.
Без подписки отдельными возможностями искусственного интеллекта можно пользоваться лишь ограниченное время.
Сейчас доступ к ним есть только у пользователей в некоторых регионах. Чтобы воспользоваться этими функциями:
- подтвердите возраст в аккаунте (вам должно быть больше 18 лет).
Искусственный интеллект предлагает варианты автозаполнения, когда вы набираете текст. Преобразовать естественный язык в код и обратиться к чат-боту можно с помощью кнопок "Сгенерировать" и "Gemini" соответственно. Если вы их не видите, хотя у вас должен быть доступ, сообщите нам об этом ("Справка > Отправить отзыв"). Чтобы получить ответ по электронной почте, установите флажок "Мы можем запрашивать у вас дополнительные сведения или сообщать вам об обновлениях по электронной почте".
Для пользователей без подписки генерация кода доступна в течение ограниченного времени.
В Colab есть информация о программировании и обучающие материалы, но программирование с помощью искусственного интеллекта в Colab пока находится на стадии эксперимента. Вы сами отвечаете за создание кода и пояснения к нему. Действуйте по своему усмотрению, а также тщательно тестируйте код и проверяйте его на ошибки и уязвимости.
Если сгенерированный код регулируется лицензией открытого ПО, в Colab будет добавлена информация об этом.
Задавайте только те вопросы, которые связаны с Colab или программированием в Colab. Если вы хотите узнать информацию о чем-нибудь ещё, например о языке Java, рекомендуем использовать Gemini для общих запросов.
Функции программирования с помощью искусственного интеллекта в Colab лучше всего подходят для Python.
Программирование с помощью искусственного интеллекта в Colab – это экспериментальная функция. Некоторые ответы могут быть неточными, поэтому тщательно проверяйте их. Ваши отзывы помогают нам улучшать возможности искусственного интеллекта в Colab.
Генеративный искусственный интеллект позволяет быстрее воплощать идеи в жизнь, но эта технология только развивается. Программирование с помощью искусственного интеллекта ещё находится на стадии эксперимента. В соответствии с нашими принципами в отношении искусственного интеллекта в Colab есть встроенные инструменты безопасности и четкие механизмы обратной связи. Однако помните, что в некоторых случаях сервис может генерировать неточную или неприемлемую информацию и неправильные ссылки.
Если вы получили ненадежный, бесполезный, неточный или неподходящий ответ, сообщите нам об этом, отправив отзыв.
Для этого нажмите на значок "Нравится" или "Не нравится" в правом нижнем углу ответа.
В меню "Инструменты" выберите "Настройки" и нажмите "ИИ-функции".
Откроется страница, на которой вы сможете отозвать согласие и скрыть функции для программирования с помощью искусственного интеллекта.
Функции программирования с помощью искусственного интеллекта в Colab, как и некоторые другие автономные большие языковые модели, предназначены для генерирования оригинального контента, а не полного воспроизведения существующего. В наших системах вероятность цитирования ограничена, и мы продолжаем совершенствовать их. Если в Colab приводится прямая цитата, то указывается ее источник.
Когда вы используете возможности генеративного искусственного интеллекта в Colab, Google собирает следующие данные: запросы, связанный код, сгенерированные результаты, информацию об использовании связанных функций и ваши отзывы. Мы используем эти данные, чтобы предоставлять, улучшать и разрабатывать продукты, сервисы и технологии машинного обучения от Google, включая системы для бизнеса, такие как Google Cloud.
Чтобы обеспечивать качество наших продуктов и улучшать их, специалисты Google могут читать, размечать и обрабатывать ваши запросы, связанный код, сгенерированные результаты, информацию об использовании связанных функций и отзывы. Не указывайте в запросах и отзывах личную или конфиденциальную информацию, с помощью которой можно установить вашу личность или личность других людей. Мы храним ваши данные не более 18 месяцев. Google не может идентифицировать пользователей, предоставляющих такие данные, и выполнять запросы на удаление.
Если нажать "Сгенерировать" в ячейке кода, откроется контекстная справка для помощи в написании фрагментов кода. Он создается на основе вашего запроса и расположенных рядом записей в блокноте – из них берется контекст для модели.
К Gemini в Colab можно обращаться с общими вопросами о программировании на Python. Вместе с фрагментами кода даются пояснения.
Дополнительные вопросы
Colab работает в большинстве основных браузеров и наиболее тщательно испытан в последних версиях браузеров Chrome, Firefox и Safari.
В 2014 году мы работали с командой разработчиков Jupyter над созданием ранней версии сервиса. Затем сервис Colab получил самостоятельное развитие с учетом отзывов пользователей.
В сервисе Colab приоритет отдается языку Python и связанной с ним экосистеме инструментов сторонних разработчиков. Нам известно, что пользователи интересуются, будет ли поддержка других ядер для Jupyter (например, R или Scala). Мы бы хотели внедрить их, но пока не располагаем никакой точной информацией об этом.
Откройте любой блокнот Colab и в меню "Справка" выберите "Отправить отзыв".
Colab использует HTML-файлы iframe и service worker, расположенные на отдельных узлах, для безопасного показа наглядных выходных данных. В браузерах требуют включить сторонние файлы cookie для использования файлов service worker внутри iframe. Если вы не хотите включать их для всех сайтов, в настройках браузера добавьте в список исключений следующее имя хоста: googleusercontent.com.
В редакторе Colab используется базовый моноширинный шрифт, но в большинстве современных браузеров его можно изменить. Вот несколько примеров:
- чтобы настроить моноширинный шрифт в Firefox, следуйте указаниям в справочной документации;
- в Chrome откройте страницу "chrome://settings/fonts" и измените настройки в разделе "Моноширинный шрифт".
Python 2 больше не поддерживается в Colab. Подробнее о переносе кода Python 2 на Python 3…
Эта информация есть в разделе часто задаваемых вопросов на странице регистрации.
Информацию о стоимости Colab Pro, Colab Pro+ и Pay As You Go, а также о смене тарифа вы найдете на странице регистрации.
В Google Workspace доступом к Colab управляет администратор организации.
Чтобы учащиеся младше 18 лет могли пользоваться дополнительными сервисами в своих аккаунтах Google Workspace for Education, необходимо согласие родителей. Запросить его можно с помощью этого шаблона уведомления. Не забудьте добавить Colab в список дополнительных сервисов.
Подробную информацию вы найдете в статье Справочного центра Как проинформировать родителей и законных представителей о Google Workspace for Education.