Решение больших и сложных задач требует больших ресурсов — эта зависимость практически неизменна. Вместе с тем, не всегда оправданно пытаться «съесть слона целиком» — часто намного рациональнее разбить комплексную задачу на набор атомарных шагов и «осваивать» их постепенно.
Меня зовут Станислав Иванкевич. Я старший программист в команде разработки DataMasters компании VK Tech. В этой статье я расскажу, как мы применили подход с декомпозицией при разработке своего mini-k8s для автоматизации создания и поддержки приложений в пользовательских кластерах Kubernetes.
Привет, я Настя, технический писатель Selectel. В дайджесте рассказываю о продуктовых обновлениях мая. Вы узнаете, сколько кластеров можно создать в Managed Kubernetes, как разграничить доступ к инфраструктуре между сотрудниками и отправлять письма с ваших серверов в Selectel бесплатно. А в конце — получите приглашения на наши мероприятия.
Вместе с Павлом Агалецким, ведущим разработчиком PaaS в Авито, изучим команды утилиты kubectl в Kubernetes, попробуем запустить два приложения и познакомимся с консольным дашбордом k9s.
С версии Kubernetes 1.16 была добавлена возможность запуска эфемерных контейнеров (Ephemeral Containers). Эта функция позволяет запускать временные контейнеры в рамках существующих Pod'ов, чтобы помочь в диагностике и отладке проблем, а также для выполнения различных задач в рамках существующего окружения.
Эфемерные контейнеры не заменяют существующие контейнеры в Pod'ах, а запускаются рядом с ними в рамках того же сетевого пространства и с теми же точками монтирования. Это означает, что эфемерные контейнеры могут легко получить доступ к ресурсам Pod'а, таким как файловая система или сетевые интерфейсы.
Модели машинного обучения становятся критически важными для бизнеса, помогая оптимизировать процессы и принимать более обоснованные решения. Однако их актуальность и точность могут быстро снижаться из-за изменения данных. Автоматическое переобучение моделей в продакшене решает эту проблему, обеспечивая обновление и улучшение моделей без значительных временных затрат.
В этой статье мы рассмотрим процесс автоматического переобучения моделей ML в продакшене, используя инструменты MLOps. Обсудим интеграцию таких инструментов, как AirFlow и Spark, с CI/CD пайплайнами, а также создание конфигурационного модуля, позволяющего разработчикам сосредоточиться на моделях, не углубляясь в инфраструктурные детали.
В werf 1.2 для обновления ресурсов в Kubernetes мы использовали механизм под названием 3-way merge. Он достался нам от Helm 3, который мы использовали как подсистему развертывания. Хотя 3-way merge и решил часть проблем, существовавших в 2-way merge, многие проблемы, приводящие к некорректным обновлениям ресурсов, так и остались нерешёнными.
В werf 2.0 и Nelm мы пошли дальше и заменили 3-way merge на более современный механизм обновления ресурсов Kubernetes — Server-Side Apply. Он решает все проблемы 3-way merge и гарантирует корректные обновления ресурсов в кластере при развёртывании. В этой статье мы расскажем, какие проблемы испытывают пользователи Helm 3 и как Server-Side Apply помогает их преодолеть.
KEP 3331 (Structured Authentication Config) — это самое крупное обновление в системе аутентификации Kubernetes за 6 последних лет, в котором учитываются все просьбы пользователей. Предварительно его альфа-версия должна выйти в составе релиза Kubernetes 1.28 — сам KEP уже смерджлили, но планы могут немного подкорректироваться.
В проработке фичи вместе с инженерами из Google и Microsoft активно участвовал наш Platform Lead Максим Набоких, который входит в состав Kubernetes sig-auth и является основным мейнтейнером Dex, свободного провайдера OpenID Connect.
Чтобы понять, в чем его преимущества, посмотрим, какими методами решается вопрос аутентификации пользователей сейчас:
ГК «Астра» и российский разработчик ПО «Лаборатория числитель» завершили тестирование совместимости операционной системы Astra Linux Special Edition и отечественной платформы управления средами контейнерной оркестрации «Штурвал». Платформа «Штурвал» включена в реестр Минцифры, работает под российскими ОС, интегрируется с импортонезависимыми программными продуктами и подходит Enterprise‑компаниям, использующих микросервисную архитектуру.
Привет, Хабр! В июне мы зарелизили файловое хранилище в панели управления и увеличили до 3 Гбит/с ширину полосы для сетей облачной платформы. Еще подключили пулер соединений для PostgreSQL и расширили лимиты для воркер-нод в Managed Kubernetes. Интересно узнать больше? Тогда добро пожаловать под кат.
«Лаборатория Касперского» заявила о создании полнофункционального решения Kaspersky Container Security для обеспечения безопасности приложений в Kubernetes, OpenShift и на других контейнерных платформах на всех этапах жизненного цикла приложения — от разработки до эксплуатации.
По данным исследования компании RedHat, 93% компаний сталкивались с одним инцидентом в среде Kubernetes, из‑за проблем с безопасностью контейнеров, 69% — теряли клиентов и доходы, а 55% — откладывали выход приложений.
Когда количество проектов переваливает за разумные пределы, управлять инфраструктурой для машинного обучения становится сложно. Здесь на помощь приходит MLOps — современный подход к автоматизации работы аналитика данных. С ним легко эффективно выстроить процессы работы с технологиями машинного обучения, чтобы они приносили пользу бизнесу.
Приглашаем вас принять участие в бесплатном воркшопе (практическом семинаре), посвященному знакомству с open-source решением Traefik (более 30 тысяч звезд на GitHub), в котором ведущий инженер компании Traefik Labs, Julien Salleyron, расскажет вам о работе решения, процессах, происходящих после его запуска и продемонстрирует работу основных элементов Traefik.
Рекомендуем всем, кто хочет получить информацию от первоисточника! Ссылка для регистрации, а детали под катом.
15 декабря в 17:00 проводим бесплатный вебинар «Деплоим приложение на Tarantool Cartridge в кластер Kubernetes MCS». Расскажем, как буквально в две команды разворачивать масштабируемые кластерные приложения.
Компания Tigera, создатель известного всем проекта Project Calico с открытым исходным кодом, запустила бесплатный учебный портал для всех желающих расширить и официально подтвердить свои знания и навыки работы с Calico в Kubernetes.
За последние 3 года работы с Kubernetes мы замониторили микросервисные инфраструктуры разного размера, начиная от нескольких нод в кластере и заканчивая десятками нод с сотнями микросервисов, и собрали информацию о том, какие есть основные задачи в мониторинге кубов и как их можно эффективно решать.
03 февраля 2021 мы поделимся нашим опытом решения одной из важнейших задач в мониторинге Kubernetes – задачи снижения MTTR, и как мы это реализуем с помощью Observability платформы Instana.
Для частого запуска приложений на Spark, особенно в промышленной эксплуатации, необходимо максимально упростить сам процесс регулярного запуска Spark-задач, а также уметь гибко настраивать их конфигурации. В этом поможет современный DevOps-подход к работе со Spark, связанный с использованием Kubernetes.
Для тех, кто работает на проектах с развитой или развивающейся микросервисной архитектурой, мы в «Слёрме» готовим трехдневный интенсив по service mesh, он пройдет с 19 по 21 марта.
Внедрение service mesh на самом низком уровне радикально меняет инфраструктуру, поэтому любые ошибки при внедрении могут привести к даунтайму и серьезным последствиям.
На интенсиве мы не будем много говорить о подходе service mesh. Максимум внимания уделим практике, рассмотрим различные зоны возможностей этого подхода и попробуем их внедрить на конкретной системе.
Для практики будем использовать проект без service mesh в Kubernetes-кластере. Задача — постепенно внедрить service mesh, отслеживая изменения.
Допустим, в вашей компании решили перейти на Kubernetes. Это должно было повысить стабильность сервисов, увеличить скорость разработки… Но в реальности этих изменений не произошло. В чем причина: Kubernetes не работает или процессы не отлажены?
Приходите на бесплатный круглый стол 11 февраля в 19:00. Поговорим о том, кто какие задачи решает в кластере Kubernetes, как уменьшить количество необходимых ресурсов для перехода на k8s, за счет чего сокращается time-to-market и при чем тут вообще разработчик.
Технический комитет Debian (CTTE) одобрил поставку Kubernetes одним монолитным пакетом вместе с зависимостями. Случилось это после того, как сопровождающий пакета k8s добавил в него более 200 зависимостей библиотек и, фактически, своими действиями просто поставил CTTE перед фактом.
Комитету пришлось одобрить поставку Kubernetes монолитом, хотя это полностью противоречит правилам разработки Debian.
Kubernetes стабильно любим всеми: бизнесу он обеспечивает высокую скорость релизов, а всем ИТ-специалистам, от разработчиков до аналитиков данных — помогает строить и жить. Но зачастую на принятие рационального решения о необходимости внедрения технологии влияет хайп и ее огромная популярность. Kubernetes нередко внедряют достаточно формально, чтобы был, потому что он как-то сделает лучше.