Перейти к основному содержимому

200 вопросов по NoSQL

В РАЗРАБОТКЕЛАБОРАТОРИЯНЕ ОБЯЗАТЕЛЬНО

200 вопросов по NoSQL​

Основы NoSQL​

Вопрос​

Что такое NoSQL?

Ответ​

NoSQL — это класс систем управления базами данных, ориентированных на хранение и обработку неструктурированных, полуструктурированных или распределённых данных без обязательного использования реляционной модели и языка SQL.

Вопрос​

Какие основные типы NoSQL-баз данных существуют?

Ответ​

Существуют четыре основных типа NoSQL-баз данных: документо-ориентированные, колоночные, ключ-значение и графовые.

Вопрос​

Чем отличается документо-ориентированная база данных от реляционной?

Ответ​

Документо-ориентированная база хранит данные в виде гибких структур — документов (например, JSON или BSON), где каждый документ может иметь собственную схему. Реляционная база хранит данные в строго структурированных таблицах с фиксированными столбцами и типами.

Вопрос​

Приведите пример документо-ориентированной базы данных.

Ответ​

MongoDB — популярная документо-ориентированная база данных.

Вопрос​

Что такое база данных типа «ключ-значение»?

Ответ​

База данных типа «ключ-значение» хранит данные в виде пар: уникальный ключ сопоставляется с произвольным значением. Такая модель обеспечивает высокую производительность при простых операциях чтения и записи.

Вопрос​

Приведите пример базы данных типа «ключ-значение».

Ответ​

Redis и Amazon DynamoDB поддерживают модель «ключ-значение».

Вопрос​

Что такое колоночная база данных?

Ответ​

Колоночная база данных хранит данные по столбцам, а не по строкам. Это позволяет эффективно выполнять аналитические запросы и агрегации по большим объёмам данных.

Вопрос​

Приведите пример колоночной базы данных.

Ответ​

Apache Cassandra и Apache HBase — примеры колоночных баз данных.

Вопрос​

Что такое графовая база данных?

Ответ​

Графовая база данных хранит данные в виде узлов, рёбер и свойств. Она оптимизирована для работы с отношениями между сущностями.

Вопрос​

Приведите пример графовой базы данных.

Ответ​

Neo4j — широко используемая графовая база данных.

Вопрос​

Почему NoSQL-системы часто используются в распределённых средах?

Ответ​

NoSQL-системы проектируются с учётом горизонтального масштабирования, отказоустойчивости и работы в кластерах, что делает их подходящими для распределённых сред.

Вопрос​

Что такое CAP-теорема?

Ответ​

CAP-теорема утверждает, что распределённая система может одновременно обеспечивать не более двух из трёх свойств: согласованность (Consistency), доступность (Availability) и устойчивость к разделению сети (Partition tolerance).

Вопрос​

Как NoSQL-системы соотносятся с CAP-теоремой?

Ответ​

Разные NoSQL-системы делают разные компромиссы в рамках CAP-теоремы. Например, MongoDB предпочитает согласованность и устойчивость к разделению, а Cassandra — доступность и устойчивость к разделению.

Вопрос​

Что такое eventual consistency (в конечном счёте согласованность)?

Ответ​

Eventual consistency — это модель согласованности, при которой система гарантирует, что если новые обновления не поступают, все реплики данных в конечном итоге станут идентичными.

Вопрос​

Можно ли использовать транзакции в NoSQL-базах?

Ответ​

Некоторые современные NoSQL-базы поддерживают транзакции. Например, MongoDB поддерживает многострочные транзакции начиная с версии 4.0, а Cassandra — атомарные операции на уровне партиции.

Модели данных и схемы в NoSQL​

Вопрос​

Что означает «схема по чтению» (schema-on-read)?

Ответ​

«Схема по чтению» означает, что структура данных интерпретируется в момент их чтения, а не при записи. Это позволяет хранить гетерогенные документы в одной коллекции без предварительного определения схемы.

Вопрос​

Что означает «схема по записи» (schema-on-write)?

Ответ​

«Схема по записи» означает, что данные проверяются на соответствие заданной структуре в момент их вставки или обновления. Такой подход характерен для реляционных баз данных.

Вопрос​

Поддерживают ли NoSQL-базы строгую типизацию?

Ответ​

Большинство NoSQL-баз используют динамическую типизацию и не требуют строгого определения типов полей. Однако некоторые системы, такие как MongoDB с JSON Schema или Cassandra с CQL, позволяют задавать ограничения на уровне схемы.

Вопрос​

Можно ли изменить структуру документа в MongoDB после его создания?

Ответ​

Да, в MongoDB каждый документ может иметь собственную структуру. Добавление, удаление или изменение полей возможно без изменения всей коллекции.

Вопрос​

Как в документо-ориентированных базах реализуется связь между документами?

Ответ​

Связи реализуются двумя способами:

  • Встраивание (embedding) — один документ содержит другой как вложенное поле.
  • Ссылки (referencing) — документ хранит идентификатор другого документа, аналогичный внешнему ключу.

Пример встраивания в MongoDB:

{
  "_id": "order1",
  "customer": {
    "name": "Alice",
    "email": "alice@example.com"
  },
  "items": ["itemA", "itemB"]
}

Вопрос​

Когда предпочтительно использовать встраивание, а когда ссылки?

Ответ​

Встраивание предпочтительно, когда данные часто запрашиваются вместе и редко изменяются. Ссылки удобны при частых обновлениях связанных данных или при наличии «один ко многим» или «многие ко многим» отношений.

Вопрос​

Что такое денормализация данных в контексте NoSQL?

Ответ​

Денормализация — это намеренное дублирование данных для ускорения запросов за счёт отказа от нормализованной структуры. В NoSQL она применяется часто, так как соединения (joins) либо отсутствуют, либо работают медленно.

Вопрос​

Почему в NoSQL часто избегают JOIN-операций?

Ответ​

JOIN-операции требуют согласованности между таблицами и плохо масштабируются в распределённых системах. NoSQL-базы оптимизированы под быстрый доступ к данным без сложных связей.

Вопрос​

Как в Cassandra организована модель данных?

Ответ​

Cassandra использует табличную модель с колоночным хранением. Каждая строка идентифицируется составным первичным ключом, состоящим из partition key и, опционально, clustering columns. Данные внутри партиции хранятся отсортированными по clustering-столбцам.

Пример CQL:

CREATE TABLE events (
  user_id UUID,
  event_time TIMESTAMP,
  event_type TEXT,
  details TEXT,
  PRIMARY KEY (user_id, event_time)
);

Вопрос​

Что такое партиция (partition) в Cassandra?

Ответ​

Партиция — это группа строк с одинаковым значением partition key. Cassandra хранит все строки одной партиции на одном узле кластера для обеспечения локальности данных и эффективного чтения.

Вопрос​

Как Redis представляет данные?

Ответ​

Redis хранит данные в виде пар «ключ — значение», где значение может быть одного из нескольких типов: строка, список, множество, отсортированное множество, хеш или геопространственные индексы.

Пример использования хеша:

HSET user:1001 name "Bob" email "bob@example.com"
HGET user:1001 name  # вернёт "Bob"

Вопрос​

Что такое TTL в NoSQL?

Ответ​

TTL (Time To Live) — это механизм автоматического удаления данных через заданный промежуток времени после их создания. Поддерживается в Redis (EXPIRE), MongoDB (expireAfterSeconds) и других системах.

Вопрос​

Как в MongoDB задать TTL для коллекции?

Ответ​

Нужно создать индекс с опцией expireAfterSeconds. Например:

db.logs.createIndex({ "createdAt": 1 }, { expireAfterSeconds: 3600 })

Этот индекс автоматически удалит документы, у которых поле createdAt старше одного часа.

Вопрос​

Что такое sparse-индекс в MongoDB?

Ответ​

Sparse-индекс включает в себя только те документы, у которых присутствует индексируемое поле. Он экономит место и ускоряет операции, если поле опционально.

Вопрос​

Как графовая база данных хранит связи между сущностями?

Ответ​

Графовая база хранит связи как отдельные объекты — рёбра (edges), которые соединяют узлы (nodes). Каждое ребро имеет тип и может содержать свойства. Например, в Neo4j:

(:Person {name: "Alice"})-[:FRIEND_OF {since: 2020}]->(:Person {name: "Bob"})

Индексы и производительность в NoSQL​

Вопрос​

Какие типы индексов поддерживаются в MongoDB?

Ответ​

MongoDB поддерживает следующие типы индексов:

  • однополевые (single field),
  • составные (compound),
  • текстовые (text),
  • геопространственные (2dsphere, 2d),
  • хэш-индексы (hashed),
  • уникальные (unique),
  • sparse и partial индексы.

Пример создания составного индекса:

db.users.createIndex({ lastName: 1, firstName: 1 })

Вопрос​

Что такое хэш-индекс в MongoDB и зачем он нужен?

Ответ​

Хэш-индекс в MongoDB индексирует хэш значения поля, а не само значение. Он используется для равномерного распределения данных по шардам при горизонтальном масштабировании.

Вопрос​

Как Cassandra использует индексы?

Ответ​

Cassandra поддерживает secondary indexes, которые позволяют фильтровать данные по неключевым столбцам. Однако такие индексы могут снижать производительность при высокой кардинальности значений, так как запрос выполняется на всех узлах.

Вопрос​

Почему в Cassandra не рекомендуется использовать secondary index на столбцах с высокой кардинальностью?

Ответ​

Secondary index в Cassandra требует сканирования всех партиций, содержащих указанное значение. При высокой кардинальности это приводит к большим сетевым и вычислительным затратам, снижая общую производительность.

Вопрос​

Как Redis обеспечивает высокую производительность?

Ответ​

Redis хранит все данные в оперативной памяти, что позволяет выполнять операции с минимальной задержкой. Также он использует однопоточную архитектуру для выполнения команд, исключая накладные расходы на блокировки.

Вопрос​

Можно ли создавать индексы в Redis?

Ответ​

Redis не предоставляет встроенной поддержки индексов в традиционном понимании. Однако можно эмулировать индексы с помощью структур данных, таких как хеши, множества или отсортированные множества. Например, для поиска по email можно использовать ключ email_to_user:alice@example.com.

Вопрос​

Что такое covered query в MongoDB?

Ответ​

Covered query — это запрос, при котором MongoDB может получить все необходимые данные только из индекса, без обращения к самим документам. Это значительно ускоряет выполнение запроса.

Пример:

// Индекс содержит оба поля
db.users.createIndex({ status: 1, name: 1 })

// Запрос покрывается индексом
db.users.find({ status: "active" }, { name: 1, _id: 0 })

Вопрос​

Как проверить, использует ли запрос индекс в MongoDB?

Ответ​

Нужно использовать метод .explain(). Например:

db.users.find({ email: "test@example.com" }).explain("executionStats")

В выводе поле winningPlan.inputStage.stage покажет "IXSCAN", если использовался индекс.

Вопрос​

Что такое TTL-индекс в MongoDB?

Ответ​

TTL-индекс — это специальный индекс, который автоматически удаляет документы через заданное время после их создания. Он применяется к полям с типом Date.

Пример:

db.logs.createIndex({ createdAt: 1 }, { expireAfterSeconds: 3600 })

Вопрос​

Как в Cassandra оптимизировать запросы по не первичному ключу?

Ответ​

Рекомендуется проектировать таблицы так, чтобы частые запросы выполнялись по первичному ключу. Если это невозможно, можно использовать материализованные представления (Materialized Views) или денормализацию данных.

Вопрос​

Что такое materialized view в Cassandra?

Ответ​

Materialized view — это автоматически обновляемая таблица, основанная на другой таблице, но с другим первичным ключом. Она позволяет эффективно выполнять запросы по альтернативным ключам.

Пример:

CREATE MATERIALIZED VIEW users_by_email AS
SELECT * FROM users
WHERE email IS NOT NULL
PRIMARY KEY (email, user_id);

Вопрос​

Как графовая база Neo4j обеспечивает производительность при обходе связей?

Ответ​

Neo4j хранит связи как отдельные объекты, непосредственно связывающие узлы. Это позволяет обходить граф за константное время на каждом шаге, без необходимости сканировать таблицы или индексы.

Вопрос​

Поддерживает ли Neo4j индексы?

Ответ​

Да, Neo4j поддерживает индексы по свойствам узлов и рёбер. Они используются для быстрого поиска начальных точек обхода графа.

Пример создания индекса:

CREATE INDEX FOR (p:Person) ON (p.email)

Вопрос​

Что такое композитный индекс в Cassandra?

Ответ​

Композитный индекс в Cassandra формируется автоматически из clustering columns внутри партиции. Он определяет порядок сортировки строк внутри одной партиции и позволяет эффективно выполнять диапазонные запросы.

Вопрос​

Как влияет количество индексов на производительность записи в NoSQL-базах?

Ответ​

Каждый индекс увеличивает накладные расходы при записи, так как система должна обновлять не только данные, но и все связанные индексы. Поэтому в системах с высокой нагрузкой на запись рекомендуется минимизировать число индексов.

Масштабируемость и отказоустойчивость​

Вопрос​

Что такое горизонтальное масштабирование?

Ответ​

Горизонтальное масштабирование — это добавление новых узлов (серверов) в кластер для распределения нагрузки и увеличения общей пропускной способности системы.

Вопрос​

Почему NoSQL-системы лучше подходят для горизонтального масштабирования, чем реляционные базы?

Ответ​

NoSQL-системы проектируются с учётом распределённой архитектуры, отсутствия сложных транзакций и жёсткой связности данных. Это позволяет легко разбивать данные по узлам без потери производительности.

Вопрос​

Что такое шардирование?

Ответ​

Шардирование — это процесс разделения данных на части (шарды), которые хранятся на разных узлах кластера. Каждый шард отвечает за подмножество ключей.

Вопрос​

Как MongoDB реализует шардирование?

Ответ​

MongoDB использует shard key — поле или комбинацию полей, по которым данные распределяются между шардами. Шардинг управляется маршрутизатором mongos, который направляет запросы к нужному шарду.

Пример:

sh.shardCollection("mydb.users", { "userId": 1 })

Вопрос​

Что такое репликация в NoSQL?

Ответ​

Репликация — это создание копий данных на нескольких узлах для обеспечения отказоустойчивости и повышения доступности при чтении.

Вопрос​

Как работает репликация в MongoDB?

Ответ​

MongoDB использует replica set — группу из одного первичного (primary) и нескольких вторичных (secondary) узлов. Все записи выполняются на primary, а secondary асинхронно применяют операции из oplog.

Вопрос​

Что такое оптимистическая репликация?

Ответ​

Оптимистическая репликация предполагает, что конфликты при одновременных записях происходят редко. Система разрешает конфликты после их возникновения, например, с помощью временных меток или векторных часов.

Вопрос​

Как Cassandra обеспечивает отказоустойчивость?

Ответ​

Cassandra использует модель peer-to-peer, где каждый узел равноправен. Данные реплицируются на несколько узлов в соответствии с фактором репликации (replication factor). При сбое одного узла запросы перенаправляются на другие реплики.

Вопрос​

Что такое consistency level в Cassandra?

Ответ​

Consistency level определяет, сколько реплик должно подтвердить успешность операции чтения или записи. Например, QUORUM требует подтверждения от большинства реплик.

Пример записи с уровнем согласованности:

CONSISTENCY QUORUM;
INSERT INTO users (id, name) VALUES (1, 'Alice');

Вопрос​

Что такое hinted handoff в Cassandra?

Ответ​

Hinted handoff — это механизм, при котором координирующий узел временно сохраняет запись, если целевой узел недоступен, и доставляет её позже, когда узел вернётся в строй.

Вопрос​

Что такое read repair в Cassandra?

Ответ​

Read repair — это фоновый процесс, который при чтении данных сравнивает версии на разных репликах и автоматически обновляет устаревшие копии до актуального состояния.

Вопрос​

Как Redis обеспечивает отказоустойчивость?

Ответ​

Redis использует репликацию master-replica и, при необходимости, Redis Sentinel или Redis Cluster. Sentinel управляет автоматическим переходом на резервный узел при сбое основного.

Вопрос​

Что такое split-brain в распределённых системах?

Ответ​

Split-brain — это состояние, при котором кластер разделяется на изолированные подмножества, каждое из которых считает себя единственным активным. Это может привести к несогласованности данных.

Вопрос​

Как NoSQL-системы предотвращают split-brain?

Ответ​

Системы используют алгоритмы консенсуса, такие как Raft или Paxos, или механизмы кворума (quorum), чтобы гарантировать, что только одно подмножество узлов может принимать решения.

Вопрос​

Поддерживает ли Neo4j горизонтальное масштабирование?

Ответ​

Neo4j Enterprise Edition поддерживает кластеризацию с использованием протокола Raft для обеспечения согласованности и отказоустойчивости. Однако масштабирование по чтению эффективнее, чем по записи.

Транзакции и согласованность​

Вопрос​

Поддерживают ли NoSQL-базы ACID-транзакции?

Ответ​

Некоторые современные NoSQL-базы поддерживают ACID-транзакции, особенно на уровне одного документа или партиции. Например, MongoDB поддерживает многострочные транзакции в реплика-сете или шардированном кластере начиная с версии 4.0.

Вопрос​

Что такое ACID?

Ответ​

ACID — это набор свойств транзакций:

  • Atomicity (атомарность): транзакция выполняется полностью или не выполняется вовсе.
  • Consistency (согласованность): транзакция переводит базу из одного корректного состояния в другое.
  • Isolation (изоляция): параллельные транзакции не мешают друг другу.
  • Durability (долговечность): результаты завершённой транзакции сохраняются даже при сбое системы.

Вопрос​

Какие уровни изоляции поддерживаются в MongoDB?

Ответ​

MongoDB использует snapshot isolation для многострочных транзакций. Это означает, что транзакция видит данные в том состоянии, в котором они были на момент её начала, независимо от изменений другими транзакциями.

Вопрос​

Можно ли выполнять транзакции между разными коллекциями в MongoDB?

Ответ​

Да, начиная с версии 4.0, MongoDB поддерживает транзакции, охватывающие несколько коллекций и баз данных в рамках одного реплика-сета или шардированного кластера.

Пример:

const session = db.getMongo().startSession();
session.startTransaction();
try {
  db.orders.insertOne({ userId: 1, items: [...] }, { session });
  db.users.updateOne({ _id: 1 }, { $inc: { balance: -100 } }, { session });
  session.commitTransaction();
} catch (error) {
  session.abortTransaction();
}

Вопрос​

Поддерживает ли Cassandra транзакции?

Ответ​

Cassandra поддерживает атомарность и изоляцию на уровне одной партиции. Операции внутри одной партиции выполняются как единое целое. Многострочные транзакции между партициями не поддерживаются.

Вопрос​

Что такое lightweight transaction в Cassandra?

Ответ​

Lightweight transaction — это операция с условием, реализованная через алгоритм Paxos. Она обеспечивает линейную согласованность для отдельных записей.

Пример:

INSERT INTO users (id, name) VALUES (1, 'Alice')
IF NOT EXISTS;

Вопрос​

Как Redis обеспечивает атомарность операций?

Ответ​

Redis выполняет команды атомарно в рамках однопоточной модели. Также доступны транзакции через MULTI/EXEC, которые группируют команды, но не откатываются при ошибках.

Пример:

MULTI
INCR counter
EXPIRE counter 60
EXEC

Вопрос​

Поддерживает ли Redis откат транзакций?

Ответ​

Нет, Redis не поддерживает откат транзакций. Команды внутри MULTI/EXEC выполняются последовательно, и ошибка одной команды не отменяет остальные.

Вопрос​

Что такое строгая согласованность (strong consistency)?

Ответ​

Строгая согласованность гарантирует, что любое чтение возвращает результат последней завершённой записи. Такая модель характерна для систем, ориентированных на согласованность в рамках CAP-теоремы.

Вопрос​

Что такое слабая согласованность (weak consistency)?

Ответ​

Слабая согласованность означает, что после записи система не гарантирует немедленную видимость обновления всем читателям. Данные могут быть временно неактуальными.

Вопрос​

Как Neo4j обеспечивает согласованность?

Ответ​

Neo4j использует журналирование транзакций (transaction log) и механизм блокировок для обеспечения ACID-свойств. Все изменения применяются атомарно и сохраняются на диск.

Вопрос​

Можно ли выполнять транзакции в Neo4j между несколькими узлами?

Ответ​

Да, Neo4j поддерживает транзакции, охватывающие любое количество узлов и рёбер в рамках одного запроса. Все изменения в пределах транзакции являются атомарными.

Пример:

MATCH (a:Account {id: 1}), (b:Account {id: 2})
CALL {
  SET a.balance = a.balance - 100
  SET b.balance = b.balance + 100
}
RETURN a.balance, b.balance

Вопрос​

Что такое causal consistency?

Ответ​

Causal consistency гарантирует, что если одна операция причинно зависит от другой, то все процессы увидят их в правильном порядке. Независимые операции могут наблюдаться в произвольном порядке.

Вопрос​

Какие NoSQL-системы поддерживают causal consistency?

Ответ​

Некоторые облачные базы, такие как Amazon DynamoDB с транзакциями и Azure Cosmos DB с опцией Session Consistency, предоставляют модели, близкие к causal consistency.

Вопрос​

Что такое monotonic reads?

Ответ​

Monotonic reads гарантируют, что если процесс прочитал значение V2 после V1, он никогда не увидит V1 снова. Это свойство предотвращает «откат» во времени при повторных чтениях.

Архитектура и внутреннее устройство популярных NoSQL-систем​

Вопрос​

Как устроена архитектура MongoDB?

Ответ​

MongoDB использует архитектуру с компонентами:

  • mongod — основной процесс, хранящий данные и обрабатывающий запросы;
  • mongos — маршрутизатор для шардированных кластеров;
  • config servers — хранят метаданные о шардах и чанках;
  • replica sets — обеспечивают репликацию и отказоустойчивость.

Вопрос​

Что такое WiredTiger в MongoDB?

Ответ​

WiredTiger — это движок хранения по умолчанию в MongoDB начиная с версии 3.2. Он поддерживает документную изоляцию, снапшоты и сжатие данных.

Вопрос​

Как Cassandra хранит данные на диске?

Ответ​

Cassandra использует комбинацию memtable (в памяти) и SSTable (на диске). При записи данные сначала попадают в memtable и commit log. Когда memtable заполняется, она сбрасывается в неизменяемый SSTable файл.

Вопрос​

Что такое compaction в Cassandra?

Ответ​

Compaction — это фоновый процесс объединения нескольких SSTable-файлов в один, при этом удаляются устаревшие или удалённые версии строк. Это снижает потребление диска и ускоряет чтение.

Вопрос​

Как Redis хранит данные в памяти?

Ответ​

Redis использует структуры данных, оптимизированные под конкретные типы значений:

  • строки — как простые буферы;
  • списки — как связанные списки или массивы;
  • множества — как хэш-таблицы;
  • отсортированные множества — как skip list + хэш-таблица.

Вопрос​

Что такое RDB и AOF в Redis?

Ответ​

RDB (Redis Database Backup) — это двоичный снапшот данных на диск.
AOF (Append-Only File) — это журнал всех операций записи, который позволяет восстановить состояние после перезапуска. Оба механизма могут использоваться одновременно.

Вопрос​

Как Neo4j хранит граф на диске?

Ответ​

Neo4j использует три основных файла:

  • NODE STORE — хранит узлы;
  • RELATIONSHIP STORE — хранит рёбра;
  • PROPERTY STORE — хранит свойства узлов и рёбер.
    Каждая запись имеет фиксированный размер и прямые указатели на связанные объекты.

Вопрос​

Что такое Bolt-протокол в Neo4j?

Ответ​

Bolt — это бинарный протокол связи между клиентом и сервером Neo4j. Он обеспечивает низкую задержку, потоковую передачу результатов и поддержку транзакций.

Вопрос​

Как MongoDB обрабатывает запросы в шардированном кластере?

Ответ​

Запрос поступает в mongos, который определяет нужный шард по shard key, перенаправляет запрос, собирает результаты и возвращает их клиенту. Для диапазонных запросов может использоваться scatter-gather.

Вопрос​

Что такое gossip protocol в Cassandra?

Ответ​

Gossip protocol — это механизм обмена состоянием между узлами в кластере Cassandra. Каждый узел периодически обменивается информацией с несколькими случайными соседями, что позволяет быстро распространять данные о состоянии кластера.

Вопрос​

Как Cassandra обрабатывает конфликты при одновременных записях?

Ответ​

Cassandra использует last-write-wins на основе временных меток (timestamp). Запись с более поздней меткой перезаписывает предыдущую. Для сложных случаев можно использовать vector clocks или прикладную логику разрешения конфликтов.

Вопрос​

Что такое tombstone в Cassandra?

Ответ​

Tombstone — это маркер удаления, который создаётся при выполнении операции DELETE. Он остаётся в SSTable до завершения compaction и нужен для согласованного удаления данных на всех репликах.

Вопрос​

Почему большое количество tombstones может замедлить Cassandra?

Ответ​

При чтении Cassandra должна проверять все версии строки, включая помеченные как удалённые. Большое число tombstones увеличивает объём сканируемых данных и может вызывать таймауты.

Вопрос​

Как Redis Cluster распределяет ключи?

Ответ​

Redis Cluster использует хэш-слоты: пространство ключей делится на 16384 слота. Каждый ключ хэшируется в слот с помощью CRC16(key) mod 16384. Слоты равномерно распределены между узлами.

Вопрос​

Что такое master-slave и masterless архитектура?

Ответ​

Master-slave архитектура предполагает наличие одного ведущего узла для записи и нескольких ведомых для чтения (например, MongoDB replica set). Masterless архитектура (например, Cassandra) делает все узлы равноправными — любой узел может принимать чтение и запись.

Использование NoSQL в реальных сценариях и сравнение систем​

Вопрос​

В каких сценариях предпочтительно использовать MongoDB?

Ответ​

MongoDB подходит для приложений с гибкой схемой, таких как системы управления контентом, каталоги продуктов, пользовательские профили и логирование. Он эффективен при работе с иерархическими данными и частыми обновлениями документов.

Вопрос​

Когда стоит выбрать Cassandra вместо MongoDB?

Ответ​

Cassandra предпочтительна в сценариях с высокой нагрузкой на запись, требованием круглосуточной доступности и распределённой географией (например, IoT, телеметрия, аналитика событий). Она лучше масштабируется по записи и обеспечивает отказоустойчивость без единой точки отказа.

Вопрос​

Какие задачи лучше всего решать с помощью Redis?

Ответ​

Redis идеален для кэширования, сессионного хранилища, очередей, рейтинговых таблиц (leaderboards), ограничения частоты запросов (rate limiting) и временных данных с TTL.

Вопрос​

Когда использовать графовую базу данных?

Ответ​

Графовые базы данных эффективны при анализе связей: социальные сети, рекомендательные системы, мошенничество, маршрутизация и управление зависимостями.

Вопрос​

Можно ли использовать несколько NoSQL-систем в одном проекте?

Ответ​

Да, подход под названием polyglot persistence предполагает использование разных баз данных для разных задач в рамках одного приложения. Например, MongoDB для профилей пользователей, Redis для кэша и Neo4j для рекомендаций.

Вопрос​

Какая NoSQL-система лучше подходит для аналитики в реальном времени?

Ответ​

Apache Cassandra и ScyllaDB обеспечивают высокую пропускную способность при записи и позволяют выполнять агрегации по партициям. Для более сложной аналитики часто комбинируют с Apache Spark или Materialized Views.

Вопрос​

Чем отличается DynamoDB от Cassandra?

Ответ​

DynamoDB — это управляемый облачный сервис от AWS, основанный на архитектуре Amazon Dynamo. Он автоматически масштабируется, предоставляет встроенные резервное копирование и глобальные таблицы. Cassandra — это open-source система, требующая самостоятельной эксплуатации, но дающая больше контроля над конфигурацией.

Вопрос​

Какие ограничения есть у DynamoDB?

Ответ​

DynamoDB имеет ограничения на размер элемента (400 КБ), длину ключа (2 КБ), и требует тщательного выбора partition key для равномерного распределения нагрузки. Глобальные вторичные индексы (GSI) могут вводить дополнительную задержку.

Вопрос​

Почему MongoDB не рекомендуется для систем с высокой частотой транзакций между разными документами?

Ответ​

Хотя MongoDB поддерживает многострочные транзакции, они создают накладные расходы и снижают производительность. Системы с интенсивными междокументными транзакциями лучше реализовывать на реляционных СУБД или с денормализацией данных.

Вопрос​

Какие NoSQL-системы поддерживают полнотекстовый поиск?

Ответ​

MongoDB имеет встроенный текстовый индекс. Для Cassandra и других систем обычно интегрируют внешние движки, такие как Elasticsearch или Apache Solr.

Вопрос​

Можно ли использовать Cassandra для хранения JSON-документов?

Ответ​

Да, Cassandra позволяет хранить JSON-подобные структуры с помощью типа map<text, text> или frozen<udt>, но без встроенной поддержки вложенных запросов или индексации внутренних полей.

Вопрос​

Какой подход к моделированию данных в NoSQL считается правильным?

Ответ​

Правильный подход — проектировать модель данных под конкретные запросы приложения, а не под общую структуру сущностей. Это означает денормализацию, дублирование данных и создание отдельных таблиц или коллекций для каждого шаблона доступа.

Вопрос​

Почему в NoSQL важен выбор первичного ключа?

Ответ​

Первичный ключ определяет, как данные распределяются по узлам и как быстро выполняются запросы. Неправильный выбор может привести к «горячим» партициям, неравномерной нагрузке и снижению производительности.

Вопрос​

Какие метрики важны при выборе NoSQL-системы?

Ответ​

Важные метрики: пропускная способность записи/чтения, задержка (latency), уровень согласованности, требования к отказоустойчивости, стоимость эксплуатации, поддержка транзакций и экосистема инструментов.

Вопрос​

Какие NoSQL-системы чаще всего используются в микросервисной архитектуре?

Ответ​

MongoDB, Cassandra, Redis и DynamoDB популярны в микросервисах благодаря своей гибкости, независимости схемы и возможностям горизонтального масштабирования. Каждый сервис может использовать свою базу данных в соответствии с его потребностями.

Операции, администрирование и DevOps для NoSQL​

Вопрос​

Как выполняется резервное копирование в MongoDB?

Ответ​

MongoDB поддерживает несколько методов резервного копирования:

  • mongodump/mongorestore — утилиты для логического дампа и восстановления;
  • Filesystem snapshot — снапшот файловой системы при остановленной записи или с использованием WiredTiger checkpoint;
  • Cloud Backup — управляемое решение Atlas Backup для пользователей MongoDB Atlas.

Вопрос​

Как восстановить данные из резервной копии в Cassandra?

Ответ​

Для восстановления в Cassandra используются снапшоты, созданные командой nodetool snapshot. Файлы SSTable из снапшота копируются обратно в директорию данных соответствующей таблицы, после чего выполняется nodetool refresh.

Вопрос​

Как мониторить производительность MongoDB?

Ответ​

MongoDB предоставляет встроенные инструменты:

  • db.currentOp() — текущие операции;
  • db.serverStatus() — общая статистика сервера;
  • MongoDB Atlas / Ops Manager — графический мониторинг;
  • Интеграция с Prometheus и Grafana через экспортёр.

Вопрос​

Какие метрики важны при мониторинге Cassandra?

Ответ​

Ключевые метрики:

  • latency (read/write);
  • throughput (операций в секунду);
  • compaction backlog;
  • cache hit rate;
  • pending tasks в thread pools;
  • количество tombstones на запрос.

Эти метрики доступны через JMX или экспортируются в Prometheus с помощью Cassandra Exporter.

Вопрос​

Как обновлять версию MongoDB в production?

Ответ​

Обновление выполняется поэтапно:

  1. Обновить вторичные узлы replica set;
  2. Выполнить stepDown первичного узла;
  3. Обновить бывший primary;
  4. При шардировании — обновить config servers, затем mongos, затем шарды.
    Рекомендуется тестировать обновление в staging-среде.

Вопрос​

Как добавить новый узел в кластер Cassandra?

Ответ​

Новый узел добавляется с тем же конфигом кластера, но с уникальным listen_address. После запуска он автоматически присоединяется к кольцу через gossip protocol и начинает принимать часть данных через streaming.

Вопрос​

Что такое repair в Cassandra и зачем он нужен?

Ответ​

Repair — это процесс синхронизации данных между репликами для устранения несогласованности, вызванной отказами или hinted handoff. Выполняется командой nodetool repair и может быть ресурсоёмким.

Вопрос​

Как настроить аутентификацию в MongoDB?

Ответ​

В MongoDB включается аутентификация через параметр security.authorization: enabled в конфигурации. Создаются пользователи с ролями в админской базе admin, например:

use admin
db.createUser({ user: "admin", pwd: "secret", roles: ["root"] })

Вопрос​

Поддерживает ли Redis аутентификацию?

Ответ​

Да, Redis поддерживает простую аутентификацию через директиву requirepass в конфигурационном файле. Клиент должен выполнить команду AUTH <password> перед использованием.

Вопрос​

Как обеспечить шифрование данных в NoSQL-системах?

Ответ​

Шифрование реализуется на нескольких уровнях:

  • In transit: TLS/SSL для сетевого трафика;
  • At rest: шифрование дисков (LUKS, TDE) или встроенные механизмы (например, MongoDB Enterprise поддерживает encryption at rest с ключами от KMIP-совместимых систем).

Вопрос​

Как развернуть MongoDB в Kubernetes?

Ответ​

MongoDB можно развернуть с помощью официального Helm-чарта или оператора MongoDB Community Kubernetes Operator. Для production рекомендуется использовать StatefulSet с постоянными томами (PersistentVolumes).

Вопрос​

Как развернуть Cassandra в Kubernetes?

Ответ​

Cassandra разворачивается через StatefulSet с учётом требований к стабильным сетевым идентификаторам и локальному хранилищу. Используются специализированные операторы, такие как K8ssandra или cass-operator от DataStax.

Вопрос​

Что такое rolling restart и когда его применяют?

Ответ​

Rolling restart — это поочерёдная перезагрузка узлов кластера без остановки всего сервиса. Применяется при обновлении конфигурации, патчей ядра или замены оборудования.

Вопрос​

Как проверить здоровье кластера Redis?

Ответ​

Используется команда INFO или CLUSTER INFO в режиме кластера. Также можно отправлять PING и проверять статус репликации через INFO REPLICATION.

Вопрос​

Как управлять квотами и лимитами в DynamoDB?

Ответ​

DynamoDB использует provisioned capacity (настраиваемые чтение/запись в единицах RCU/WCU) или on-demand mode. При превышении лимита возвращается ошибка ProvisionedThroughputExceededException. Для сглаживания всплесков можно включить autoscaling.

Безопасность и управление доступом в NoSQL​

Вопрос​

Какие механизмы аутентификации поддерживает MongoDB?

Ответ​

MongoDB поддерживает несколько механизмов аутентификации:

  • SCRAM (Salted Challenge Response Authentication Mechanism) — по умолчанию;
  • x.509 certificates — на основе TLS-сертификатов;
  • LDAP — в Enterprise Edition;
  • Kerberos — также в Enterprise Edition.

Вопрос​

Что такое роль в MongoDB?

Ответ​

Роль в MongoDB определяет набор привилегий — разрешений на выполнение операций над базами данных, коллекциями или кластером. Роли могут быть встроенными (например, read, readWrite, dbAdmin) или пользовательскими.

Пример назначения роли:

db.createUser({
  user: "analyst",
  pwd: "pass",
  roles: [{ role: "read", db: "sales" }]
})

Вопрос​

Как включить шифрование трафика в MongoDB?

Ответ​

Шифрование трафика в MongoDB включается через TLS/SSL. Для этого в конфигурационном файле задаются параметры net.tls.mode: requireTLS и пути к сертификатам (certificateKeyFile, CAFile).

Вопрос​

Поддерживает ли Cassandra аутентификацию?

Ответ​

Да, Cassandra поддерживает аутентификацию через реализацию PasswordAuthenticator. Включается в файле cassandra.yaml параметром authenticator: PasswordAuthenticator.

Вопрос​

Как управлять ролями в Cassandra?

Ответ​

Cassandra использует встроенные команды CQL для управления ролями:

  • CREATE ROLE analyst WITH LOGIN = true AND PASSWORD = 'secret';
  • GRANT SELECT ON KEYSPACE sales TO analyst;
  • LIST ROLES;

Роли могут быть иерархическими и включать другие роли.

Вопрос​

Как в Cassandra настроить межузловое шифрование?

Ответ​

Межузловое шифрование (internode encryption) настраивается в cassandra.yaml через параметр server_encryption_options. Поддерживаются режимы none, dc, rack и all.

Вопрос​

Какие методы аутентификации поддерживает Redis?

Ответ​

Redis поддерживает простую парольную аутентификацию через команду AUTH и директиву requirepass в конфигурации. В Redis Enterprise доступна интеграция с LDAP и RBAC.

Вопрос​

Можно ли ограничить команды для пользователей в Redis?

Ответ​

Да, начиная с версии 6.0, Redis поддерживает ACL (Access Control Lists). Можно создавать пользователей с разрешениями на конкретные команды и ключи.

Пример:

ACL SETUSER alice on >secret ~cache:* +get +set

Этот пользователь может выполнять только GET и SET над ключами, начинающимися с cache:.

Вопрос​

Как защитить данные в DynamoDB?

Ответ​

DynamoDB обеспечивает безопасность через:

  • IAM-политики для контроля доступа;
  • шифрование at rest с помощью AWS KMS (включено по умолчанию);
  • VPC endpoints для изоляции трафика;
  • audit logging через AWS CloudTrail.

Вопрос​

Что такое fine-grained access control в NoSQL?

Ответ​

Fine-grained access control — это механизм, позволяющий определять права доступа не только на уровне таблицы или коллекции, но и на уровне строк, документов или даже полей. Например, MongoDB с помощью query-based roles или DynamoDB с условными выражениями в IAM.

Вопрос​

Как предотвратить injection-атаки в MongoDB?

Ответ​

Следует использовать строгую типизацию входных данных, избегать конкатенации запросов и применять драйверы, которые автоматически экранируют значения. Например, вместо $where использовать параметризованные запросы с операторами вроде $eq.

Вопрос​

Безопасно ли хранить чувствительные данные в Redis?

Ответ​

Redis не предназначен для долговременного хранения чувствительных данных без дополнительных мер. Рекомендуется включать аутентификацию, использовать TLS, отключать команды вроде KEYS и FLUSHALL через ACL, а также шифровать данные на уровне приложения.

Вопрос​

Как настроить аудит операций в MongoDB?

Ответ​

Аудит доступен в MongoDB Enterprise и Atlas. Включается через параметр auditLog в конфигурации. Можно указать формат (JSON, BSON), путь к файлу и фильтры по операциям, пользователям или базам данных.

Вопрос​

Поддерживает ли Neo4j управление доступом?

Ответ​

Да, Neo4j Enterprise Edition поддерживает RBAC: можно создавать пользователей, роли и назначать привилегии на уровне базы данных, графа или даже подграфа.

Пример:

CREATE USER analyst SET PASSWORD 'secret'
CREATE ROLE reader
GRANT ACCESS ON DATABASE neo4j TO reader
GRANT TRAVERSE ON GRAPH neo4j NODES Person TO reader

Вопрос​

Как проверить, включена ли аутентификация в Cassandra?

Ответ​

Нужно проверить значение параметра authenticator в файле cassandra.yaml. Если установлено AllowAllAuthenticator, аутентификация отключена. Если PasswordAuthenticator — включена.

Проектирование и моделирование данных в NoSQL​

Вопрос​

Какой принцип лежит в основе проектирования схемы в NoSQL?

Ответ​

Проектирование схемы в NoSQL начинается с анализа шаблонов запросов приложения. Структура данных оптимизируется под конкретные операции чтения и записи, а не под общую нормализацию.

Вопрос​

Почему в NoSQL часто отказываются от нормализации?

Ответ​

Нормализация требует выполнения соединений, которые плохо масштабируются в распределённых системах. Денормализация позволяет получать полные данные за один запрос без дополнительных обращений.

Вопрос​

Как смоделировать отношение «один ко многим» в MongoDB?

Ответ​

Если количество связанных элементов ограничено и они всегда запрашиваются вместе, используется встраивание массива документов. Если элементов много или они обновляются независимо — хранится ссылка на _id.

Пример встраивания:

{
  "_id": "user1",
  "name": "Alice",
  "emails": [
    { "type": "work", "address": "alice@work.com" },
    { "type": "personal", "address": "alice@gmail.com" }
  ]
}

Вопрос​

Как смоделировать отношение «многие ко многим» в документной базе?

Ответ​

Хранятся идентификаторы связанных документов в виде массивов в обеих коллекциях или в отдельной коллекции-связке. Например, в коллекции enrollments могут храниться пары { studentId, courseId }.

Вопрос​

Что такое партиционный ключ в Cassandra и как его выбрать?

Ответ​

Партиционный ключ определяет, на какой узел попадут данные. Его следует выбирать так, чтобы обеспечить равномерное распределение записей и избежать «горячих» партиций. Хороший ключ — это сущность с высокой кардинальностью и равномерным распределением (например, user_id, а не status).

Вопрос​

Как избежать «горячей» партиции в Cassandra?

Ответ​

Можно добавить «солёное» значение к ключу (например, префикс от 0 до N), чтобы распределить нагрузку между несколькими партициями. При чтении выполняется параллельный запрос ко всем возможным солёным ключам.

Вопрос​

Как в Redis смоделировать сессию пользователя?

Ответ​

Сессия хранится как хеш с TTL. Ключ — session:<session_id>, поля — атрибуты сессии (userId, expiresAt и т.д.). Устанавливается TTL, равный времени жизни сессии.

Пример:

HSET session:abc123 userId 1001 createdAt 1712345678
EXPIRE session:abc123 3600

Вопрос​

Как в Neo4j смоделировать иерархическую структуру (например, категории товаров)?

Ответ​

Используются рёбра одного типа, например :CHILD_OF. Запросы выполняются с помощью рекурсивного обхода через [*].

Пример:

(:Category {name: "Electronics"})-[:CHILD_OF]->(:Category {name: "Phones"})

Запрос всех подкатегорий:

MATCH (root:Category {name: "Electronics"})-[:CHILD_OF*0..]->(child)
RETURN child

Вопрос​

Что такое time-series data и как её хранить в NoSQL?

Ответ​

Time-series data — это последовательности значений с метками времени (например, показания датчиков). В Cassandra эффективно хранить такие данные с partition key = device_id, clustering column = timestamp. В MongoDB — использовать коллекцию с индексом по deviceId и timestamp.

Вопрос​

Как хранить историю изменений документа в MongoDB?

Ответ​

Можно использовать отдельную коллекцию document_history, куда при каждом обновлении записывается полная версия или дельта. Альтернатива — встроенный механизм Change Streams для отслеживания изменений в реальном времени.

Вопрос​

Как обеспечить уникальность поля в MongoDB без использования первичного ключа?

Ответ​

Создаётся уникальный индекс на нужном поле:

db.users.createIndex({ email: 1 }, { unique: true })

Попытка вставить дубликат вызовет ошибку E11000 duplicate key.

Вопрос​

Можно ли в Cassandra изменить первичный ключ таблицы?

Ответ​

Нет, первичный ключ нельзя изменить после создания таблицы. Для изменения структуры требуется создать новую таблицу и перенести данные.

Вопрос​

Как в Redis реализовать очередь?

Ответ​

Очередь реализуется с помощью списка и команд LPUSH (добавление) и BRPOP (блокирующее извлечение).

Пример:

LPUSH tasks "task1"
BRPOP tasks 0  # ждёт задачу бесконечно

Вопрос​

Как в MongoDB реализовать пагинацию?

Ответ​

Пагинация реализуется с помощью методов .skip() и .limit(), но для больших смещений это неэффективно. Лучше использовать курсорную пагинацию по уникальному полю (например, _id или createdAt).

Пример:

db.posts.find({ _id: { $gt: lastId } }).sort({ _id: 1 }).limit(20)

Вопрос​

Что такое bucket pattern в MongoDB?

Ответ​

Bucket pattern — это техника группировки множества мелких документов в один «ведро» (bucket) для снижения числа записей и ускорения агрегаций. Часто применяется для time-series или событийных данных.

Пример: вместо миллиона событий — 1000 документов по 1000 событий в каждом, с массивом events.

Производительность, оптимизация и анти-паттерны​

Вопрос​

Что такое N+1 проблема в контексте NoSQL?

Ответ​

N+1 проблема возникает, когда приложение сначала выполняет один запрос для получения списка идентификаторов, а затем N дополнительных запросов для загрузки связанных данных по каждому идентификатору. В NoSQL это особенно критично из-за отсутствия JOIN. Решение — денормализация или предварительная агрегация.

Вопрос​

Почему использование .skip() и .limit() для глубокой пагинации в MongoDB неэффективно?

Ответ​

Метод .skip(N) заставляет сервер пропустить первые N документов, даже если они не нужны. При больших N это приводит к сканированию значительной части коллекции и высокой задержке. Альтернатива — курсорная пагинация по индексированному полю.

Вопрос​

Какой анти-паттерн возникает при использовании монолитного документа в MongoDB?

Ответ​

Если документ постоянно растёт (например, массив комментариев без ограничения), он может превысить лимит в 16 МБ или вызывать частые перемещения на диске при обновлении. Это снижает производительность. Решение — выносить большие массивы в отдельную коллекцию.

Вопрос​

Почему в Cassandra не рекомендуется использовать ALLOW FILTERING?

Ответ​

ALLOW FILTERING заставляет Cassandra сканировать все партиции таблицы, что приводит к высокой нагрузке и таймаутам. Такой запрос не масштабируется и должен использоваться только в крайних случаях с небольшими данными.

Вопрос​

Что такое «широкая партиция» в Cassandra и почему она опасна?

Ответ​

Широкая партиция — это партиция, содержащая слишком много строк (например, миллионы). Она может превысить лимит размера (обычно 100 МБ), замедлить чтение и вызвать проблемы при compaction. Решение — перепроектировать ключ, добавив дополнительное измерение (например, дату).

Вопрос​

Как избежать большого числа tombstones в Cassandra?

Ответ​

Следует избегать массовых операций DELETE, использовать TTL вместо явного удаления, где возможно, и регулярно выполнять repair и compaction. Также важно проектировать модель данных так, чтобы удалять целые партиции, а не отдельные строки.

Вопрос​

Почему в Redis не следует хранить очень большие значения?

Ответ​

Большие значения (сотни мегабайт) блокируют однопоточный цикл Redis на длительное время, увеличивая задержку для всех клиентов. Рекомендуется разбивать большие объекты на части или использовать внешнее хранилище.

Вопрос​

Какой анти-паттерн связан с чрезмерным использованием индексов в NoSQL?

Ответ​

Каждый индекс увеличивает накладные расходы на запись и потребление памяти/диска. Чрезмерное количество индексов замедляет вставку и обновление данных, особенно в системах с высокой нагрузкой на запись, таких как Cassandra или DynamoDB.

Вопрос​

Почему в графовых базах плохо работают запросы без начальной точки?

Ответ​

Графовые запросы требуют начального узла для эффективного обхода. Поиск «всех узлов с именем X» без индекса приводит к полному сканированию графа. Поэтому важно создавать индексы по свойствам, используемым в качестве точек входа.

Вопрос​

Как оптимизировать агрегации в MongoDB?

Ответ​

Рекомендуется:

  • использовать индексы, покрывающие этапы $match и $sort;
  • размещать $match как можно раньше в pipeline;
  • избегать $unwind на больших массивах без предварительной фильтрации;
  • использовать $lookup осторожно — он может быть медленным без индексов.

Вопрос​

Что такое fan-out при записи и когда он оправдан?

Ответ​

Fan-out при записи — это запись одного события сразу во множество мест (например, в ленту каждого подписчика). Это ускоряет чтение, но замедляет запись. Оправдан при соотношении «много чтений — мало записей», например, в социальных сетях.

Вопрос​

Почему в DynamoDB плохо работает сканирование всей таблицы?

Ответ​

Операция Scan читает все элементы таблицы последовательно, потребляя много RCU и вызывая высокую задержку. Она не подходит для production-запросов и должна использоваться только для редких задач вроде миграций или аналитики.

Вопрос​

Какой анти-паттерн возникает при неправильном выборе shard key в MongoDB?

Ответ​

Если shard key имеет низкую кардинальность или монотонно растёт (например, timestamp), данные концентрируются на одном шарде — возникает «горячий шард». Это ломает горизонтальное масштабирование. Хороший shard key — равномерно распределённый и не монотонный.

Вопрос​

Почему в Redis не стоит использовать KEYS в production?

Ответ​

Команда KEYS блокирует весь сервер на время сканирования всего пространства ключей. При большом количестве ключей это вызывает значительную задержку. Вместо неё следует использовать SCAN с курсором.

Вопрос​

Как избежать «картезианского взрыва» в Neo4j?

Ответ​

Картезианский взрыв возникает, когда запрос генерирует огромное число комбинаций узлов и рёбер. Чтобы избежать этого, нужно ограничивать глубину обхода ([:REL*1..3]), использовать фильтры на ранних этапах и применять индексы для начальных узлов.

Инструменты, экосистема и интеграции NoSQL​

Вопрос​

Какие инструменты используются для миграции данных в MongoDB?

Ответ​

Для миграции данных в MongoDB применяются:

  • mongodump/mongorestore — для резервного копирования и восстановления;
  • mongoimport/mongoexport — для импорта/экспорта в форматах JSON и CSV;
  • MongoDB Connector for BI — для подключения к SQL-инструментам;
  • Apache NiFi, Kafka Connect, Debezium — для потоковой миграции из других систем.

Вопрос​

Как интегрировать Cassandra с Apache Spark?

Ответ​

Cassandra интегрируется со Spark через официальный коннектор spark-cassandra-connector. Он позволяет читать и записывать данные напрямую, используя RDD или DataFrame API.

Пример на Scala:

val df = spark.read
  .format("org.apache.spark.sql.cassandra")
  .options(Map("table" -> "events", "keyspace" -> "analytics"))
  .load()

Вопрос​

Какие средства визуализации поддерживают графовые базы данных?

Ответ​

Neo4j предоставляет встроенный браузер с визуализацией графа. Также существуют внешние инструменты: Linkurious, Gephi, Cytoscape и KeyLines, которые могут подключаться к графовым базам через API.

Вопрос​

Как подключить Redis к приложению на Python?

Ответ​

Используется клиентская библиотека redis-py:

import redis
r = redis.Redis(host='localhost', port=6379, decode_responses=True)
r.set('key', 'value')
print(r.get('key'))

Вопрос​

Какие драйверы существуют для MongoDB?

Ответ​

MongoDB предоставляет официальные драйверы для всех популярных языков:

  • Node.js: mongodb
  • Python: pymongo
  • Java: MongoDB Java Driver
  • C#: MongoDB.Driver
  • Go: go.mongodb.org/mongo-driver

Все драйверы поддерживают транзакции, агрегации и управление сессиями.

Вопрос​

Как использовать DynamoDB с AWS Lambda?

Ответ​

DynamoDB интегрируется с Lambda через IAM-роли и SDK (например, boto3 в Python). Lambda может читать и писать данные без управления инфраструктурой.

Пример на Python:

import boto3
dynamodb = boto3.resource('dynamodb')
table = dynamodb.Table('users')
table.put_item(Item={'id': '123', 'name': 'Alice'})

Вопрос​

Какие инструменты мониторинга подходят для Cassandra?

Ответ​

Популярные инструменты:

  • Prometheus + Grafana с Cassandra Exporter;
  • DataStax OpsCenter (для Enterprise);
  • Instaclustr Monitoring, Netdata, Datadog;
  • Встроенные метрики через JMX.

Вопрос​

Как управлять конфигурацией Cassandra в production?

Ответ​

Конфигурация управляется через файлы (cassandra.yaml, cassandra-env.sh) и автоматизируется с помощью Ansible, Chef, Puppet или Terraform. Для Kubernetes — через ConfigMap и StatefulSet.

Вопрос​

Какие ETL-инструменты работают с NoSQL?

Ответ​

С NoSQL-базами работают:

  • Apache NiFi — визуальный конструктор потоков данных;
  • Talend, Informatica — enterprise-решения с коннекторами;
  • Logstash — для перенаправления логов в Elasticsearch или MongoDB;
  • Airbyte, Fivetran — современные open-source/cloud ETL.

Вопрос​

Как подключить MongoDB к Grafana?

Ответ​

Используется плагин MongoDB Data Source или промежуточный слой вроде Prometheus Exporter for MongoDB. Также можно использовать MongoDB Atlas, который предоставляет встроенные метрики для Grafana через CloudWatch или Datadog.

Вопрос​

Какие средства отладки запросов есть в Neo4j?

Ответ​

Neo4j Browser показывает план выполнения запроса при добавлении EXPLAIN или PROFILE. Это позволяет анализировать количество просмотренных узлов, использование индексов и производительность обхода.

Пример:

PROFILE MATCH (u:User)-[:FRIEND]->(f) RETURN f.name

Вопрос​

Как использовать Redis Streams для обработки событий?

Ответ​

Redis Streams позволяют публиковать события и потреблять их группами потребителей. Команды: XADD для записи, XREAD или XREADGROUP для чтения.

Пример:

XADD events * type "order" data "123"
XREADGROUP GROUP mygroup consumer1 COUNT 1 STREAMS events >

Вопрос​

Какие фреймворки поддерживают работу с несколькими NoSQL-базами?

Ответ​

Некоторые фреймворки предоставляют абстракции:

  • Spring Data (Java) — поддерживает MongoDB, Cassandra, Redis, Elasticsearch;
  • Micronaut, Quarkus — аналогично;
  • TypeORM (TypeScript) — частично поддерживает MongoDB;
  • Hibernate OGM — устаревший проект для NoSQL поверх JPA.

Вопрос​

Как организовать CI/CD для приложений с NoSQL?

Ответ​

В CI/CD-пайплайне запускаются:

  • unit- и интеграционные тесты с использованием контейнеров (Docker Compose с MongoDB/Cassandra/Redis);
  • проверка миграций схемы (если применимо);
  • нагрузочное тестирование через k6, Gatling или YCSB;
  • деплой конфигурации через Infrastructure-as-Code (Terraform, Helm).

Вопрос​

Что такое YCSB и зачем он нужен?

Ответ​

YCSB (Yahoo! Cloud Serving Benchmark) — это инструмент для сравнения производительности NoSQL-систем. Он эмулирует рабочие нагрузки (например, 50% чтения / 50% записи) и измеряет latency и throughput.

Тестирование, отладка и диагностика в NoSQL​

Вопрос​

Как писать unit-тесты для кода, работающего с MongoDB?

Ответ​

Рекомендуется использовать in-memory базу или контейнеризованную MongoDB в тестах. Библиотеки вроде mongodb-memory-server (Node.js) или flapdoodle.embed.mongo (Java) позволяют запускать изолированный экземпляр MongoDB на время теста.

Вопрос​

Можно ли эмулировать DynamoDB локально?

Ответ​

Да, AWS предоставляет DynamoDB Local — JAR-файл, который имитирует API DynamoDB на localhost. Он поддерживает все основные операции и используется для разработки и тестирования без подключения к облаку.

Вопрос​

Как отладить медленный запрос в MongoDB?

Ответ​

Используется метод .explain("executionStats"), который показывает:

  • использовался ли индекс (IXSCAN);
  • сколько документов просмотрено (totalDocsExamined);
  • сколько документов возвращено (nReturned);
  • время выполнения (executionTimeMillis).

Вопрос​

Как диагностировать высокую задержку в Cassandra?

Ответ​

Анализируются:

  • метрики latency через nodetool tablestats;
  • состояние thread pools (nodetool tpstats);
  • наличие большого compaction backlog;
  • количество tombstones на запрос;
  • логи на предмет таймаутов или ошибок.

Вопрос​

Как проверить, что репликация работает в MongoDB?

Ответ​

Выполняется команда rs.status() в оболочке mongo. Она показывает состояние каждого узла replica set: health, state (PRIMARY/SECONDARY), optime и отставание (lag).

Вопрос​

Как протестировать отказоустойчивость кластера Redis?

Ответ​

Можно остановить master-узел вручную или через chaos-инжиниринг (например, с помощью Chaos Monkey). Система должна автоматически перевести один из replica в роль master (при использовании Sentinel или Cluster mode).

Вопрос​

Как отловить ошибку «горячей партиции» в Cassandra?

Ответ​

Признаки:

  • неравномерная нагрузка на узлы (один узел потребляет значительно больше CPU/disk);
  • высокая latency только на определённых partition key;
  • ошибки TimeoutException при записи в одну партицию.
    Диагностика через nodetool cfstats и мониторинг размера партиций.

Вопрос​

Как проверить целостность данных после сбоя в Cassandra?

Ответ​

Выполняется команда nodetool repair для синхронизации реплик. Также можно использовать nodetool verify для проверки контрольных сумм SSTable без восстановления.

Вопрос​

Как отладить проблему с TTL в Redis?

Ответ​

Используется команда TTL <key>, которая возвращает оставшееся время жизни ключа в секундах. Если ключ не исчезает, проверяется, был ли установлен TTL (PERSIST снимает его) и не перезаписывается ли ключ без TTL.

Вопрос​

Как протестировать производительность NoSQL-базы перед запуском в production?

Ответ​

Используются инструменты:

  • YCSB — для стандартных рабочих нагрузок;
  • k6, Gatling, JMeter — для пользовательских сценариев;
  • fio — для тестирования дисковой подсистемы;
  • wrk — для HTTP-интерфейсов (например, REST поверх MongoDB).

Вопрос​

Как отследить утечку памяти в приложении, использующем Redis?

Ответ​

Анализируется:

  • рост числа ключей через INFO keyspace;
  • использование памяти через INFO memory;
  • клиентские соединения через CLIENT LIST;
  • наличие «забытых» ключей без TTL.
    Также проверяется, не сохраняются ли ссылки на объекты в пуле подключений.

Вопрос​

Как проверить, что индекс в MongoDB действительно используется?

Ответ​

В выводе .explain() поле winningPlan.inputStage.stage должно содержать "IXSCAN". Если указано "COLLSCAN", индекс не используется.

Вопрос​

Как диагностировать split-brain в кластере Cassandra?

Ответ​

Split-brain маловероятен благодаря gossip protocol и отсутствию master-узла, но при сетевых проблемах могут возникнуть несогласованные версии данных. Диагностика — через сравнение данных на разных узлах и анализ логов на предмет конфликтов временных меток.

Вопрос​

Как отладить транзакцию в MongoDB, которая не фиксируется?

Ответ​

Проверяется:

  • не превышено ли ограничение в 60 секунд на транзакцию;
  • не произошла ли ошибка в одной из операций (транзакция не откатывается автоматически — нужно вызывать abortTransaction);
  • используется ли сессия во всех операциях внутри транзакции.

Вопрос​

Как проверить, что данные записаны на диск в Redis?

Ответ​

Если включён RDB, проверяется наличие файла dump.rdb и его время изменения. Если используется AOF — проверяется файл appendonly.aof и параметр appendfsync. Команда LASTSAVE возвращает время последнего успешного снапшота.

Будущее, тренды и продвинутые темы в NoSQL​

Вопрос​

Что такое multi-model database и как она связана с NoSQL?

Ответ​

Multi-model database поддерживает несколько моделей данных (документную, графовую, ключ-значение) в одной системе. Примеры: ArangoDB, Microsoft Azure Cosmos DB, Oracle NoSQL. Такие системы упрощают архитектуру приложений, избегая необходимости использовать несколько отдельных баз.

Вопрос​

Как NoSQL-системы адаптируются к требованиям GDPR и других регуляторных норм?

Ответ​

Современные NoSQL-системы внедряют функции:

  • шифрования at rest и in transit;
  • управления доступом на уровне полей;
  • аудита операций;
  • механизма «права на забвение» через сквозное удаление по идентификатору.
    Например, MongoDB предлагает Field Level Encryption, а DynamoDB — fine-grained IAM policies.

Вопрос​

Что такое serverless NoSQL и какие преимущества он даёт?

Ответ​

Serverless NoSQL — это полностью управляемые базы данных, автоматически масштабирующиеся под нагрузку и оплачиваемые по факту использования. Примеры: Amazon DynamoDB (on-demand), Firebase Firestore, Azure Cosmos DB (serverless mode). Преимущества — отсутствие управления инфраструктурой, мгновенное масштабирование и экономия при неравномерной нагрузке.

Вопрос​

Как искусственный интеллект влияет на развитие NoSQL?

Ответ​

AI и машинное обучение стимулируют спрос на гибкие, высокопроизводительные хранилища для неструктурированных данных (векторов, логов, событий). В ответ NoSQL-системы добавляют поддержку векторных индексов (MongoDB Atlas Vector Search, RedisVL), встроенные функции агрегации и интеграцию с ML-платформами.

Вопрос​

Какие вызовы стоят перед NoSQL в ближайшие годы?

Ответ​

Ключевые вызовы:

  • обеспечение строгой согласованности без потери производительности;
  • унификация языков запросов (например, GQL для графов);
  • энергоэффективность при горизонтальном масштабировании;
  • безопасность в условиях роста киберугроз;
  • поддержка гибридных и edge-сценариев с локальным хранением и синхронизацией.
Освоение главы0%