Чем больше таблица в БД, тем медленнее будет работать запрос к ней.
Обычно запрос идет по индексируемым полям, имеющим численное значение.
В случае запроса по текстовому неиндексированному полю, он может занимать длительное время.
Для это к полю, по которому медленно работает поиск необходимо добавить индекс.