Творчество Бродского становилось всё более популярным, но в основном по самиздату. В конце концов известность поэта приобрела скандальный характер. В 1963 году в газете «Вечерний Ленинград» был опубликован убийственный для Бродского фельетон «Окололитературный трутень», авторами которого были А. Ионин, Я. Лернер, М. Медведев. Бродский был назван «самоуверенным юнцом», имевшим на счету «десяток-другой стихотворений... Эти стихотворения свидетельствовали о том, что мировоззрение их автора явно ущербно. “Кладбище”, “Умру, умру...” — по одним лишь этим названиям можно судить о своеобразном уклоне в творчестве Бродского. Он подражал поэтам, проповедовавшим пессимизм и неверие в человека, его стихи представляют смесь декадентщины, модернизма и самой обыкновенной тарабарщины...». Критики пришли к выводу: «Очевидно, надо перестать нянчиться с окололитературным тунеядцем. Такому, как Бродский, не место в Ленинграде». С этого фельетона и начались злоключения в жизни поэта.
В феврале 1964 года Бродского арестовали. Решением суда он был приговорён к пяти годам принудительных работ на Севере за «тунеядство». В речи общественного обвинителя говорилось: «Наш великий народ строит коммунизм. Процветает только то общество, где нет безделья... Бродского надо заставить трудиться насильно». Поэт был сослан в деревню Норенская Архангельской области.
Александр Иванович Бродский, пытаясь помочь сыну, обращался с письмами к прокурору Ленинграда, к первому секретарю Ленинградского обкома КПСС, председателю президиума Верховного суда РСФСР, доказывая, что решение суда незаконно.
В то же время на Западе были опубликованы записи судебных заседаний, сделанные Ф. Вигдоровой. Эти записи вызвали широкий резонанс в среде деятелей европейской культуры. Среди возмущённых явным нарушением гражданских прав был французский писатель Ж.П. Сартр, обратившийся с письмом к руководству Советского Союза. Весной 1964 года в защиту Бродского к исполняющему обязанности Генеральною прокурора СССР обратились представители творческой интеллигенции страны, среди которых были А. Ахматова, К. Чуковский, К. Паустовский и др.
В 1965 году поэту разрешили вернуться в Ленинград. По рекомендации К. Чуковского его приняли на работу в профсоюзную группу при Ленинградском отделении Союза писателей СССР.