В 1964 году Газета «Вечерний Ленинград» опубликовала подборку возмущенных «писем читателей», требующих расправы над «тунеядцем Бродским».
18 февраля 1964 года состоялось первое слушание дела Бродского. Его судили по указу Президиума Верховного Совета РСФСР от 4 мая 1961 года «Об усилении борьбы с лицами, уклоняющимися от общественно полезного труда и ведущими антиобщественный паразитический образ жизни».
Судья: А вообще какая ваша специальность?
Бродский: Поэт. Поэт-переводчик.
Судья: А кто это признал, что вы поэт? Кто причислил вас к поэтам?
Бродский: Никто. (Без вызова.) А кто причислил меня к роду человеческому?
Судья: А вы учились этому?
Бродский: Чему?
Судья: Чтобы быть поэтом? Не пытались кончить вуз, где готовят… где учат…
Бродский: Я не думал, что это дается образованием.
Судья: А чем же?
Бродский: Я думаю, это… (растерянно) от Бога…
На самом же деле Бродский не был тунеядцем. Его адвокат З. Н. Топорова на суде приводила аргументы о том, что у Бродского есть свой заработок (у поэта были договора с издательствами, он получал деньги за переводы). Но судья Савельева (выполнявшая функции не только судьи, но и прокурора) отказывалась признавать Бродского литератором, а его творчество — полноценным трудом.
Суд также обвинил поэта в том, что его стихи «ущебные и упаднические».
После первого слушания суд направил Бродского на принудительную судебно-психиатрическую экспертизу. Так защита хотела добиться более мягкого наказания. Измученного поэта обследовали в Ленинградской психиатрической больнице №2 целых три недели. Сам он потом вспоминал, что его будили по ночам, погружали в ледяную ванну, заворачивали в мокрую простыню и помещали рядом с батареей. От жара батарей простыня высыхала и врезалась в тело. Это был самый тяжелый период в жизни поэта.
В конце концов экспертиза сделала заключение: «В наличии психопатические черты характера, но трудоспособен. Поэтому могут быть применены меры административного порядка».
13 марта 1964 года прошло второе заседание суда. Свидетелей защиты было трое: поэт Н. И. Грудинина, а также два известных переводчика, профессора-филолога — Е. Г. Эткинд и В. Г. Адмони. Они рассказывали, что сочинение и переводы стихов — нелёгкий труд, для которого требуется особый талант и профессионализм.
Обвинителем выступил представитель штаба народной дружины Дзержинского района Ф. Сорокин. Свидетелями обвинения были шестеро: член Союза писателей Е. В. Воеводин, завкафедрой Художественного училища им. Мухиной, преподаватель марксизма-ленинизма Р. Ромашова, начальник Дома обороны Н. Смирнов, завхоз Эрмитажа П. Логунов, рабочий-трубоукладчик УНР-20 П. Денисов и пенсионер Николаев. Они упрекали поэта за то, что он не служил в армии. Также заявляли, что он пишет антисоветские стихи и «отрывает молодёжь от труда, от мира и жизни».
Судья: Лучше, Бродский, объясните суду, почему вы в перерывах между работами не трудились?
Бродский: Я работал. Я писал стихи.
Судья: Но это не мешало вам трудиться.
Бродский: А я трудился. Я писал стихи.
Судья: Но ведь есть люди, которые работают на заводе и пишут стихи. Что вам мешало так поступать?
Бродский: Но ведь люди не похожи друг на друга. Даже цветом волос, выражением лица...
Судья: Это не ваше открытие. Это всем известно. А лучше объясните, как расценить ваше участие в нашем великом поступательном движении к коммунизму?
Бродский: Строительство коммунизма - это не только стояние у станка и пахота земли. Это и интеллигентный труд, который...
Судья: Оставьте высокие фразы! Лучше ответьте, как вы думаете строить свою трудовую деятельность на будущее.
Бродский: Я хотел писать стихи и переводить. Но если это противоречит каким-то общепринятым нормам, я поступлю на постоянную работу и всё равно буду писать стихи.
Заседатель Тяглый: У нас каждый человек трудится. Как же вы бездельничали столько времени?
Бродский: Вы не считаете трудом мой труд. Я писал стихи, я считаю это трудом.
В итоге Бродского приговорили к максимально возможному наказанию за «тунеядство» — пяти годам принудительного труда в отдалённой местности.
Анна Ахматова тогда сказала: «Какую биографию делают нашему рыжему! Как будто он кого-то нарочно нанял».