Где грань между смирением и трусостью?

Средства должны всегда соответствовать цели. Не думаю, что драка в этом случае кого-то бы вразумила и наставила на путь истинный. Тем более, что права бить другого человека, у Вас по закону нет. Есть такой церковный документ Отношение Русской Православной Церкви к намеренному публичному богохульству и клевете в адрес Церкви. Там написано следующее:

В церковной традиции под богохульством понимается оскорбительное или непочтительное действие, слово или намерение в отношении Бога или святыни. О грехе богохульства упоминается в книгах Ветхого Завета (напр. Лев. 24, 15; Пс. 73, 18). О нем многократно говорится и в Новом Завете (напр. Мк. 7, 21–23; Ин. 10, 33; Откр. 13, 1). Святой апостол Павел говорит о богохульниках как о потерпевших кораблекрушение в вере (1Тим. 1, 19), понимая под богохульством не только оскорбление Бога или Его святого имени, но и всякое отпадение от веры.

Будучи выражением стремления оскорбить или подвергнуть поруганию Творца, богохульство является одним из самых тяжких нравственных преступлений. Открытое и последовательное противостояние Создателю делает человека неспособным к покаянию, искажает богоподобное устроение человеческой личности. В тесной связи с богохульством находятся такие грехи как святотатство, кощунство и осквернение святыни. <...>

Лица, которые богохульствуют и клевещут на Бога и Церковь, причиняют великий, иногда непоправимый, вред самим себе, обрекая свои души на вечную муку. Кроме того, они соблазняют людей, колеблющихся в вере, вовлекая их в богохульство, в согласие с клеветой и распространение клеветы и хулы.

Пытаются они всеять семена смущения и в душах немощных из числа православных христиан, иногда колебля их веру в Бога и в Церковь, а иногда вызывая излишне резкую непродуманную реакцию на оскорбление их религиозных чувств.

Именно по этим причинам членам Православной Церкви, клирикам и мирянам, следует разумно и эффективно отвечать разными способами на богохульство и клевету в адрес Церкви и ее священноначалия, чтобы немощных защитить от соблазна, а самих согрешающих постараться остановить на путях греха и по возможности привести к покаянию. <...>

Христиане не могут быть безразличными и оставлять без ответа публичные проявления непочтения к Богу, святыням, основам христианского вероучения и церковным обрядам.

Самым приемлемым и действенным способом противодействия богохульству людей, не принадлежащих к Церкви, является личный пример праведной и богобоязненной жизни самих христиан, «дабы заграждать уста противников» (1Тим. 6, 1; 1Пет. 3, 1–2; Рим. 2, 24).

Реакция на несознательное богохульство должна содержать понятное разъяснение того, какие слова и действия, и почему, являются богохульством. Этот ответ может быть как публичным, так и личным. Его цель – приведение человека к осознанию недопустимости высказываний, могущих повредить его душе и оскорбить чувства верующих.

Я думаю, что если человек в конкретной ситуации не готов прислушиваться к словесному вразумлению, достаточно ответить так, как Вы сказали. Это не трусость, а мудрость. Когда люди на эмоциях начинают ожесточенно спорить, ругаться и бить друг друга, то никакой духовной пользы и назидания, это не даст. У нас ведь цель - вразумить ближнего, если это возможно, а Бог не нуждается в Вашей защите.

Ответ на Ваш вопрос есть в словах апостола:

Итак, братия мои возлюбленные, всякий человек да будет скор на слышание, медлен на слова, медлен на гнев, ибо гнев человека не творит правды Божией. Посему, отложив всякую нечистоту и остаток злобы, в кротости примите насаждаемое слово, могущее спасти ваши души (Иак.1:19-21).

Конечно через гнев и злобу никого нельзя привести к вере в Вечную Любовь - Бога. Наоборот, выполнив заповедь Христову, простив обидчика, Вы почувствовали теплоту в сердце. Это чувство всегда приходит, когда исполняется воля Божия. Невидимый враг получил по зубам, но не отступил и стал Вас смущать через помыслы: «Надо было ему так ответить, чтобы мало не показалось!» Смущение - верный признак бесовских внушений.

Потому поступили Вы совершенно правильно. Только надо было ещё умом помолиться об этом человеке, чтобы Господь даровал ему покаяние и обращение от его злобы. Тогда бы враг не посмел бы на Вас наседать помыслами, а Господь может положил бы на сердце, что сказать спокойно и с уважением, если не с любовью.

Свт. Василий Великий учит о гневе:

Вопрос 29. Каким образом можно не приходить в гнев?

Ответ. Если всегда будешь в той мысли, что ты пред очами зрителя Бога и близ тебя сущего Господа. Ибо какой подданный в глазах государя отважится на что-нибудь ему неугодное? Также, если не будешь ожидать повиновения от других, но сам будешь готов к повиновению, почитая всех высшими себя. Ибо если кто требует повиновения для своей пользы; то пусть знает, что слово Господне учит, чтобы каждый услуживал другим. А если взыскивает за преслушание Господней заповеди, то потребны ему не гнев, а милосердие и сострадание, чтобы поступить подобно сказавшему: «Кто изнемогает, с кем бы и я не изнемогал?» (2Кор. 11, 29).

Итак, гнев всегда неуместен.

Даже при богохульстве в Вашем присутствии лучше взять небольшую паузу, помолчать и успокоиться, а потом кратко и по сути ответить. Нет нужды вступать в словесную перепалку, достаточно твердо высказать свое несогласие, пусть даже в нескольких словах. Вряд ли в таком споре Вы сможете кого-то переубедить, даже не надо к этому стремиться. Держите в памяти слова апостола:

Господа Бога святите в сердцах ваших; будьте всегда готовы всякому, требующему у вас отчета в вашем уповании, дать ответ с кротостью и благоговением (1Пет.3:15).

Вы поступили совершенно правильно. Истинная сила христианина — не в кулаках или громких спорах, а в мирном духе и уповании на Бога. Та теплота на сердце, которую Вы ощутили, — верный признак того, что в Вашем поступке была правда Божия. А последующие мысли о драке — это искушение от уязвлённого самолюбия, которое легко спутать с ревностью о вере.

Грань проходит в нашем внутреннем устроении. Трусость боится за себя: за свою репутацию, здоровье, комфорт. Её источник — самолюбие. Смирение же бесстрашно, потому что оно боится лишь одного — оскорбить Бога грехом (гневом, дракой, ненавистью). Оно любит заблудшего человека и доверяет защиту истины Самому Богу.

Апостол Петр призывает нас быть готовыми дать ответ о нашем уповании «с кротостью и благоговением» (1Пет.3:15). Вы именно так и поступили. Умение различать эти тонкие душевные движения приходит с опытом церковной жизни, через регулярное участие в Таинствах Покаяния и Причащения.

Этот «поток мыслей» не иначе, как бесовское искушение, которое пытается погубить ваше доброе дело, т.к. вы поступили совершенно правильно. Ап. Павел даёт ясные наставления:

никому не воздавайте злом за зло, но пекитесь о добром перед всеми человеками. Если возможно с вашей стороны, будьте в мире со всеми людьми. Не мстите за себя, возлюбленные, но дайте место гневу Божию. Ибо написано: Мне отмщение, Я воздам, говорит Господь. Итак, если враг твой голоден, накорми его; если жаждет, напой его: ибо, делая сие, ты соберешь ему на голову горящие уголья. Не будь побежден злом, но побеждай зло добром.

Рим.12:17-21