Знаки 3.21 и 3.31: в чём разница
Как запомнить
Перечёркнуты машины — кончился только запрет обгона. Одни косые полосы — кончилось всё сразу.
Что говорит приложение 1
Конец зоны запрещения обгона — описания сверх названия в Правилах нет.
Обозначение конца зоны действия одновременно нескольких знаков из следующих: 3.16, 3.20, 3.22, 3.24, 3.26 – 3.30.
Сравнение по пунктам
3.21: Сам ставится в конце зоны знака 
3.20 «Обгон запрещён» и снимает только этот запрет.
3.31: Снимает сразу знаки 
3.16, 3.20, 
3.22, 
3.24 и 
3.26 – 
3.30. Других запретов он не отменяет — например, знаков 
3.1, 
3.18.1, 
3.18.2 и 
3.19.
3.21: На жёлтом фоне знак временный. Если он расходится с постоянным знаком или разметкой, выполняют временный.
3.31: Правила об этом отдельно не говорят.
Подробно о том, докуда действуют знаки и чем они отменяются, — в разборе «Зона действия знаков».