Слово "сержант" прийшло в російську мову з французької (sergent), а в мову французький - з латині (serviens). Перекладається як "службовець".
Перші сержанти з'явилися ще в XI столітті в Англії. Тільки тоді так називали не військових, а землевласників, які виконували для короля різноманітні доручення. У XII столітті сержантами в Англії також називали службовців, які виконували поліцейські функції.
Як військове звання "сержант" з'явився тільки в XV столітті, у французькій армії. Після це воно перейшло в німецьку і англійську армії, а в XVII столітті - в Російську. Звання було в ходу з 1716 по 1798 рік, коли Павло Перший замінив чини сержанта і старшого сержанта на унтер-офіцера і фельдфебеля відповідно.
У Червоній армії звання "сержант" з'явилося 2 листопада 1940 року. Особливість радянського сержантського складу полягала в тому, що сержантами ставали не кадрові військові, а військовослужбовці строкової служби, що, за задумом радянського військового керівництва, підвищує мобілізаційні якості армії. Такий підхід виправдав себе - в грудні 1979 року за 2 тижні була сформована велика угруповання військ для введення в Афганістан (50 тисяч солдатів, сержантів і офіцерів).
Зовсім відмінна система сержантів в армії США. За даними на 2010 рік, там сержанти складають близько 40% від загальної чисельності Збройних сил. З більш як 1 371 000 військовослужбовців армії США 547 тис. Представляють американські сержанти. З них: 241 500 - сержанти, 168 000 - штаб-сержанти, 100 000 - сержанти 1 класу 26 900 - майстер-сержанти, 10 600 - сержант-майори.
Сержант в армії США - перший після Бога для солдатів і друге лейтенантів. Сержанти їх навчають і беруть над ними шефство.
