Компания основана в 1761 году Каспаром Фабером. Под руководством его потомка Иоганна Лотара Фабера в середине XIX века Faber активно развивалась, в частности, начала открывать филиалы в Нью-Йорке (1849), Лондоне (1851), Париже (1855) и других европейских городах. Современное название компания получила благодаря замужеству внучки Лотара Фабера с баварским графом Кастелем. В знак глубокой древности этого владетельного рода на гербе фирмы появились два рыцаря. Руководитель компании Антон Вольфганг фон Фабер-Кастелл.

Первые подделки продукции Фабера появились в Москве еще в 1856 году. Лотар фон Фабер обратился к немецкому правительству с требованием о защите бренда. Закон вступил в силу в 1875 году. Так Лотар фон Фабер стал родоначальником немецкого законодательства о защите товарных знаков.

С конца XIX века faber castell была известна как важный поставщик логарифмических линеек. В 1970-х годах, с появлением электронных калькуляторов, компания стала терять рыночную долю и решила занимать иные ниши, в частности, начала производство маркеров. В 1980-х сбыт Faber-Castell вновь оказался под угрозой в связи с массовым появлением систем автоматизированного проектирования (CAD), что подвигло компанию обратиться к рынку товаров для рисования.

Компания выпускает широкую гамму карандашей (включая косметические), ручек, иных канцелярских товаров, товаров для художников (карандаши, пастельные и акварельные краски, мелки и др.), а также пишущие инструменты и товары из кожи класса люкс. По состоянию на март 2012 года компании принадлежало 14 фабрик и 23 торговых предприятия. В Германии сейчас выпускается лишь наиболее дорогая продукция компании, основное производство сконцентрировано в Бразилии.