Название кастаньеты происходит от испанского castañuelas - маленькие каштаны, так как первые кастаньеты часто изготавливались из древесины каштана, либо из-за внешнего сходства отдельной кастаньеты с двумя половинчатыми орехами каштана. В Андалусии их также называют palillos — палочки.

В Древней Греции использовались подобные кастаньетам кроталы. В Испании кастаньеты появились во времена арабского завоевания Пиренейского полуострова (в VIII веке или позднее). В Центральной Европе они появились в конце XVI-го. В Средней Азии известны узбекские и таджикские каменные кастаньеты кайрак.

Традиционные кастаньеты состоят из малой (называемой эмбра, исп. hembra - женщина) и большой кастаньеты (мачо, macho - мужчина). На малой, удерживаемой в правой руке, отбивается основная часть ритма, на большой - его опорные точки. Они используются танцорами (мужчинами и женщинами) во время исполнения испанских танцев (хота, качуча, танцы стиля фламенко). При сопровождении песен на них исполняют только отыгрыш (ритурнель) во время перерыва партии голоса.

Изготавливаются из твёрдых пород древесины, из пластмассы, стеклопластика (фибергласса, фибры). Некоторые исторические виды кастаньет изготавливались из слоновой кости или рога.

Оркестровые кастаньеты имеют рукоятки, держа за которые ими ударяют по какому-либо мягкому плотному предмету (об колено или специальное приспособление). Также в оркестре могут использоваться кастаньеты на подставке (кастаньет-машина), по которым ударяют руками или кастаньетами на ручке.