孔子的弟子子游被任命为武城的官员。尽管武城只是一座小城，但他并未因此而轻视，反而秉持孔子的教诲，向百姓推广礼乐，要求他们经常弹琴唱歌。
一日，孔子与弟子们路过武城，耳边回荡着弹琴唱歌的声音，他微笑着说：“割鸡焉用牛刀？”孔子认为，武城虽小，但礼乐为大道，用大道治理小城，犹如用宰牛之刀割鸡，没有什么必要。子游听后，向孔子提问：“我记得您曾说，统治者学习礼乐，可以更好地爱护百姓；百姓学习礼乐，可以更好地遵循规则。这难道不适用于武城吗？”孔子听后恍然大悟，转身对弟子们说：“言偃说得对。我刚才所说的‘割鸡焉用牛刀’只是在和他开玩笑而已。”
成语“割鸡焉用牛刀”便源于此，比喻办小事情用不着花大力气。该成语也被称作“杀鸡焉用牛刀”。