朱可夫，1896年12月2日出生于莫斯科西南卡卢加省斯特列尔科夫卡村一个贫苦的家庭里。他父亲康斯坦丁·安德烈耶维奇是个穷鞋匠，母亲乌斯金妮娅·阿尔捷米耶芙娜在一家农场干活。朱可夫在他自己的回忆录中写道：“全家只有一间房子，连我的父母也不知道这所房子是什么人在什么年间盖的。”朱可夫弟弟因没有奶吃而饿死了。朱可夫到了上学的年龄，就在邻村一所教会小学念了7年书，学习成绩优异。再继续求学，家里就再也供不起学费了，于是这个11岁的男孩，就被送到他的一个在莫斯科当皮货商的舅舅那里当了学徒。
1915年8月7日，19岁的朱可夫在马洛亚罗斯拉维茨应征入伍，被选进骑兵部队。9月，他随同这个团调到乌克兰，该团被编入著名的骑兵第10师。在战火纷飞的年代，该师连续不断地进行战斗。他已经获得了2枚乔治十字勋章，1枚是因为受伤得的，1枚是因为俘虏1名德国军官得的。
1917年，俄国在世界上第一个建立了社会主义国家。朱可夫所在的连队，连长和其他军官被布尔什维克的士兵委员会逮捕了，全连一致选举朱可夫担任士兵委员会主席。1918年2月，他决定参加赤卫队。8月，他志愿参加了莫斯科骑兵第1师骑兵第1团。稍后，他又到布琼尼的骑兵部队中服役，跟随布琼尼历尽沧桑。从此，他作为这支深受斯大林赞赏的精锐部队的一员，东征西伐。1920年7月，朱可夫晋升为军官，逐渐引起红军领导人的注意。后来，朱可夫相继得到布琼尼、伏罗希洛夫、伏龙芝、斯大林的赏识，并在他们的帮助下在军队中不断成长。