চার্লস ব্যাবেজের জন্ম তারিখ এবং স্থান দীর্ঘ অনিশ্চিত ছিল, কিন্তু এখন দৃঢ়ভাবে প্রতিষ্ঠিত হয়েছে। তার জন্ম তারিখ 26 ডিসেম্বর, 1792 নির্ধারণ করা হয়েছে এবং এটি ইংল্যান্ডের টেইনমাউথের কাছে ঘটেছে বলে মনে হয়। ব্যাবেজের বাবা ছিলেন বেঞ্জামিন ব্যাবেজ, একজন ব্যাংকার এবং তার মা ছিলেন বেটসি প্লামলি ব্যাবেজ। ব্যাবেজ ছোটবেলায় খারাপ স্বাস্থ্যে ভুগছিলেন।

যেহেতু তার বাবা যথেষ্ট ধনী হয়েছিলেন, তাই তিনি বেসবেজের স্কুলে ব্যাবেজের শিক্ষা লাভের বিলাস বহন করতে পারতেন। আলফিংটনে স্কুলের পরে, তাকে মিডলসেক্সের অ্যানফিল্ডের ফোর্টি হিলের একাডেমিতে পাঠানো হয়েছিল, যেখানে তিনি তার পূর্ণ শিক্ষা শুরু করেছিলেন। তিনি গণিতের প্রতি অবারিত আবেগ এবং একই সাথে মানবিকতার প্রতি ঘৃণা প্রদর্শন করতে শুরু করেছিলেন। একাডেমি ছাড়ার পর, তিনি বাড়িতে পড়াশোনা চালিয়ে যান এবং অক্সফোর্ডের শিক্ষক তাকে বিশ্ববিদ্যালয়ের প্রস্তুতিতে নিয়ে আসার চেষ্টা করেন।