הפרקליטות הצבאית צמחה מתוך השירות המשפטי ב"הגנה". מאחר ש"ההגנה" הייתה מעין ארגון צבאי והיררכי, היא נזקקה לכללים ולמשמעת ולמערכת שתאכוף אותם. כך הוקם השירות המשפטי ב"הגנה". הוקמו בתי דין, ומונו תובעים וסנגורים. חברים אחדים בהגנה קיבלו מינוי קבוע לתובעים וכונו "תובעים כלליים". במקומות שונים חוברו תקנונים משפטיים שכללו, בין היתר, פירוט של בעלי תפקידים משפטיים (שופטים, תובעים וכדומה) ושל עבירות. לקראת קום המדינה חובר התקנון המשפטי של "ההגנה". כשקמה מדינת ישראל והוקם צה"ל, קם גם השירות המשפטי, בדומה ליתר חילות צה"ל: שירות המשוריינים, שירות התותחנים, שירות המודיעין, שירות ההנדסה, שירות הסעד ועוד. בראש השירות המשפטי עמד עו"ד אברהם גורלי, שהיה התובע הכללי הראשי של "ההגנה" והמשיך בתפקידו. השירות המשפטי כלל יחידות תביעה, סנגוריה, ייעוץ משפטי, פיקוח ועזרה משפטית לחייל. לצד השירות המשפטי הוקמה גם מערכת של בתי דין צבאיים, שבראשם בית הדין הצבאי העליון. בית הדין הצבאי העליון היה חלק מיחידה נפרדת, אולם, בתי הדין של הערכאה הראשונה היו חלק מן השירות המשפטי.

במהלך השנים עסקה הפרקליטות הצבאית בנושאים רבים ומגוונים, כגון פרשת טוביאנסקי ופרשת כפר קאסם. בפרשת כפר קאסם נדונה סוגיית הפקודה הבלתי חוקית בעליל, והיא בעלת חשיבות כללית במשפט הישראלי. במהלך מלחמת ששת הימים ולאחריה הייתה שעתה היפה ביותר של הפרקליטות הצבאית. בעקבות עבודת הכנה בשנים הקודמות בניצוחו של הפצ"ר דאז, אל"ם מאיר שמגר, הוכנו ערכות משפטיות לקציני הפרקליטות הצבאית, והועברו להם הדרכות במשפט הבינלאומי בעניינים הקשורים למעמד המשפטי של שטחים שנכבשים במלחמה. כשצה"ל כבש שטחים במלחמת ששת הימים, הגיעו קציני הפרקליטות הצבאית למקום מוכנים עם כל הצווים הנדרשים על פי כללי המשפט הבינלאומי. לאחר מלחמת ששת הימים הוקמו באזורים הכבושים בתי משפט צבאיים ויחידות ייעוץ משפטי ותביעה צבאית.

באינתיפאדה שהתחוללה מסוף שנות השמונים עד לתחילת שנות התשעים, נדרשה הפרקליטות הצבאית לסוגיות שונות, כגון הוראות הפתיחה באש והעמדה לדין של חיילים שנהגו שלא כיאות באוכלוסייה הפלסטינית. הפרקליטות הצבאית אף הייתה מעורבת במשא ומתן המדיני בין ישראל לשכנותיה ובין ישראל לפלסטינים.
במהלך השנים עסקה הפרקליטות הצבאית אף בסוגיית ההעמדה לדין של מפקדים עקב פגיעות בחיילים במהלך פעילות מבצעית או במהלך תאונות אימונים. בשנים האחרונות ניכרת עלייה במעורבות המערכת המשפטית בצבא. יחידות רבות מבקשות ייעוץ משפטי בסוגיות חדשות כל הזמן. באירועי "גאות ושפל" מעורבת הפרקליטות בצורה עמוקה מאוד בייעוץ משפטי בכל תחומי הלחימה והפעילות הצבאית ובהעמדה לדין של פלסטינים בגין עבירות ביטחוניות ושל חיילים בשל עבירות נגד האוכלוסייה הפלסטינית.

בשנת 1948 יצאו תקנות-שעת-חרום (חוקת השפוט התש"ח), התש"ח1948-, אשר נתנו תוקף לחוקת השפוט - מסמך שהסדיר את המוסדות המשפטיים בצבא וקבע עברות צבאיות שונות. מבחינה זו הייתה חוקת השפוט המשכו של התקנון המשפטי של "ההגנה". היא נוסחה על ידי עו"ד נחום חת, היועץ המשפטי של משרד הביטחון, ועל ידי עו"ד אהרן חטר ישי, שהיה עורך דין ידוע ביישוב בתקופת המנדט, הגן על אנשי "ההגנה" בבתי המשפט שהקימו הבריטים והיה קצין המנהלה של חטיבה 7 עם הקמת צה"ל. בחוקת השפוט נקבע כי הצבא יחולק למחוזות שיפוטיים, כלומר יחידות הצבא השונות יחולקו למחוזות לצורך המערכת המשפטית. בתחילה כל חטיבה וכל שירות נחשבו למחוז שיפוטי.

בראש המחוז השיפוטי עמד מפקד החטיבה או מפקד השירות, לפי המתאים, ולכל מחוז היה תובע צבאי של אותו מחוז, אשר עמד בראש המערכת המשפטית של המחוז השיפוטי. בנובמבר 1948 בוטלה חלוקת המחוזות השיפוטים לפי חטיבות, ובוצעה חלוקה לפי החזיתות השונות שהיו קיימות באותה עת - מלחמת העצמאות. למעשה, מדובר היה בחלוקה גיאוגרפית. כן נקבעו מחוזות שיפוטיים בחיל האוויר ובחיל הים. בצורה זו צומצם מספר המחוזות השיפוטים לשישה. בסוף שנת 1948 החליף חטר ישי את גורלי בתפקיד התובע הכללי הראשי. בשנת 1949 שונה שם התפקיד לפרקליט צבאי ראשי (פצ"ר). התובעים הצבאיים של המחוזות השיפוטיים כונו מאז פרקליטים צבאיים.