דניאל פרידקין · ראשי
חזרה לפרויקטים

פלטפורמת נתונים / ניטור

תפעול וניטור מסדי נתונים

תפעול MariaDB ב-Production בקנה מידה משמעותי ובניית כלי ניטור ייעודיים, כולל סוכן ב-Go המייצא מדדים ל-Prometheus ול-InfluxDB.

תפעול Production

זרימת מדדים

מהתנהגות מסד הנתונים למדדים תפעוליים

מסלול הניטור המותאם מייצא מדדי MariaDB באמצעות סוכן Go ל-Prometheus ול-InfluxDB. התאוששות ומיטוב שאילתות הם חלקים נוספים בהיקף הפרויקט.

  1. תצפית על מסד הנתונים

    התנהגות Production, נעילות וביצועי שאילתות.

    • MariaDB
  2. איסוף מדדים

    סוכן ייעודי לניטור מסד הנתונים.

    • Go
  3. יצוא נתוני ניטור

    יצוא מדדים לצורכי ניטור תפעולי.

    • Prometheus
    • InfluxDB

האתגר

מסדי נתונים ב-Production דורשים אבחון מהיר של תקלות, דפוסי התאוששות אמינים ומדדים החושפים סיכון תפעולי לפני שהוא הופך להשבתה.

הגישה

אבחון lock convoys, התאוששות מפגיעה ב-full-text search באמצעות החלפת טבלאות blue-green, מיטוב שאילתות, תכנון שדרוגים ובניית סוכן ניטור ב-Go עם יצוא ל-Prometheus ול-InfluxDB.

התפקיד שלי

טיפול בתקלות מסדי נתונים ב-Production, תכנון התאוששות, מיטוב שאילתות ומימוש ניטור ייעודי.

החלטות הנדסיות

התאוששות כתהליך מתוכנן

שימוש בדפוסי החלפת טבלאות blue-green בהתאוששות מפגיעה ב-full-text search.

חשיפת התנהגות ייחודית למסד הנתונים

בניית סוכן Go עם יצוא ל-Prometheus ול-InfluxDB לתמיכה בניטור Production.

היקף העבודה

  • אבחון lock convoys ב-MariaDB ועבודת התאוששות ב-Production.
  • התאוששות מפגיעה ב-full-text search באמצעות החלפת טבלאות blue-green.
  • מיטוב שאילתות ותכנון שדרוגי גרסה ראשית.
  • סוכן ניטור ב-Go עם יצוא ל-Prometheus ול-InfluxDB.
הפרויקט הבאשירותי Backend וכלי אוטומציה פנימיים