איך נצליח להוזיל את עלויות הביג דאטה בארגון?

המגמה המרכזית ביותר בשוק כיום אולי היא התייעלות משמעותית וחיסכון בהוצאות, כל זאת מבלי לפגוע בליבה העסקית של הארגון. ארגונים מחפשים דרכים להתמודד עם נתונים ומידע רב, אבל לחסוך בעלויות הכרוכות בכך. "בתקופת הקורונה ובשנים שלפני כן הושקעו משאבים אדירים באיסוף דאטה ובחיזוק היכולת להפיק ממנו תובנות. עכשיו כולם מנסים להישאר עם ה-insight אבל להוריד דרמטית את העלות הנדרשת להפקה ולשמירה שלו", אומר איתמר סין-הרשקו, CTO ומייסד חברת BigData Boutique, חברת מומחים המספקת שירותי ייעוץ ופיתוח בעולמות הביג דאטה.

"בלא מעט חברות הדאטה הופך למוקד קבלת ההחלטות ולמה שמוביל את האסטרטגיה של החברה. התובנות שניתן להוציא מהדאטה, הן לא פעם קריטיות להתנהלות החברה, כשאפשר, לעתים, להבין מהן לאן הולך השוק ומהם המוצרים שכדאי לחברה לפתח. אבל ככל שהדאטה מצטבר והופך לביג דאטה, עולה המורכבות שבאחסון ובטיפול בו. צריך לדעת לאסוף אותו, לשמור אותו, ולשלם עליו מחיר שיבטיח ROI אופטימלי".

אחת הדרכים לעשות זאת הוא באמצעות השירות המוביל של החברה כיום - Data Platform Architects as a Service, שבמסגרתו עובדים מומחי החברה יד ביד עם הצוותים הרלוונטיים מטעם הלקוח, כדי להמליץ על שינויים ושיפורים בארכיטקטורת הדאטה הקיימת, כך שתעמוד ביעדים שהוגדרו על ידי הלקוח. "ההיכרות המעמיקה שלנו עם הטכנולוגיות הרלוונטיות, שגובשה אחרי עיסוק של אלפי שעות בפתרון בעיות בתחום והיכרות עם הקוד מתחת למכסה המנוע, מאפשרת לנו לסייע ללקוחותינו להגיע לארכיטקטורה יציבה ויעילה, שגם תחזיק בזמן אמת", אומר סין-הרשקו, ומציע, בנוסף, מספר טיפים שיכולים לסייע לארגונים לשפר עלויות בפלטפורמות דאטה גדולות:

שימוש נכון ויעיל בטכנולוגיות קיימות:

טכנולוגיות המשמשות היום כמעט כל ארגון עשיר בדאטה, מעסקים קטנים ועד הארגונים הגדולים ביותר, ובהן Kafka ,Spark Solr ו-Elasticsearch, דורשות ידע מעמיק לתפעול יעיל. כשהידע הזה לא קיים בארגון, לאורך הזמן וככל שהשימוש בהן גדל, נוצרות בעיות ביצועים שלרוב נפתרות על ידי הוספת עוד ועוד חומרה, או "זריקת כסף על הבעיה". לכן, המקום הראשון שבו שווה להשקיע הוא במומחה שיבדוק את השימוש בטכנולוגיות הללו. סביר להניח שהמומחה ימצא את המקומות שבהם ניתן לשפר ביצועים ולצמצם בחומרה, בהתאם לטכנולוגיה שבה נעזר הארגון.

הפעלה של Data Tiering:

לא כל הדאטה שווה בערכו. עבור דאטה "חם" ושאילתות החוזרות בתוך פחות משנייה, כדאי לעשות שימוש בטכנולוגיות "חמות" גם אם הן יקרות יחסית. במקביל, בנקודות אחרות, ניתן להתפשר בביצועי השאילתה ולהשיג חיסכון דרמטי בעלויות ללא פגיעה בביצועי המערכת. ארגונים רבים רצים מהר מדי קדימה כשהם טועים לחשוב שיש שמערכת אחת יכולה לתת מענה לכל הדרישות, מבלי לקחת בחשבון את הצרכים האמיתיים של החברה.  

תכנון וניצול האלסטיות של הענן:

בארגונים המשתמשים בשירותי ענן כמו AWS ו-GCP, ניתן לאחסן את המידע ברמות שונות של מחיר וזמינות, בעקבות תכנון שלוקח בחשבון את הצרכים של הלקוחות. ניתן גם לנצל את האלסטיות של הענן כך ששרתים שאינם נדרשים בזמנים מסוימים (בלילות או בסופי השבוע) פשוט יהיו כבויים.

הפרדה בין ה-Storage ל-Compute:

טכנולוגיות אחסון ואחזור מידע מודרניות לרוב מבצעות הפרדה בין שמירת הדאטה, לבין חישוב ותשאול על גבי הדאטה - להבדיל מבסיסי נתונים מסורתיים שלא מבצעים הפרדה כזו. הפרדה זו מסייעת בניצול המשאבים בארגון בצורה יעילה יותר, כיוון שכך ניתן לחסוך משמעותית בעלויות הענן או data center ולא לשלם על משאבי compute מיותרים.

צמצום שימוש בבסיסי נתונים שמחייבים לפי כמות:

באופן דומה, אחת הדרכים השכיחות להוזיל עלויות היא להפסיק או לצמצם שימוש בבסיסי נתונים שמחייבים לפי מספר ליבות או כמות דאטה. אלו בדרך כלל יהיו טכנולוגיות מסורתיות או מסדי נתונים כדוגמת Vertica ו-Teradata, שלהם, כאמור, קיימות חלופות מודרניות וזולות יותר. אין שום סיבה לשלם הרבה בגלל דאטה שנצרך לעתים רחוקות בלבד.

ארכיטקטורת דאטה יציבה ויעילה

מלבד ביצוע אופטימיזציה לשימוש בטכנולוגיה ספציפית, נדרש לעתים שינוי מהותי יותר. "אתגר ההתייעלות הנוכחי הוא אחד האתגרים הגדולים שפגשנו בשנים האחרונות", ממשיך סין-הרשקו, "המומחים שלנו מסייעים לחברות ישראליות ובינלאומיות הזקוקות לעזרה באופטימיזציה של טכנולוגיות ביג דאטה שנמצאות בשימוש נרחב כגון Elasticsearch ,Kafka ,Spark ,Presto Trino ,Flink. כך, בתהליכים קצרים יחסית וממוקדי טכנולוגיה, אנחנו מצליחים להוריד את העלויות ללקוחותינו באופן דרמטי. משם אנחנו לרוב גם ממשיכים לדיון הארכיטקטוני.

"בין לקוחותינו נמנים חברות מרשימת Fortune 100 בנוסף לבנקים, משרדי ממשלה וסטארטאפים בשלבים שונים, להם אנחנו מספקים שירותי יעוץ, וגם תמיכה למערכות דאטה קריטיות מסביב לשעון", מסכם סין-הרשקו.

‍

‍

_______________________________

טרנד חדש:  Data Mesh - פלטפורמה מרכזית לשאילתות

חברת BigData Boutique מובילה בארץ הטמעות של קונספט ה-Data Mesh, מתודולוגיה חדשה יחסית, לפיה במקום לרכז את כל הדאטה במחסן נתונים אחד גדול, מותירים אותו במקום בו הוא נמצא, ובמקביל מייצרים שכבת תשאול אחת מרכזית דרכה מתבצע התשאול. השכבה הזאת יודעת לגשת לכלל מאגרי הדאטה לשם איסוף וניתוח המידע, כמובן תוך אכיפת הרשאות, ולמעשה מאפשרת דמוקרטיזציה וקיטלוג של כל המידע בארגון.

"לא צריך יותר להעתיק את המידע ממקום למקום", מסביר סין-הרשקו. "אפשר לתשאל בזמן קצר ובאופן אפקטיבי, ולשלב בתשובות גם דאטה עדכני שמאוחסן מחוץ ל-Warehouse מרכזי. מצב כזה יוצר זרימת דאטה מהירה יותר, עלויות נמוכות יותר ומונע עיכובים הכרוכים בתהליכי ETL שגם ככה יקרים לפיתוח ותחזוקה.

"בקונספט זה, הגישה לדאטה ועלויות האחסון משמעותית זולות יותר. גם לצרכנים השונים שאותם הוא נועד לשמש מלכתחילה הדאטה הופך להיות נגיש יותר, דבר המגביר את היעילות בארגון, ומחזיר את ההשקעה במהרה".

‍

לפגישת ייעוץ ללא התחייבות: https://bigdataboutique.com/contact