أداة مجانية لاختبار البيانات ومراقبتها داخل المؤسسات Soda SQL

0 3

تعتمد الشركات بشكل متزايد على البيانات ، ولكن ماذا لو كانت هذه البيانات غير صحيحة ؟ ماذا لو ، على سبيل المثال ، كانت سلسلة فنادق تعتمد على الخوارزميات لحساب سعر غرف الفنادق بشكل صحيح ، لكن البيانات المتدفقة خاطئة ؟ بغض النظر عن مدى ذكاء هذه الخوارزمية ، فإن أسعار الفنادق ستكون غير دقيقة . كما اتضح ، هذه قصة حقيقية لسلسلة فنادق أوروبية ، والشركة التي تساعدهم في ضمان جودة البيانات هي شركة Soda .

أداة مجانية لاختبار البيانات ومراقبتها داخل المؤسسات Soda SQL

اتضح أن البيانات لا يجب أن تكون مختلفة جداً عن البرامج. في البرمجيات ، يستخدم المطورون اختبار الوحدة لضمان جودة الكود ؛ التناظرية للبيانات هو اختبار البيانات. وبالمثل ، في البرمجيات ، تم بناء صناعة ضخمة حول مراقبة التطبيقات (بما في ذلك إمكانية المراقبة). الآن هناك مراقبة البيانات.

- الإعلانات -

قال توم باينز ، الشريك المؤسس ورئيس قسم التكنولوجيا في Soda ، في مقابلة: “من المحتم أن تنكسر البيانات”. “لا يمكنك منع الأخطاء. الشيء الوحيد الذي يمكنك فعله هو البدء في متابعتها وأن تكون أول من يعرفها ، وهنا يأتي دور مراقبة البيانات واختبارها.”

اطلاق أداة Soda SQL مفتوحة المصدر لمراقبة واختبار البيانات في المؤسسات

9 فبراير 2021 / أعلنت شركة Soda اليوم عن إطلاق أداة Soda SQL لتوفير اختبار البيانات والمراقبة والتنميط لبيانات SQL التي يمكن الوصول إليها. Soda SQL هو الجزء الأول من استراتيجية Soda لتوفير أدوات إدارة بيانات مفتوحة المصدر متاحة مجاناً للمهندسين العاملين في بيئات كثيفة البيانات حيث تكون جودة البيانات ذات أهمية قصوى. يأتي الإطلاق بعد الأخبار التي تفيد بأن شركة Soda قد جمعت أكثر من 14 مليون يورو في تمويل المجموعة الأولى والبداية .

تعمل الشركات في مجال البيع بالتجزئة والخدمات الطبية الحيوية والخدمات المالية وغيرها من القطاعات سريعة الحركة على بناء المزيد والمزيد من المنتجات باستخدام البيانات كمدخل أساسي ، مما يعني أنه من المهم الآن اختبار ومراقبة جودة البيانات المستخدمة. تساعد Soda SQL مهندسي البيانات في تحديد المشكلات التي قد تؤثر على مجموعات البيانات الكبيرة ومستودعات البيانات ومراقبتها وحلها بسهولة ، وتزويدهم بوسائل لفحص الخطوط المغذية للبيانات ومراقبة البيانات من خلال سلسلة من الاختبارات القابلة للتكوين بالكامل والتي تفحص الخصائص المختلفة لمجموعة البيانات .

وسط المقالة

يوضح توم باينز ، الشريك المؤسس : ” تحاول كل شركة تقريباً أتمتة العمليات وإنشاء منتجات وخدمات بيانات جديدة ومبتكرة باستخدام البيانات ، ولكن التحدي الرئيسي للفرق عبر المؤسسة هو الحصول على بيانات موثوقة بما يكفي لتحقيق ذلك”. ورئيس قسم التكنولوجيا ، Soda. “من خلال توفير إمكانات اختبار بيانات SQL مفتوحة المصدر وقابلة للتكوين بدرجة عالية ، تتخذ شركة Soda الخطوة الأولى نحو تمكين مهندسي البيانات بالأدوات المناسبة لمواجهة هذه التحديات .”

تتيح خيارات التكوين داخل Soda SQL لمهندسي البيانات التحكم في الاختبارات التي تم تعيينها للكشف عن البيانات السيئة والمقاييس المستخدمة لتقييم النتائج. يستخدم Soda SQL طلبات SQL الفعالة لاستخراج مقاييس البيانات وملفات تعريف الأعمدة مع التحكم الكامل في الاستعلامات المقدمة من خلال ملفات تكوين YAML التعريفية. يتم إجراء الاختبارات التي تديرها Soda SQL عبر خط أنابيب البيانات وتطلق التنبيهات عند العثور على بيانات معيبة أو سيئة. يمكن عرض النتائج مباشرة واستخدامها للتعرف علي المشاكل ، وعزل البيانات السيئة وإرسال التحديثات إلى مراقبة بيانات Soda Enterprise. يتيح ذلك إمكانية دمج الاختبار الفردي بواسطة مهندسي البيانات مع استراتيجية اختبار البيانات على مستوى المؤسسة .

يوضح مارتن ماشيلين ، الرئيس التنفيذي لشركة Soda ، “في هندسة البرمجيات ، بدأنا الاختبار لاكتشاف الأخطاء قبل أكثر من 20 عاماً ولم ننظر إلى الوراء أبدًا” . “تشق مبادئ هندسة البرمجيات هذه طريقها الآن إلى عالم هندسة البيانات ، حيث لا يكون موضوع الاختبار رمزاً ، بل البيانات. من خلال توفير الأدوات للمستخدمين للعمل بشكل تعاوني مع فرق البيانات عبر الشركة ، تساعد Soda مهندسي البيانات على اكتشاف مشكلات جودة البيانات مبكراً وإشراك أعضاء فريق أوسع لضمان الحفاظ على الجودة والإبلاغ عنها. تعد Soda SQL خطوة أولى مهمة نحو أن تصبح منصة تعاون فعلية للمؤسسات لحل التحديات الناشئة عن منتجات البيانات . “

تحميل أداة مراقبة وأختبار البيانات Soda SQL

تعمل شركة Soda على تطوير مجموعة شاملة لاختبار ومراقبة البيانات مفتوحة المصدر والتي ستشمل أدوات المطور لإطارات البيانات وتدفق البيانات وتعمل عبر جميع أنظمة عمل البيانات الرئيسية والمحركات والبيئات بما في ذلك Kafka و Spark و AWS S3 و Azure Blob Storage و Google Cloud Datastore و Presto و Snowflake و Azure Synapse و Google BigQuery و AWS Redshift. يتم توفير Soda SQL كبرنامج مفتوح المصدر بموجب ترخيص Apache ويمكنك الحصول عليه من الرابط التالي مجانًا على Github . يتم تنفيذ المنتج إما على السحابة أو على الأنظمة المحلية لمهندسي البيانات .

حول Soda

Soda هي منصة مراقبة البيانات التي تحافظ على بياناتك مناسبة للغرض ، ويمكن التحقق منها وجديرة بالثقة. نكشف عن مشكلات البيانات ، وننبه الفرق المناسبة ، ونطلق عمليات سير عمل الحل لتحديد الأسباب التي تعيق جودة البيانات. تجمع مشاريع الاختبار مفتوحة المصدر ونظام المراقبة لدينا بين مهندسي البيانات والعمليات والأعمال لإنشاء بيانات موثوقة. تختار المؤسسات التي تعتمد على البيانات شركة Soda لإدراك قيمة بياناتها وتأمين جودتها.

اترك تعليق

يرجي التسجيل لترك تعليقك

شكرا للتعليق