منذ فترة وجيزة، نظامي ضرب نقطة كسر.
لم يكن حادثاً، بل كانت مشكلة ثقة لقد شاهدت مجموعة بيانات العميل تتناول، وبدلاً من بنية نظيفة، أنشأ النظام فوضى من المكرر. ظهرت نفس المنظمة ثلاث مرات في الرسم البياني للمعرفة لأن بيانات المصدر استخدمت ثلاثة اتفاقيات تسمية مختلفة: McKinsey & Company، McKinsey و Company، و Mckinsey. بالنسبة للبشر، فإنهمن الواضح كيان واحد. على الرسم البياني، كان هناك ثلاث عقدات منفصلة مع ثلاث مجموعات منفصلة من العلاقات. ثلاثة نسخ متوازية من نفس الحقيقة
كانت تلك اللحظة التي توقفت عن التفكير في البيانات كشيء تقوم بتخزينها ببساطة وبدأت أفكر بها كشيء تقوم بتعميرها
كل شيء أكثر ميسي من المخطط يقتترح
إليك ما لا أحد يستعدك إليه عندما تقوم ببناء أنظمة معالجة البيانات التي يولدها البشر: البشر غير متسقة بشكل كبير. وأنا لا أقصد ذلك بطريقة ساحرة، بل بطريقة تحطم كل افتراضات تقوم به مخططك.
شخص واحد يكتب Python. شخص آخر يكتب Python لغة البرمجة. شخص ثالث يكتب python بأحرف صغيرة. بالنسبة لمقارنة سرية، هذه أربعة كيانات مختلفة تماما. أربعة عقدات. أربعة كذبات في الرسم البياني الخاص بك.
لم أكن مصمماً لحل هذه المشكلة، أردت فقط بناء خط أنابيب بيانات نظيفة. لكن عندما تتناول خط الأنابيب البيانات البشرية، هذه الفوضى هي المشكلة. كل شيء آخر هو أسفل التيار.
الهيئرية المرئية كبروتوكول هندسي
قبل أن أبحث عميقاً عن الهندسة المعمارية التقنية، دعوني أوضح أمرًا لا يتحدث فيه المهندسون بما فيه الكفاية: ** كيف تبدو المعلومات مهمة بقدر ما تحتوي عليها.**
عندما تنظر إلى تقرير أو لوحة أجهزة مرتبة بشكل جيد، فإن دماغك يبنى نموذج عقلي في أقل من ثلاث ثوانٍ. تعرفون غريزيًا أين تعيش البيانات الرئيسية والأهمية النسبية لكل قسم. هذا ليس تصميم إنه بروتوكول اتصال البيانات
الطريقة التي تقدم بها البيانات تشكل القرارات التي يتخذها الناس منها. عندما أقوم ببناء نظام لتهيئة المعلومات، لا أستطيع التفكير فقط في صحة النظام. يجب أن أفكر في الوزن الفكري كيف أرمز هذه الأولويات إلى بنية بيانات يمكن أن تتصرف محرك التسجيل عليها فعلاً؟
** الرسوم البيانية المعرفة: العلاقات هي البيانات**
جدول قاعدة البيانات يحتوي على الحقائق الرسم البياني المعرفة تخزين ** معنى **.
في الرسم البياني الخاص بي كل قطعة من المعلومات عقدة، ولكن الذكاء الفعلي يعيش في ** حواف**:
- HAS_ATTRIBUTE: يربط الكيان بخصائصه المحددة والسياقية.
- BELONGS_TO: يربط سجل مع منظمته الأم، والتي لديها خصائصها وعلاقاتها الخاصة.
- REQUIRES: يربط مشروع أو سجل بالتكنولوجيات أو المهارات المحددة المعنية.
عندما يتم ربط البيانات بهذه الطريقة، فإنها ليست مجرد قائمة؛ إنها قصة. يظهر بشكل طبيعي من الهيكل لا يجب علي كتابة رمز خاص العلاقات هي القصة
** كثافة البيانات: القيود هي الميزة**
أنا مهووسة بـ "كثافة البيانات" المعلومات ذات المعنى لكل وحدة من المساحة البصرية. وثيقة كثيفة ليست مكتظة، بل حيث كل عنصر يحصل على موقعه. في نظامي، يتم فرض الكثافة من خلال قيود هيكلية صارمة:
- عناصر_في_كل_فئة: 5: لا تسرد 47 سمة. تسرد الخمس التي تهم. يعمل الحد على إجبار الأولوية.
- الموجة: جملتان. هذا كل شيء قل ما هو و لماذا يهم كل شيء آخر هو الضوضاء.
- عبارات محظورة: كتبت منطق التحقق الفعلي الذي يرفض الكلمات الفارغة مثل أفضل في الفصل أو *إضفاء الطاقة.
** عجلة قياس: التوصيل لا أحد يرى**
لحل مشكلة McKinsey، بنيت كومة من أربعة طبقات لضمان سلامة البيانات:
- التطبيع: تنظيف الأسماء عند الإبتلاع وتخلص من الإستثناءات المفردة.
- إزالة التكرار الغامض: باستخدام عتبة تشابه 0.82 - عالية بما يكفي لالتقاط “Docker حاوية” و “Docker”، ولكن منخفضة بما يكفي للاحتفاظ بفصلهما بين “Go” و “Git”.
- معرفات تحديد: كل عقد يحصل على ID مشتقة من محتوياتها (على سبيل المثال ، attr_python). معالجة نفس المدخل الفوضوي مرتين، الحصول على نفس الرسم البياني نظيف مرة واحدة.
- ** محرك الطفرة:** نظام إرسال يدير التحديثات والتصحيحات دون فقدان مصدر البيانات.
** ما تعلمته من الفشل**
هذا النظام فشل بطرق علمتني أكثر من النجاحات. دمجت مرة واحدة التعلم الآلي و التشغيل الآلي لأنّهما شاركتا درجة مماثلة عالية. هذا الفشل علمني الفجوة الضخمة بين "المصالحة بناءً على الهيكل" و"المعنى من الناحية الزمنية".
تعلمت أيضاً أن أتعامل مع الاستخراج الآلي كإدخال غير موثوق به. الآن أستخدم مرشحات نمط الضوضاء للتأكد من أن النظام لا يــخـالـق سجلات تبدو معقولة ولكن لا توجد.
*المجموع
بنية المعلومات هي بنية الثقة. عندما يتم تطبيع البيانات وتربطها بشكل معنوي، يثق الناس بالخروج. عندما تكون مليئة بالأيتام والنسخة المزدوجة، المادة لا تهم.
المهمة ليست فقط كتابة الرموز، بل تحويل الفوضى إلى شيء قابل للتحقيق. إذا كنت تريد تحويل الضجيج إلى معرفة، فأنت لا تحتاج فقط إلى التخزين. تحتاج إلى الهندسة المعمارية