منذ فترة وجيزة، نظامي ضرب نقطة كسر.
لم يكن حادثاً، بل كانت مشكلة ثقة لقد شاهدت مجموعة بيانات العميل تتناول، وبدلاً من بنية نظيفة، ظهرت نفس المنظمة ثلاث مرات في الرسم البياني للمعرفة لأن البيانات المصدرية استخدمت ثلاثة اتفاقيات تسمية مختلفة: McKinsey & Company، McKinsey و Company، و Mckinsey. بالنسبة للبشر، فإنه هو بوضوح كيان واحد. على الرسم البياني، كان هناك ثلاث عقدات منفصلة مع ثلاث مجموعات منفصلة من العلاقات. ثلاثة نسخ متوازية من نفس الحقيقة.
كانت تلك اللحظة التي توقفت عن التفكير في البيانات كشيء تقوم بتخزينها ببساطة وبدأت في التفكير بها كشيء تقوم بتعميرها.
كل شيء أكثر ميسي من النظام يفترض
إليك ما لا أحد يستعدك إليه عندما تقوم ببناء أنظمة معالجة البيانات التي يولدها الإنسان: البشر غير متسقة للغاية. وأنا لا أقصد ذلك بطريقة ساحرة، أعني ذلك بطريقة تحطم كل افتراضات تقوم به مخططك.
شخص واحد يكتب Python. شخص آخر يكتب Python لغة البرمجة. شخص ثالث يكتب python بحرف صغير. بالنسبة للمقارنة السطحية البديلة، هذه أربعة كيانات مختلفة تماما. أربعة عقدات. أربعة كذبات في الرسم البياني الخاص بك.
لم أكن مصمماً لحل هذه المشكلة، أردت فقط بناء خط أنابيب بيانات نظيف. لكن عندما تتناول خط الأنابيب البيانات البشرية، هذه الفوضى هي المشكلة. كل شيء آخر هو أسفل التيار.
الهيئرية المرئية كبروتوكول هندسي
قبل أن أبحث عميقاً عن الهندسة المعمارية التقنية، دعوني أوضح قضية لشيء لا يتحدث فيه المهندسون بما فيه الكفاية: ** كيف تبدو المعلومات مهمة بقدر ما ما تحتوي عليها.**
عندما تنظر إلى تقرير أو لوحة تحكم بنية جيدة، فإن دماغك يبنى نموذج عقلي في أقل من ثلاث ثواني. تعرف بشكل غريزي أين تعيش البيانات الرئيسية والأهمية النسبية لكل قسم. هذا ليس تصميم إنه بروتوكول اتصال البيانات
الطريقة التي تقدم بها البيانات تشكل القرارات التي يتخذها الناس منها. عندما أقوم ببناء نظام لتهيئة المعلومات، لا أستطيع التفكير فقط في صحة النظام. يجب أن أفكر في الوزن الفكري كيف أرمز هذه الأولويات إلى بنية بيانات يمكن أن تتصرف بها محرك التسجيل في الواقع؟
** الرسوم البيانية المعرفة: العلاقات هي البيانات**
جدول قاعدة البيانات يحتفظ بالحقائق رسومات المعرفة تخزين المعنى
في الرسم البياني الخاص بي، كل قطعة من المعلومات هي عقدة، ولكن الذكاء الحقيقي يعيش في ** حواف**:
- HAS_ATTRIBUTE: يربط الكيان بخصائصه المحددة والسياقية.
- BELONGS_TO: يربط سجل مع منظمته الأم، التي لديها خصائصها وعلاقاتها الخاصة.
- REQUIRES: يربط المشروع أو السجل بالتكنولوجيات أو المهارات المحددة المعنية.
عندما يتم ربط البيانات بهذه الطريقة، فهي ليست مجرد قائمة؛ إنها قصة. يظهر بشكل طبيعي من الهيكل لا يجب أن أكتب رمز خاص العلاقات هي القصة
** كثافة البيانات: القيود هي الميزة**
أنا مهووسة بـ "كثافة البيانات" المعلومات ذات المعنى لكل وحدة من المساحة البصرية. وثيقة كثيفة ليست مكتظة، بل حيث كل عنصر يحصل على موقعه. في نظامي، يتم فرض الكثافة من خلال قيود هيكلية صارمة:
- عناصر_في_كل_فئة: 5: لا تقوم بتحديد 47 سمة. تقوم بتحديد الخمس الأساسية. يفرض القيود الترتيب حسب الأهمية.
- خلاصة أقصى جمل: 2 جملتين. هذا كل شيء قل ما هو و لماذا يهم كل شيء آخر هو الضجيج.
- عبارات محظورة: كتبت منطق التحقق الفعلي الذي يرفض الكلمات الفارغة مثل أفضل في الفصل أو *إضفاء الطاقة.
** كومة المعايير: التبني لا أحد يرى**
لحل مشكلة McKinsey، بنيت كومة من أربع طبقات لضمان سلامة البيانات:
- التطبيع: تنظيف الأسماء عند الإبتلاع وإزالة الإستثناءات اللفظية.
- إزالة التكرار الغامض: باستخدام عتبة تشابه 0.82 - عالية بما يكفي للقبض على „Docker حاوية“ و „Docker،“ ولكن منخفضة بما يكفي لفصل „Go“ و „Git“.
- ** معرفات تحديد:** كل عقد يحصل على ID مشتقة من محتوياتها (على سبيل المثال ، attr_python). معالجة نفس المدخل الفوضوي مرتين، الحصول على نفس الرسم البياني نظيف مرة واحدة.
- ** محرك الطفرات:** نظام إرسال يدير التحديثات والتصحيحات دون فقدان مصدر البيانات.
** ما تعلمته من الفشل**
هذا النظام فشل بطرق علمتني أكثر من النجاحات. دمجت مرة واحدة التعلم الآلي و التشغيل الآلي لأنّهما شاركتا درجة مماثلة عالية. هذا الفشل علمني الفجوة الضخمة بين "المصالحة بناءً على الهيكل" و "المعقولة من الناحية النسوية".
تعلمت أيضاً أن أتعامل مع الاستخراج الآلي كإدخال غير موثوق به. الآن أستخدم مرشحات نمط الضوضاء للتأكد من أن النظام لا يلمع السجلات التي تبدو معقولة ولكن لا توجد.
المستوى التالي
بنية المعلومات هي بنية الثقة. عندما يتم تطبيع البيانات وتربطها بشكل معنوي، يثق الناس بالخروج. عندما تكون مليئة بالأيتام والنسخ المزدوجة، المادة لا تهم.
المهمة ليست فقط كتابة الرموز، بل تحويل الفوضى إلى شيء قابل للتسائل. إذا كنت تريد تحويل الضجيج إلى معرفة، فأنت لا تحتاج فقط إلى التخزين. تحتاج إلى الهندسة المعمارية