تنظيف بيانات CSV

طريقة تنظيف ملف CSV

1. افتح ملف ⁦.csv⁩ أو ⁦.tsv⁩ أو ⁦.txt⁩، أو أفلته على الأداة، أو الصق الصفوف. يُكتشف المحدِّد وعلامة ترتيب البايت لـ⁦UTF-8⁩ أو ⁦UTF-16⁩؛ ولاختيار محدِّد آخر أو ترميز قديم توجد إعدادات الاستيراد.
2. تحت القيم اختر إصلاحات الخلايا. ويقصرها التطبيق على الأعمدة على أعمدة بعينها؛ وإن لم يُحدَّد أي عمود فهي تشمل كل الأعمدة.
3. تحت الصفوف والأعمدة اختر طريقة التعامل مع الصفوف الفارغة والتكرارات والأعمدة الفارغة.
4. راجع الملاحظة فوق النتيجة وقارنها بعلامة التبويب المدخلات، ثم اختر تنزيل CSV أو نسخ أو فتح في المحرر.

بعد تنظيف البيانات يمكن فحصها وفق قواعد الأعمدة بأداة التحقق من CSV، أو تغيير المحدِّد وعلامات الاقتباس بأداة تنسيق CSV.

ما تفعله كل خطوة، بترتيب تنفيذها

تمر كل قيمة على الخطوات المفعّلة بهذا الترتيب الثابت، فتكون النتيجة واحدة مهما كان ترتيب النقر على الخيارات.

بعد القيم تأتي الصفوف والأعمدة: يحذف إزالة الصفوف الفارغة الصفوف التي كل خلاياها فارغة أو لا تحتوي إلا مسافات؛ وتقارن التكرارات القيم بعد تنظيفها؛ ويُنفَّذ إزالة الأعمدة الفارغة تمامًا في الأخير. ويشمل حذف الصفوف والأعمدة كل الأعمدة دائمًا، أيًا كان إعداد التطبيق على الأعمدة.

إزالة الصفوف المكررة

• الخيار الافتراضي هو إزالة الصفوف المتطابقة في كل الأعمدة. ويجب أن تتطابق القيم تمامًا بعد خطوات الخلايا السابقة.
• مع إزالة الصفوف ذات القيم نفسها في أعمدة مختارة تُعدّ الصفوف مكررة إذا تطابقت أعمدة المفتاح المختارة، مثل email، أو first_name + last_name + zip. ويمكن أن تختلف الأعمدة الأخرى.
• يحدد الإبقاء على النسخة التي تبقى: أول ظهور، أو آخر ظهور التي تبقى في موضع ذلك الصف الأخير.
• يجعل تجاهل حالة الأحرف والمسافات المحيطة عند المقارنة القيمتين ⁦ANA@example.com⁩ و⁦ ana@example.com⁩ مفتاحًا واحدًا. ولا يغيّر هذا الخيار نص الصف الذي يبقى.
• لإيقاف إزالة التكرار اختر إبقاء كل الصفوف.

قبل إزالة التكرار حسب مفتاح، يمكن الفرز بأداة فرز CSV إذا أردت أن يأتي صف بعينه أولًا، كالأحدث مثلًا.

ما لا يتغير أبدًا

• يبقى صف العناوين كما هو، ولا يتغير ترتيب الأعمدة إلا عند حذف الأعمدة الفارغة. وإذا كانت كل الأعمدة فارغة فلا يُحذف أي منها.
• لا تُحوَّل القيم: تبقى ⁦00731⁩ و⁦1e5⁩ و⁦03/04/2024⁩ نصًا كما كُتبت تمامًا، باستثناء الخطوات التي فعّلتها.
• المحدِّدات وفواصل الأسطر داخل القيم بين علامات اقتباس تُقرأ وفق RFC 4180 وتُكتب من جديد بين علامات اقتباس، ما لم تُستبدل فواصل الأسطر.
• يُكتب العنوان الفارغ بصيغة ⁦Column 3⁩، والعنوان المكرر بصيغة ⁦name (2)⁩. والصفوف الأقصر من صف العناوين تُكمَّل بقيم فارغة.
• يحتفظ الملف المنزَّل بمحدِّد الملف ونهايات أسطره وفاصل السطر الأخير، وبترميزه إذا كان ⁦UTF-8⁩ (مع علامة ترتيب البايت أو دونها) أو ⁦UTF-16 LE⁩ أو ⁦Windows-1252⁩؛ أما الترميزات الأخرى فتُحفظ بـ⁦UTF-8⁩.

حل المشكلات

• اختفت صفوف أردت الإبقاء عليها. إزالة التكرار مفعّلة افتراضيًا. اختر إبقاء كل الصفوف تحت التكرارات، أو أوقف إزالة الصفوف الفارغة.
• بقيت تكرارات تبدو متطابقة. تختلف في حالة الأحرف، أو المسافات داخل القيمة، أو علامات مكتوبة بطريقتين، أو أحرف غير مرئية. فعّل تجاهل حالة الأحرف والمسافات المحيطة عند المقارنة أو دمج المسافات المتكررة داخل القيم أو توحيد ترميز Unicode ‏(NFC) أو إزالة الأحرف غير المرئية.
• أفسد «أول حرف كبير» الأسماء أو الرموز. اقصره بخيار التطبيق على الأعمدة، على عمود الاسم وحده مثلًا، فتحتفظ عناوين البريد ورموز المنتجات بحالة أحرفها.
• لم تُفرَّغ القيمة n/a المكتوبة بأحرف صغيرة. القائمة حساسة لحالة الأحرف؛ أضِف ⁦n/a⁩ بجانب ⁦N/A⁩.

الحدود والخصوصية

الملفات حتى 25 ميغابايت و100 ألف صف و250 عمودًا ومليوني خلية. وللملف الأكبر، قسّمه أولًا بأداة تقسيم CSV؛ مع ملاحظة أن التكرارات لن تُكتشف حينها إلا داخل كل جزء.

يجري التنظيف في متصفحك، ولا يُرفع ملف CSV إلى أي خادم.

مثال

قائمة جهات اتصال نُظّفت بالخطوتين الافتراضيتين (إزالة المسافات وحذف الصفوف الفارغة)، مع دمج المسافات المتكررة داخل القيم، واعتبار هذه القيم فارغة مضبوطًا على ⁦N/A, NULL⁩، وإزالة التكرار حسب العمود email مع تجاهل حالة الأحرف والمسافات المحيطة عند المقارنة. تذكر الملاحظة 5 قيم معدّلة، وحذف صف فارغ واحد وصف مكرر واحد. يُحذف صف Ana الثاني لأنه مكرر، ويحتفظ الأول بتهجئته.

name,email,city
"  ana lopez ",ANA@example.com,Madrid
Ana Lopez,ana@example.com ,Madrid
Kim   Lee,kim@example.com,N/A
,,
Bao Nguyen,bao@example.com,NULL

name,email,city
ana lopez,ANA@example.com,Madrid
Kim Lee,kim@example.com,
Bao Nguyen,bao@example.com,