[sword-devel] Detecting duplicate verses in [beta] modules?

[David Haslam]

Is there a simple Sword tool that could be used to detect & locate issues of duplicate verse text clusters due to an upstream error?

Here's an example from the current iteration of the UrduGeo module in CrossWire Beta.

eg. Numbers 7 contains six clusters of verses each with identical verse text.

    Numbers 7:1: جس دن مقدِس مکمل ہوا اُسی دن موسیٰ نے اُسے مخصوص و مُقدّس کیا۔ اِس کے لئے اُس نے خیمے، اُس کے تمام سامان، قربان گاہ اور اُس کے تمام سامان پر تیل چھڑکا۔
    Numbers 7:2: پھر قبیلوں کے بارہ سردار مقدِس کے لئے ہدیئے لے کر آئے۔ یہ وہی راہنما تھے جنہوں نے مردم شماری کے وقت موسیٰ کی مدد کی تھی۔ اُنہوں نے چھت والی چھ بَیل گاڑیاں اور بارہ بَیل خیمے کے سامنے رب کو پیش کئے، دو دو سرداروں کی طرف سے ایک بَیل گاڑی اور ہر ایک سردار کی طرف سے ایک بَیل۔
    Numbers 7:3: پھر قبیلوں کے بارہ سردار مقدِس کے لئے ہدیئے لے کر آئے۔ یہ وہی راہنما تھے جنہوں نے مردم شماری کے وقت موسیٰ کی مدد کی تھی۔ اُنہوں نے چھت والی چھ بَیل گاڑیاں اور بارہ بَیل خیمے کے سامنے رب کو پیش کئے، دو دو سرداروں کی طرف سے ایک بَیل گاڑی اور ہر ایک سردار کی طرف سے ایک بَیل۔
    Numbers 7:4: رب نے موسیٰ سے کہا،
    Numbers 7:5: ”یہ تحفے قبول کر کے ملاقات کے خیمے کے کام کے لئے استعمال کر۔ اُنہیں لاویوں میں اُن کی خدمت کی ضرورت کے مطابق تقسیم کرنا۔“
    Numbers 7:6: چنانچہ موسیٰ نے بَیل گاڑیاں اور بَیل لاویوں کو دے دیئے۔
    Numbers 7:7: اُس نے دو بَیل گاڑیاں چار بَیلوں سمیت جَیرسونیوں کو
    Numbers 7:8: اور چار بَیل گاڑیاں آٹھ بَیلوں سمیت مِراریوں کو دیں۔ مِراری ہارون امام کے بیٹے اِتمر کے تحت خدمت کرتے تھے۔
    Numbers 7:9: لیکن موسیٰ نے قِہاتیوں کو نہ بَیل گاڑیاں اور نہ بَیل دیئے۔ وجہ یہ تھی کہ جو مُقدّس چیزیں اُن کے سپرد تھیں وہ اُن کو کندھوں پر اُٹھا کر لے جانی تھیں۔
    Numbers 7:10: بارہ سردار قربان گاہ کی مخصوصیت کے موقع پر بھی ہدیئے لے آئے۔ اُنہوں نے اپنے ہدیئے قربان گاہ کے سامنے پیش کئے۔
    Numbers 7:11: رب نے موسیٰ سے کہا، ”سردار بارہ دن کے دوران باری باری اپنے ہدیئے پیش کریں۔“
    Numbers 7:12: پہلے دن یہوداہ کے سردار نحسون بن عمی نداب کی باری تھی۔ اُس کے ہدیئے یہ تھے:
    Numbers 7:13: چاندی کا تھال جس کا وزن ڈیڑھ کلو گرام تھا اور چھڑکاؤ کا چاندی کا کٹوراجس کا وزن 800 گرام تھا۔ دونوں غلہ کی نذر کے لئے تیل کے ساتھ ملائے گئے بہترین میدے سے بھرے ہوئے تھے۔
    Numbers 7:14: اِن کے علاوہ نحسون نے یہ چیزیں پیش کیں: سونے کا پیالہ جس کا وزن 110 گرام تھا اور جو بخور سے بھرا ہوا تھا،
    Numbers 7:15: ایک جوان بَیل، ایک مینڈھا، بھسم ہونے والی قربانی کے لئے بھیڑ کا ایک یک سالہ بچہ،
    Numbers 7:16: گناہ کی قربانی کے لئے ایک بکرا
    Numbers 7:17: اور سلامتی کی قربانی کے لئے دو بَیل، پانچ مینڈھے، پانچ بکرے اور بھیڑ کے پانچ یک سالہ بچے۔
    Numbers 7:18: اگلے گیارہ دن باقی سردار بھی یہی ہدیئے مقدِس کے پاس لے آئے۔ دوسرے دن اِشکار کے سردار نتنی ایل بن ضُغر کی باری تھی،
    Numbers 7:19: اگلے گیارہ دن باقی سردار بھی یہی ہدیئے مقدِس کے پاس لے آئے۔ دوسرے دن اِشکار کے سردار نتنی ایل بن ضُغر کی باری تھی،
    Numbers 7:20: اگلے گیارہ دن باقی سردار بھی یہی ہدیئے مقدِس کے پاس لے آئے۔ دوسرے دن اِشکار کے سردار نتنی ایل بن ضُغر کی باری تھی،
    Numbers 7:21: اگلے گیارہ دن باقی سردار بھی یہی ہدیئے مقدِس کے پاس لے آئے۔ دوسرے دن اِشکار کے سردار نتنی ایل بن ضُغر کی باری تھی،
    Numbers 7:22: اگلے گیارہ دن باقی سردار بھی یہی ہدیئے مقدِس کے پاس لے آئے۔ دوسرے دن اِشکار کے سردار نتنی ایل بن ضُغر کی باری تھی،
    Numbers 7:23: اگلے گیارہ دن باقی سردار بھی یہی ہدیئے مقدِس کے پاس لے آئے۔ دوسرے دن اِشکار کے سردار نتنی ایل بن ضُغر کی باری تھی،
    Numbers 7:24: تیسرے دن زبولون کے سردار اِلیاب بن حیلون کی،
    Numbers 7:25: تیسرے دن زبولون کے سردار اِلیاب بن حیلون کی،
    Numbers 7:26: تیسرے دن زبولون کے سردار اِلیاب بن حیلون کی،
    Numbers 7:27: تیسرے دن زبولون کے سردار اِلیاب بن حیلون کی،
    Numbers 7:28: تیسرے دن زبولون کے سردار اِلیاب بن حیلون کی،
    Numbers 7:29: تیسرے دن زبولون کے سردار اِلیاب بن حیلون کی،
    Numbers 7:30: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
    Numbers 7:31: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
    Numbers 7:32: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
    Numbers 7:33: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
    Numbers 7:34: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
    Numbers 7:35: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
    Numbers 7:36: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
    Numbers 7:37: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
    Numbers 7:38: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
    Numbers 7:39: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
    Numbers 7:40: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
    Numbers 7:41: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
    Numbers 7:42: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
    Numbers 7:43: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
    Numbers 7:44: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
    Numbers 7:45: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
    Numbers 7:46: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
    Numbers 7:47: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
    Numbers 7:48: ساتویں دن افرائیم کے سردار اِلی سمع بن عمی ہود کی،
    Numbers 7:49: ساتویں دن افرائیم کے سردار اِلی سمع بن عمی ہود کی،
    Numbers 7:50: ساتویں دن افرائیم کے سردار اِلی سمع بن عمی ہود کی،
    Numbers 7:51: ساتویں دن افرائیم کے سردار اِلی سمع بن عمی ہود کی،
    Numbers 7:52: ساتویں دن افرائیم کے سردار اِلی سمع بن عمی ہود کی،
    Numbers 7:53: ساتویں دن افرائیم کے سردار اِلی سمع بن عمی ہود کی،
    Numbers 7:54: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی کی،
    Numbers 7:55: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی کی،
    Numbers 7:56: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی کی،
    Numbers 7:57: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی کی،
    Numbers 7:58: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی کی،
    Numbers 7:59: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی کی،
    Numbers 7:60: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی کی،
    Numbers 7:61: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی کی،
    Numbers 7:62: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی کی،
    Numbers 7:63: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی کی،
    Numbers 7:64: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی کی،
    Numbers 7:65: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی کی،
    Numbers 7:66: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی کی،
    Numbers 7:67: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی کی،
    Numbers 7:68: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی کی،
    Numbers 7:69: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی کی،
    Numbers 7:70: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی کی،
    Numbers 7:71: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی کی،
    Numbers 7:72: گیارھویں دن آشر کے سردار فجعی ایل بن عکران کی اور بارھویں دن نفتالی کے سردار اخیرع بن عینان کی باری تھی۔
    Numbers 7:73: گیارھویں دن آشر کے سردار فجعی ایل بن عکران کی اور بارھویں دن نفتالی کے سردار اخیرع بن عینان کی باری تھی۔
    Numbers 7:74: گیارھویں دن آشر کے سردار فجعی ایل بن عکران کی اور بارھویں دن نفتالی کے سردار اخیرع بن عینان کی باری تھی۔
    Numbers 7:75: گیارھویں دن آشر کے سردار فجعی ایل بن عکران کی اور بارھویں دن نفتالی کے سردار اخیرع بن عینان کی باری تھی۔
    Numbers 7:76: گیارھویں دن آشر کے سردار فجعی ایل بن عکران کی اور بارھویں دن نفتالی کے سردار اخیرع بن عینان کی باری تھی۔
    Numbers 7:77: گیارھویں دن آشر کے سردار فجعی ایل بن عکران کی اور بارھویں دن نفتالی کے سردار اخیرع بن عینان کی باری تھی۔
    Numbers 7:78: گیارھویں دن آشر کے سردار فجعی ایل بن عکران کی اور بارھویں دن نفتالی کے سردار اخیرع بن عینان کی باری تھی۔
    Numbers 7:79: گیارھویں دن آشر کے سردار فجعی ایل بن عکران کی اور بارھویں دن نفتالی کے سردار اخیرع بن عینان کی باری تھی۔
    Numbers 7:80: گیارھویں دن آشر کے سردار فجعی ایل بن عکران کی اور بارھویں دن نفتالی کے سردار اخیرع بن عینان کی باری تھی۔
    Numbers 7:81: گیارھویں دن آشر کے سردار فجعی ایل بن عکران کی اور بارھویں دن نفتالی کے سردار اخیرع بن عینان کی باری تھی۔
    Numbers 7:82: گیارھویں دن آشر کے سردار فجعی ایل بن عکران کی اور بارھویں دن نفتالی کے سردار اخیرع بن عینان کی باری تھی۔
    Numbers 7:83: گیارھویں دن آشر کے سردار فجعی ایل بن عکران کی اور بارھویں دن نفتالی کے سردار اخیرع بن عینان کی باری تھی۔
    Numbers 7:84: اسرائیل کے اِن سرداروں نے مل کر قربان گاہ کی مخصوصیت کے لئے چاندی کے 12 تھال، چھڑکاؤ کے چاندی کے 12 کٹورے اور سونے کے 12 پیالے پیش کئے۔
    Numbers 7:85: ہر تھال کا وزن ڈیڑھ کلو گرام اور چھڑکاؤ کے ہر کٹورے کا وزن 800 گرام تھا۔ اِن چیزوں کا کُل وزن تقریباً 28 کلو گرام تھا۔
    Numbers 7:86: بخور سے بھرے ہوئے سونے کے پیالوں کا کُل وزن تقریباً ڈیڑھ کلو گرام تھا (فی پیالہ 110 گرام)۔
    Numbers 7:87: سرداروں نے مل کر بھسم ہونے والی قربانی کے لئے 12 جوان بَیل، 12 مینڈھے اور بھیڑ کے 12 یک سالہ بچے اُن کی غلہ کی نذروں سمیت پیش کئے۔ گناہ کی قربانی کے لئے اُنہوں نے 12 بکرے پیش کئے
    Numbers 7:88: اور سلامتی کی قربانی کے لئے 24 بَیل، 60 مینڈھے، 60 بکرے اور بھیڑ کے 60 یک سالہ بچے۔ اِن تمام جانوروں کو قربان گاہ کی مخصوصیت کے موقع پر چڑھایا گیا۔
    Numbers 7:89: جب موسیٰ ملاقات کے خیمے میں رب کے ساتھ بات کرنے کے لئے داخل ہوتا تھا تو وہ رب کی آواز عہد کے صندوق کے ڈھکنے پر سے یعنی دو کروبی فرشتوں کے درمیان سے سنتا تھا۔

This report is not exhaustive.
More might be gleaned by examining diatheke dump of the whole module using -k "Gen-Rev" in the CL parameters.

Something like this that could be readily used for module analysis and reporting could be a great addition to our toolbox.
Dom could then incorprate it into the automatic scripting now used for module build and release.

David



Sent with ProtonMail Secure Email.