Linux Bash 命令: Join (指定某個欄位為主, 來合併多個檔案)

常會遇到有幾個文字檔, 裡面有幾個欄位是跟另外檔案是一致的, 要把他合併成一個檔案, 這時後最快的就是用 join.

  • Man 說明: join - join lines of two files on a common field

這次遇到的狀況是:

  1. find . -size 0 > a # 找出 size 是 0 的 "圖檔檔名"
  2. b # 從 DB 撈出所有的 "相對應的帳號 => 圖檔檔名"
  3. 要將 size = 0 的圖檔都抓出來, 再將 a 和 b 做 join, 會把 a 和 b 依照 "圖檔檔名" 做結合, 就可知道哪些帳號的圖檔 Size = 0, 再來做其它處理囉~
  4. 註: 要注意要結合的那個欄位, 要先做過 sort, 不然可能會有某些欄位無法 match.
  5. 最後再 find . -size 0 -delete 全部砍掉~ 😛

依某個欄位合併兩個檔案的範例實作(Join)

  1. $ cat a

    3   aa
    5   uu
    4   bb
    7   38
    2   oo

  2. $ cat b

    uu  test
    38  abc
    oo  def

  3. $ sort -k 2 a | sed "s/   /:/" > a.sorted # 將主 key 做排序, 並將空白變成 ":"

    7:38
    3:aa
    4:bb
    2:oo
    5:uu

  4. $ sort b | sed "s/  /:/" > b.sorted # 將主 key 做排序, 並將空白變成 ":"

    38:abc
    oo:def
    uu:test

  5. join -t ":" -1 2 a.sorted -2 1 b.sorted # 或 join -t: -1 2 a.sorted -2 1 b.sorted 皆可

    38:7:abc
    oo:2:def
    uu:5:test

  6. 上述 join 就是得到合併完成的結果囉~
    • 解釋上述 join 命令的意思:
    • -t: 或 -t ":" : 依照 ":" 做切割欄位
    • -1 2 a.sorted : 第一個檔案 a.sorted, 要拿他的第二欄出來
    • -2 1 b.sorted : 第二個檔案 b.sorted, 要拿他的第一欄出來
    • 這樣子就會把這兩個檔案抽出來的欄位做 match(join), 就會是結果~ 🙂

作者: Tsung

對新奇的事物都很有興趣, 喜歡簡單的東西, 過簡單的生活.

在〈Linux Bash 命令: Join (指定某個欄位為主, 來合併多個檔案)〉中有 2 則留言

發表迴響

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料