在 Arch Linux 建構 python 自然語言處理環境

自然語言處理好像很有趣, 紀錄一下安裝過程。
如果還沒安裝python的話要先安裝起來, 目前nltk(Natural Language Toolkit)主要版本支援的是python2。

sudo pacman -S python2

已經安裝過python的話可以使用 python -V 查看運行的版本號。
確定python安裝無誤就可以開始安裝nltk(Natural Language Toolkit)

sudo pacman -S python2-nltk

因為我的主機裡面, 安裝了 pyhon3.3 和 python2.7, 所以我必須指定使用的python版本號.

python2.7

這樣就可以進入python的shell

要做接下來的範例, 首先要先下載測試的文件, 我們下載幾本書下來分析。
先在python shell中載入nltk模組
import nltk
然後進入nltk提供的下載界面,把其中的book下載下來。
nltk.download()

下載完之後載入這包book資料
from nltk.book import *

接下來就可以做一些簡單的測試，
text1是白鯨記, 我們來看看白鯨記總共有多少個字

len(text1)

再來跑一個有趣的練習, 用白鯨記的詞產生50字的隨機文章,

text1.generate(50)

先介紹到這邊, 有機會在深入研究。

延伸閱讀：
http://rritw.com/a/bianchengyuyan/Python/20101004/47354.html

Arch Linux 安裝血淚 -- 安裝主程式

Arch Linux 安裝任務一：設定鍵盤配置

因為台灣用的都是美式鍵盤, 直接跳過.
如果有用其他的鍵盤配置, 參考arch beginner's guid.

Arch Linux 安裝任務二：設定語系檔

這一步可以跳過, 這一步只是在設定安裝環境的語系, 之後目標系統的語系會在重設,
不需要在這裡花間打開用不到的中文語系.(感謝arch中文社區Brli7848的指正)

# nano /etc/locale.gen

zh_TW.UTF-8 UTF-8
zh_TW.BIG5

• nano /etc/locale.gen
• 進去之後一路end到底, 把下面這兩行前面的＃拿掉
• zh_TW.UTF-8 UTF-8
• zh_TW.BIG5
• 如果怕以後簡體無法顯示的話, 就把zh_CN那幾行也都打開
• Ctrl + X 存檔離開nano編輯器

# locale-gen
# export LANG=de_DE.UTF-8

• locale-gen  #執行locale-gen讓統產生語系檔

Arch Linux 安裝任務三：設定網路

因為arch的安裝都要連上網抓一堆有的沒的, 強烈建議直接插一條網路線, 下指令：

• dhcpcd eth0  ＃取得ip連上網路

如果像我一樣手邊沒有網路線, 只能用筆電的wifi的話.

好險現在無線網卡的驅動已經被包進安裝arch的安裝環境中了, 所以設定很容易.

首先用iwconfig找到無線網卡, 通常是wlan0

# iwconfig

找到之後, 把它啟用

# ip link set wlan0 up

啟用之後, 搜尋可用的wifi連線.

# wifi-menu wlan0

找到連線之後會跳出介面要你選擇連到哪個網路, 然後輸入wifi的密碼.很容易就搞定了.

Arch Linux 安裝任務四：建立檔案系統（filesystem）

# mkfs.ext4 /dev/sda1
# mkfs.ext4 /dev/sda2

這邊因partition的分割不同, 要自己查清楚, 可以用

# lsblk /dev/sda

這指令來確認要格式化的partition

Arch Linux 安裝任務五：掛載檔案系統

• mount /dev/sda1 /mnt
• mkdir /mnt/home
• mount /dev/sda2 /mnt/home

如果像我一樣是  UEFI的主機板, 就要把UEFI partition掛載起來

# mkdir /mnt/boot/efi
# mount /dev/sdaX /mnt/boot/efi

Arch Linux 安裝任務六：選擇下載鏡像

pacman是是package manager的縮寫，是一個套件管理程式，也是Arch Linux的重要特色之一。超好用, 用一次就會愛上, 在安裝的過程中, 會需要透過pacman安裝許多驅動程式, 桌面環境......等, 現在要做的是修改pacman的鏡像server參數, 選擇我們要到哪裡下載軟體, mirrolist這個檔案裡面在source後方有個數字, 代表的是這個鏡像伺服是的分數, 越大越好, 所以通常我會一路＃下去, 只留下最後兩個分數最高的鏡像.

# nano /etc/pacman.d/mirrorlist

• 進去之後, 我的作法是只留下台灣的鏡像, 其他的server都把他們＃註解起來
• 最近土耳其的鏡像也蠻快的, 所以我也會打開
• 之後按ctrl+X 存檔離開

Arch Linux 安裝任務七：安裝主程式base和base-devel

終於作到這一步了,使用pacstrap指令安裝arch主程式, 高手可以用-i指令選擇要安裝的套件, 像我這樣的新手都是直接全部裝起來就對了.

• pacstrap -i /mnt base base-devel

由於要下載個500多MB, 靜候30分鐘吧...土耳其的鏡像真的很快不到10分鐘就跑完了.

Arch Linux 安裝任務八：產生fstab檔

這個檔案會告訴linux, 開機的時候要掛載哪個檔案系統, 還很很多功能, 詳見https://wiki.archlinux.org/index.php/Fstab
在這裡我們只做基本的設定, 要系統開機時掛載對的檔案系統

# genfstab -U -p /mnt >> /mnt/etc/fstab        ＃用genfstab自動產生fstab檔
# nano /mnt/etc/fstab                          ＃進入nano編輯fatab檔

做一些官方建議的小設定

• 只有root（也就是/）所在的partition需要在最後一個值設定成1,其他的partition都設成0或2即可.
• data-ordered可有可無, 可以直接刪掉
• 改完大概像下面這樣, /那行的結尾為 1 ,relatime後面的變數都刪掉

其他詳細設定請自行參考,
https://wiki.archlinux.org/index.php/Beginners'_Guide#Generate an fstab

Arch Linux 安裝任務九：切換帳號chroot

到這一步開始就是切換到已經裝好的系統上作業囉！

# arch-chroot /mnt

Arch Linux 安裝任務十：再一次設定語系

我們在任務二設定時區是針對安裝環境做設定, 現在是對安裝好的arch linux主系統做設定, 不可以跳過喔. 動作和任務二完全相同.

# nano /etc/locale.gen

zh_TW.UTF-8 UTF-8
zh_TW.BIG5

# locale-gen

然後接著設定locale.conf檔, 這個檔案arch預設不會自動產生, 所以要跑下面這兩行,

# echo LANG=en_US.UTF-8 > /etc/locale.conf
# export LANG=en_US.UTF-8

如果用的不是美式鍵盤, 這裡就要在設定一次keymap喔. 在此就先跳過了.

Arch Linux 安裝任務十一：設定時區

# ls /usr/share/zoneinfo/

這句的執行結果如下圖, 要先從裡面找到想要的主時區, 台灣的話就是Asia.

# ls /usr/share/zoneinfo/Asia

然後進入主時區, 選擇想要的子時區, 在台灣就選Taipei.

真正要執行的式下面這行, 在/etc/localtime把時區設為Asia/Taipei

# ln -s /usr/share/zoneinfo/<Zone>/<SubZone> /etc/localtime

 範例如下：

# ln -s /usr/share/zoneinfo/Asia/Taipei /etc/localtime

Arch Linux 安裝任務十二：設定硬體時鐘（hardware clock）

硬體時鐘設定為UTC(建議作法), 這個方案並不是說會顯示成utc時間, 而是Arch Linux會照utc時間再調整成你時區的時間.

hwclock --systohc --utc

硬體時鐘設定為localtime(微軟預設採用localtime)

# hwclock --systohc --localtime

Arch Linux 安裝任務十三：設定hostname

echo myhostname > /etc/hostname

Arch Linux 安裝任務十四：建立初始的ramdisk環境

# mkinitcpio -p linux

Arch Linux 安裝任務十五：設定root密碼

# passwd

Arch Linux 安裝任務十六：新增一個經常使用的帳號

# useradd -m -g users -s /bin/bash 帳號名稱
# passwd 帳號名稱

使用useradd指令新增一個用戶,
-m 是強至的, 會為user建立家目錄
-g 會把該用戶的初始群組設為, 後面指定的群組, 這個例子裡也就是users

第二行是用passwd設定該帳戶的密

Arch Linux 安裝任務十七：建立開機表單

# pacman -S grub-bios
# grub-install --target=i386-pc --recheck /dev/sda
# cp /usr/share/locale/en\@quot/LC_MESSAGES/grub.mo /boot/grub/locale/en.mo

安裝grub2時，最好是指定target platform和做recheck比較保險。
(grub-install --target=i386-pc --recheck /dev/sdX)
未指定platform的話，根據經驗，預設會使用目前的平台，但是有機會判斷錯誤.
(感謝arch中文社區hyslion補充)

# grub-mkconfig -o /boot/grub/grub.cfg

Arch Linux 安裝任務十八：結束安裝

# exit

結束arch-chroot回到安裝環境

# umount /mnt/{boot,home,}

卸載所有剛剛掛載上去的分割區

# reboot

重新啟動


ArchLinux的主程式安裝就先報告到這, 之後再來報告桌面環境的安裝與設定.

Arch Linux安裝血淚--準備硬碟篇

上禮拜很衝的幫我的小黑裝了一根創見128g ssd，裡面打算裝arch linux,
為甚麼死心塌地的要裝arch, 那就是令一個故事了.
殊不知arch 無敵難裝, 當完兵記憶力變很差, 忘東忘西的,
剛設定完了就忘記自己作過甚饃設定,打過得指令也記不住, 糟啊...orz
不寫下來大概下次又要再做一次功課了.

首先切硬碟,接觸linux到現在才不滿一個月, 要我用指令切硬碟一來不熟二來不敢,
懶人法就是裝gparted, 安裝與使用方法參考這篇

因為ssd有寫入次數的限制, 用起來雖然快又爽, 但是不控制讀取次數, 使用壽命就會很短.
所以網路上有很多文章再討論如何保護ssd,
保護的方式主要參考：arch官方wiki
中文的話可以參考這篇：ssd固態硬碟保護之道
還有這篇：Linux平台使用SSD必讀

然後開始動手,
先分享我ssd硬碟的切法, 首先打開gparted,
找到我全新的ssd, 然後建立partition table分割表,
因為我的x220i有支援UEFI boot,
在arch beginner's guid裡面建議用gpt的partition table,
究竟gpt分割表和mbr分割表到底差在哪, 請參考此文
在開始切硬碟前要注意, 因為用的是ssd, 不像一般硬碟有磁區磁柱,貼齊要選擇Mbi.

Gparted操作畫面, 使用ssd時務必在貼齊選項選擇Mbi

首先建立UEFI System partition,參考這篇文章建立512MB fat32格式的boot partition.
記得加上boot flag.

Gparted操作畫面:在UEFI System Partition分割區加上boot旗標.

接著切15G給root, 剩下的都給home, 這裡我都切成ext4格式.
這樣切硬碟的部份就大功告成.