>title and optional description  
sequence line(s)

$ cat in.fasta | grep -c "^>"

@title and optional description  
sequence line(s)
+optional repeat of title line
quality line(s)

種類 (OBF名)	ASCII文字			品質スコア
	範囲	オフセット		タイプ	範囲
Sanger, Illumina (version 1.8~) (fastq-sanger)	33~126	33		PHRED	0~93
Solexa, early Illumina (version ~1.3) (fastq-solexa)	59~126	64		Solexa	-5~62
Illumina (version 1.3~1.7) (fastq-illumina)	64~126	64		PHRED	0~62

>>> qline = "JJJJJJJJJJJJJJGJJJJJJJJJJJJJJIJGJJJJJJJJJJJJHHHHFFFFDDFCCCCC"  
>>> phred = [ord(base)-33 for base in qline]
>>> p = [10**(-q/10) for q in phred]

$ cat in.fastq | bioawk -cfastx 'END{print NR}'

列番号	列名	列説明
1	seqname	染色体名やscaffold名、chrはなくてもよい
2	source	featureを作製したprogram/data source名
3	feature	featureのタイプ名. GENCODEの場合ではgene,transcript,exon,CDS,UTR,start_codon,stop_codon,Selenocysteineのいずれかの値をとる.
4	start	featureの開始位置
5	end	featureの終了位置
6	score	浮動小数点値
7	strand	+(fwd)|-(rv)
8	frame	読み枠(0|1|2),0なら最初の塩基がコドンの最初の塩基
9	attribute	featureの追加情報、セミコロン区切りのタグ値

GTFとGFFはほぼ同形式であるが、GTFでは３列目のfeatureタイプ値の制限が強いことが両者の主たる相違点である.

参考文献:

• The DDBJ/ENA/GenBank Feature Table Definition
• GenBank Flat File Format
• The GTF/GFF formats: GTF/GFF formatsの変遷の詳細が記述されている
• Format description of GENCODE GTF: GTF2.5の仕様書
• GENCODE FAQ: GENCODEとEnsemblにおけるGTFフォーマットの相違点が記載されている
• GFF2: GFF2の仕様書
• Generic Feature Format Version 3 (GFF3): GFF3の仕様書

アライメントデータ形式

SAM/BAM形式

Sequence Alignment/Mapping(SAM)/BAM形式はアライメント情報を格納するために使用される. SAMはテキストであり、BAMはそのバイナリである. SAMは行指向であり、1つのheader sectionと1つのalignment sectionからなる. headerの各行は@で始まり、2文字コードが続いた後、タブ区切りのKEY:VALUEが並ぶ. alignmentの各行はtab区切りの必須11列からなる.

header section

@SQ行は参照配列に関する情報を保存する. KEYにはSNとLNがある.

• SN - 配列名
• LN - 配列長

@RG行はリードグループとサンプルメタ情報を保存する. KEYにはIDとSM,PLがある。

• ID - 必須かつ一意的。実用上は特定のseq runに関する情報などを使用。
• SM - 試料情報を保存（option）
• PL - seq platform (ILLUMINAなど)を保存（option）

@PGはprogramに関するメタ情報を保存する. KEYにはID, VN, CLがある。

• ID - プログラム固有のID値
• VN - version番号
• CL - 実行command line

alignment section

CIGAR文字列はアライメントに対する塩基のマッチ/ミスマッチ、挿入/欠失、ソフトクリップ/ハードクリップなどの情報を符号化する. 基本的なCIGAR文字列は整数による長さと文字操作の連結ペアが並んだものである.

SAM/BAMファイルを操作するにはsamtoolsを利用する. 詳細はアライメントデータの操作の章に記載されている.

参考文献:

• SAM/BAM/BAI format specification

バリアントデータ形式

Variant Call Format (VCF)

VCF/BCF形式

##で始まるメタデータheader行とデータライン行からなる tab区切りのデータ.

参考文献:

• VCF/BCF specification

トラックデータ形式

ゲノムブラウザのannotation tracksを表現するためのテキストフォーマットにはBED, bedGraph, Wiggle (WIG)などがある. BED, BedGraph, WIGは行指向であり、三つの行タイプ（browser lines, track lines, data lines）からなる. 空行や#から始まる行は無視される. BedGraphとWIGは確率値のような連続値データをグラフ表現するために用いる. BedGraphでは指定領域の大きさが不定でかつ領域間距離が不規則なデータを許容する. 一方、WIGは密な連続値データをなるべく簡略に表現するために設計されたものであり、指定領域の大きさが一定である必要がある. さらに領域間距離が規則的な場合(fixedStep)と不規則な場合(variableStep)との区別がなされる.

browser/track lines

browser lines

browser linesの指定は任意である. formatは以下の通りである.

browser attribute value(s)

track lines

track linesの指定は任意である. ただしBedGraphやWIGの場合などにはtrack lineを配置し、それぞれtype=wiggle_0やtype=bedGraphと指定する必要がある. formatは以下の通りである.

track attribute=value [attribute=value ...]

参考文献:

• Creating custom annotation tracks
• Selecting a graphing track data format

BED形式

BED形式は行指向であり、各行3-12列からなり、各列はホワイトスペースで区切る. 前3列は必須列、後9列は任意列である. カスタム列を定義・使用することも可能である. 各行の列数は同一でなければならず、空値は"."等で埋める必要がある. 任意列の列を使用する際はその前列全てを記述する必要がある. 初めのn列を使用するものをBEDnファイルという. 初めのn列を含み、任意列の残り又はカスタム列がゼロ又は複数後続ものをBEDn+ファイルという. 初めのn列を含み、m列のカスタム列が後続するものをBEDn+mファイルという. BEDファイルはLC_ALL=C sort -k 1,1 -k 2n,2 3n,3でソートされていることが望ましい. 1列目はchr1, chr2, ...,chr21, chr22, chrM, chrX, chrY順でもよい. BED形式では0ベース半開区間の座標系を使用する.

参考文献:

• UCSC BED format
• GA4GH BED format

BedGraph/Wiggle format

BedGraph data line(s)は以下のように記述する.

chrom	chromStart	chromEnd	dataValue

dataValueは整数/実数, 正/負数のいずれかを問わない.座標系には0ベースの半開区間を使用する.

具体例:

browser position chr19:49302001-49304701
browser hide all
browser pack refGene encodeRegions
browser full altGraph
#	300 base wide bar graph, autoScale is on by default == graphing
#	limits will dynamically change to always show full range of data
#	in viewing window, priority = 20 positions this as the second graph
#	Note, zero-relative, half-open coordinate system in use for bedGraph format
track type=bedGraph name="BedGraph Format" description="BedGraph format" visibility=full color=200,100,0 altColor=0,100,200 priority=20
chr19 49302000 49302300 -1.0
chr19 49302300 49302600 -0.75
chr19 49302600 49302900 -0.50
chr19 49302900 49303200 -0.25
chr19 49303200 49303500 0.0
chr19 49303500 49303800 0.25
chr19 49303800 49304100 0.50
chr19 49304100 49304400 0.75
chr19 49304400 49304700 1.00

WIG (wiggle)ではdata line(s)に先行し、variableStepかfixedStepかを指定するdeclaration行を配置する. variableStepのdeclaration行はvariableStepまたはfixedStepという語で始まり、スペース区切りのkey-valueペアが後続する.

WIG variableStep data lines format

variableStep chrom=chrN [span=windowSize]
chromStart dataValue

WIG fixedStep data lines format

fixedStep chrom=chrN start=position step=stepInterval [span=windowSize]
dataValue

dataValueは整数/実数, 正/負数の別を問わない.座標系には1ベースの閉区間を使用する.

具体例1:

# 2番染色体上の300701-300705の位置に12.5のデータ値を表示する.
# spanを使わない場合
variableStep chrom=chr2
300701  12.5
300702  12.5
300703  12.5
300704  12.5
300705  12.5

具体例2:

# 2番染色体上の300701-300705の位置に12.5のデータ値を表示する.
# spanを使う場合
variableStep chrom=chr2 span=5
300701  12.5

具体例3:

# 3番染色体上の位置40601, 400701, 40801にそれぞれ11, 22, 33というデータ値を表示する.
# spanを使わない場合

fixedStep chrom=chr3 start=400601 step=100
11
22
33

具体例4:

# 3番染色体上の位置400601-400605, 400701-400705, 400801-400805にそれぞれ11, 22, 33というデータ値を表示する.
# spanを使う場合
fixedStep chrom=chr3 start=400601 step=100 span=5
11
22
33

具体例5:

browser position chr19:49304200-49310700
browser hide all
#	150 base wide bar graph at arbitrarily spaced positions,
#	threshold line drawn at y=11.76
#	autoScale off viewing range set to [0:25]
#	priority = 10 positions this as the first graph
#	Note, one-relative coordinate system in use for this format
track type=wiggle_0 name="variableStep" description="variableStep format" visibility=full autoScale=off viewLimits=0.0:25.0 color=50,150,255 yLineMark=11.76 yLineOnOff=on priority=10
variableStep chrom=chr19 span=150
49304701 10.0
49304901 12.5
49305401 15.0
49305601 17.5
49305901 20.0
49306081 17.5
49306301 15.0
49306691 12.5
49307871 10.0
#	200 base wide points graph at every 300 bases, 50 pixel high graph
#	autoScale off and viewing range set to [0:1000]
#	priority = 20 positions this as the second graph
#	Note, one-relative coordinate system in use for this format
track type=wiggle_0 name="fixedStep" description="fixedStep format" visibility=full autoScale=off viewLimits=0:1000 color=0,200,100 maxHeightPixels=100:50:20 graphType=points priority=20
fixedStep chrom=chr19 start=49307401 step=300 span=200
1000
900
800
700
600
500
400
300
200
100

参考文献:

• BedGraph Track Format
• Wiggle Track ASCII Text Format

BigBed/BigWig format

BEDからbedToBigBedプログラムにより変換されたインデックス付バイナリをbigBedという. BedGraphやWiggle(WIG)からそれぞれbedGraphToBigWigやwigToBigWigプログラムによって変換されたインデックス付バイナリという. 変換ファイルを用いる主たる利点は、UCSCゲノムブラウザサーバを利用する際、表示領域に対応するファイルの部分だけがサーバに転送されるため 大きなサイズ(50MiB以上)のファイルを取扱う際の処理速度の向上する点にある.

bigBedやbigWigを作成・操作するために必要なutilityは以下から入手できる.

bedTomBigBed	bedからBigBedに変換する.	[Linux] [macOS(x86_64)]
bedGraphToBigWig	begGraphからBigWigに変換する.	[Linux] [macOS(x86_64)]
wigToBigWig	wigからBigWigに変換する.	[Linux] [macOS(x86_64)]
fetchChromSizes	chrom.sizesファイルを作成する.	[Linux] [macOS(x86_64)]
bigBedToBed	bigBedからBEDに変換する.	[Linux] [macOS(x86_64)]
bigBedSummary	bigBedファイルから要約情報を抽出する.	[Linux] [macOS(x86_64)]
bigBedInfo	bigBedファイルに関する情報を出力する.	[Linux] [macOS(x86_64)]
bigWigToBedGraph	bigWigからbedGraphに変換する.	[Linux] [macOS(x86_64)]
bigWigtoWig	bigWigからWigに変換する.	[Linux] [macOS(x86_64)]
bigWigSummary	bigWigファイルから要約情報を抽出する.	[Linux] [macOS(x86_64)]
bigWigInfo	bigWigファイルに関する情報を出力する.	[Linux] [macOS(x86_64)]

chrom.sizesファイルはCMHADSOシステム参照データ(gsize.tar.gz)から入手できる.

BigBedやBigWigに変換するためのsyntaxは以下の通りである.

bedToBigBed in.bed chrom.sizes out.bb
  # in.bedはbrowser linesとtrack linesを除去し、data linesだけにした後、sort -k1,1 -k2n,2したもの.
  # ゲノムブラウザ上において1つのtrackに対応するデータに限定し、複数のtrackデータは個々のin.bedファイルに分割する必要がある.

bedGraphToBigWig in.bg chrom.sizes out.bw
  # in.bgはbrowser linesとtrack linesを除去し、data linesだけにしたもの.
  # ゲノムブラウザ上において1つのtrackに対応するデータに限定し、複数のtrackデータは個々のin.bgファイルに分割する必要がある.

wigToBigWig in.wig chrom.sizes out.bw
  # in.wigはbrowser linesとtrack linesを除去し、data linesだけにしたもの.
  # ゲノムブラウザ上において1つのtrackに対応するデータに限定し、複数のtrackデータは個々のin.wigファイルに分割する必要がある.

出力ファイル(out.bbとする)をUCSCのゲノムブラウザーに表示するためには、 自分のwebサーバなどにおいて外部からwebアクセス可能な場所にout.bb配置後、 UCSCカスタムtrack管理ページのテキストボックスに以下のようなtrack lineを記述するとよい.

track type=bigBed name="bigBed Example" description="A bigBed file" bigDataUrl=http://urlToOut.bb

* WIGデータはUCSCサーバにアップロードすると、圧縮され、128個のビンに分割されて格納される. これにより些少ではあるがデータの正確性が損なわれる可能性がある. BedGraphデータやBigWigでは元の状態を維持したままデータをサーバに移すことができる.

参考文献:

• BigWig and BigBed: enabling browsing of large distributed datasets
• bigBed Track Format
• bigWig Track Format

データ形式の変換

liftover

CMHADSOシステムの参照項目からliftover.1.tar.gzを入手し、READMEファイルを参考にliftOverソフトウェアを入手する。 変換に必要な情報のファイル(xxx.over.chain)はliftover.1に梱包されている。

# README内容を参考にliftoverソフトウェアを入手・実行権限付与・PATHの通ったdirectoryに配置する。
# Linuxの場合の例
URL=http://hgdownload.cse.ucsc.edu/admin/exe/linux.x86_64/liftOver
curl -O $URL
chmod +x liftOver
mv liftOver xxx

# 以下の作業は不要　(参考のため)
# 変換に必要な情報のファイル(xxx.over.chain)を入手する。
# mm39 to mm10の場合
URL=https://hgdownload.soe.ucsc.edu/goldenPath/mm39/liftOver/mm39ToMm10.over.chain.gz
curl -O $URL
gunzip mm39ToMm10.over.chain.gz

変換を実行する。 既定ではBEDファイルを変換するがGFFファイルも変換可能である。

IN=mm39.bed
OVERCHAIN=mm39ToMm10.over.chain
OUT=mm10.bed
UNLIFTED=unlifted.bed

liftOver mm39.bed $OVERCHAIN $OUT $UNLIFTED

補足情報

---