├── Comparing Trained LLM Tokenizers/
│ └── tokenizers.ipynb
├── encoder–decoder transformer in PyTorch/
│ ├── data/
│ │ ├── model/
│ │ │ ├── config.py
│ │ │ ├── dummy_loader2.py
│ │ │ ├── positional_encoding.py
│ │ │ ├── train2.py
│ │ │ └── transformer_mt.py
│ │ └── en_hi_tiny.json
│ ├── __init__.py
│ ├── config.py
│ ├── dummy_loader.py
│ ├── inference.py
│ ├── positional_encoding.py
│ ├── train.py
│ └── transformer_mt.py
├── Project Documentation/
│ ├── Encoder Decoder.png
│ ├── ML System Design Of Our LLM.png
│ └── Multi Head Attention Architecture.png
├── self-attention/
│ ├── __init__.py
│ ├── Code working.txt
│ ├── Interview.txt
│ └── self_attention_demo.py
├── tokenizer/
│ ├── app/
│ │ ├── __init__.py
│ │ ├── api.py
│ │ └── main_app.py
│ ├── core/
│ │ ├── __init__.py
│ │ ├── config.py
│ │ ├── dataset.py
│ │ ├── loader.py
│ │ └── mt_translate_core.py
│ ├── data/
│ │ ├── tokenizers/
│ │ │ ├── __init__.py
│ │ │ ├── en_spm.model
│ │ │ ├── en_spm.vocab
│ │ │ ├── hi_spm.model
│ │ │ └── hi_spm.vocab
│ │ ├── trained_models/
│ │ │ ├── __init__.py
│ │ │ ├── en_hi_latest.pt
│ │ │ └── en_hi_spm400_d256_v1.pt
│ │ └── __init__.py
│ ├── models/
│ │ ├── __init__.py
│ │ ├── positional_encoding.py
│ │ └── transformer_mt.py
│ ├── scripts/
│ │ ├── __init__.py
│ │ └── translate.py
│ ├── train/
│ │ ├── __init__.py
│ │ ├── make_corpora.py
│ │ ├── train_real.py
│ │ └── train_spm.py
│ ├── __init__.py
│ ├── download_model.py
│ ├── Readme.md
│ ├── Tokenizer.md
│ ├── Transformer Model Architecture.txt
│ └── Transformer Model.txt
├── Transformer Architecture/
│ ├── Architecture.ipynb
│ ├── BEHIND THE SCENES How Language Models Generate Text.ipynb
│ ├── HOW LANGUAGE MODELS MAKE PREDICTIONS.ipynb
│ └── LLM Token By Token Generation Explained.ipynb
├── __init__.py
├── .gitignore
├── LICENSE
├── pyproject.toml
├── README.md
├── Requirements.txt
└── start.sh