Giới thiệu Học sâu dựa trên mạng nơ-ron nhân tạo

Lượt truy cập: 3,947

    “Nếu không bay được thì chạy, nếu không chạy được thì đi, nếu không đi được thì bò, nhưng bất luận bạn làm gì, hãy luôn tiến về phía trước.”
― Martin Luther King Jr.

Chúng ta đang tiến vào Thời đại thứ tư – Thời đại của trí tuệ nhân tạo (Artificial Intelligence – AI) và rô-bốt. Nhằm góp phần phát triển trí tuệ nhân tạo, thúc đẩy phát triển kinh tế và xã hội ở Việt Nam, kiến tạo một nền sản xuất công nghiệp có tính cạnh tranh cao trong Thời đại thứ 4 với cuộc cách mạng công nghiệp 4.0, NewAI khởi động chương trình giảng dạy các thành quả tiên tiến nhất hiện nay của trí tuệ nhân tạo. Bắt đầu với Học sâu (Deep Learning) dựa trên mạng nơ-ron nhân tạo (Artificial Neural Networks), chương trình hướng đến trang bị cho người học, đặc biệt là các bạn trẻ, hành trang cơ bản để tiến vào thời đại mới. Nội dung giảng dạy bao gồm các kiến thức từ căn bản đến nâng cao, kèm với các bài tập thực tế; bảo đảm người học sau khi kết thúc khoá học có thể ứng dụng được học sâu nói riêng và trí tuệ nhân tạo nói chung vào thực tiễn.

Bài giới thiệu này được chia thành năm phần, với các nội dung sau:

Phần I. Sơ lược về trí tuệ nhân tạo và học máy

Phần II: Sơ lược về học sâu

Phần III: Kỷ nguyên trí tuệ nhân tạo

Phần IV: Phần kết

Nội dụng

  • Cơ bản về học sâu:
    • Mô hình tuyến tính: Hồi qui tuyến tính và Hồi qui logistic
    • Các giải thuật huấn luyện mạng nơ-ron
    • Hồi qui softmax
    • Đạo hàm và Đồ thị tính toán
    • Một số hàm kích hoạt
    • Mạng nơ-ron truyền thẳng (Feed-forward Neural Networks)
    • Giải thuật lan truyền ngược (Backpropagation)
    • Véc-tơ hóa và cơ chế broacasting
    • Jupyter Notebook
    • PyTorch và TensorFlow
    • Chuẩn hóa dữ liệu
    • Quá khớp (Overfitting) và chỉnh hoá
    • Khởi tạo tham số
  • Mạng Nơ-ron tích chập (Convolutional Neural Networks – CNN)
    • Giới thiệu CNN
    • Phép toán tích chập
    • Filter, trượt (stride) và đệm (padding)
    • Tích chập với đầu vào nhiều kênh
    • Tại sao cần tích chập
    • Tầng pooling
    • Các mạng CNN kinh điển
    • Mạng ResNet và Inception
    • Học chuyển giao (transfer learning)
    • Xây dựng tập huấn luyện
    • One-shot learning
    • Một số ví dụ: Phát hiện đối tượng, nhận dạng khuôn mặt, phân loại đối tượng
  • Mạng Nơ-ron hồi qui (Recurrent Neural Networks – RNN) 
    • Giới thiệu mạng RNN
    • Mô hình sequence-to-sequence
    • Backpropagation through time
    • Gated recurrent unit
    • Long-short term memory
    • Mạng RNN hai hướng
    • Mạng RNN sâu
    • Mô hình ngôn ngữ và tạo sinh chuỗi
    • Cơ chế chú ý
    • Một số ví dụ xử lý ngôn ngữ tự nhiên: POS tagging, NER, Speech Recognition, Machine Translation, Question Answering, Sentiment Analysis

Học bằng các dự án thực tế trong Xử lý ngôn ngữ tự nhiên, Thị giác máy tính, nhận dạng và tổng hợp tiếng nói.

Công cụ

Ngôn ngữ lập trình

  • Python

Sách

  • Kevin Murphy (2012), Machine Learning: a Probabilistic Perspective, MIT, Press.
  • Ian Goodfellow, Yoshua Bengio and Aaron Courville (2016), Deep Learning, MIT Press.
  • Trevor Hastie, Robert Tibshirani, and Jerome Friedman (2017), The Elements of Statistical Learning, Springer.
  • Yoav Goldberg (2018). Neural Network Methods for Natural Language Processing. MIT Press.
  • Khan, Salman, Hossein Rahmani, Syed Afaq Ali Shah, and Mohammed Bennamoun (2018). A Guide to Convolutional Neural Networks
    for Computer Vision    . Synthesis Lectures on Computer Vision 8, no. 1 (2018): 1-207. 

Bài giảng tham khảo

  • http://cs231n.stanford.edu/
  • http://cs224d.stanford.edu/
  • http://cs229.stanford.edu/