web-request-response-webinar

Web Request & Response

@itspoma / CURSOR Education

v1.92

Agenda

Evolution of Web
Model TCP/IP & OSI
Protocol definition & examples
IP Address & Socket & URL
NAT
DNS Service
HTTP protocol
Stateful (cookies & Sessions)
SSL & HTTPS
Packet analyzers & sniffers (\w browser extensions)
WebSockets overview
CDN & Checksum

Knowledge

How internet layers works?
What is IP and differences between IPv4/IPv6?
When the TCP & UDP uses?
What is DNS responsible for?
What are differences between GET/POST methods?
How to authorize user through the HTTP?
How real-time applications works?
How to use "Network" tag in Google DevTools.

Internet evolution

Internet Of Things (IoT)

Internet history timeline

1961 – First packet-switching papers
1966 – Merit Network founded
1969 – ARPANET carries its first packets
1980 – Ethernet standard introduced
1982 – TCP/IP, SMTP
1983 – Domain Name System (DNS)
1985 – First .COM domain name registered
1988 – OSI Reference Model released
1990 – ARPANET decommissioned
1990 – IMDb Internet movie database
1991 – World Wide Web (WWW)
1994 – Full text web search engines
1995 – IPv6 proposed
1998 – Google Search
2001 – New top-level domain names activated
2003 – Skype Internet voice calls
2004 – Facebook social networking site
2009 – Bing search engine
2010 – Instagram

Internet evolution: 1969

United States Department of Defense
DARPA
Universities
ARPANET (Advanced Research Projects Agency Network)
1st September - first server
Honeywell DP-516
12/24 Kb RAM

1957 Советским Союзом
первого искусственного спутника Земли
Спутник-1
на случай войны Америке нужна надёжная система передачи информации

Міністерство оборони США
розробку проекту
надійної системи передачі інформації на випадок війни

Розробка була доручена
Каліфорнійському університету Лос-Анджелеса
Стенфордському дослідному центрові
Університету штату Юта
Університету штату Каліфорнія в Санта-Барбарі

Advanced Research Projects Agency Network
Мережа Агентства передових досліджень
мережа об'єднала названі заклади

рости і розвиватися
1 вересня 1969 року у Каліфорнійському університеті в Лос-Анджелесі

-
проблемою у створенні мережі було
об’єднання фізично розділених мереж
без зв’язку мережевих ресурсів постійними з’єднаннями

Техніка, яка вирішила проблему
отримала назву Комутація пакетів (packet switching)

передбачає розбиття запитів даних на маленькі частини (пакети)

Internet evolution: < 1971

29th of October 1969 - first communication between computers ("LOG" message)
first email application (POP/IMAP protocol)
network used for sending emails
first mailing list, newsgroups, forums
actively evolve protocols

640 км
Калифорнийском университете Лос-Анджелеса (UCLA)
Стэнфордском исследовательском институте (SRI)
провели сеанс связи

LO, LOG, LOGIN

эту дату можно считать днём рождения интернета

Internet evolution: 1973-1974

UK & Norway
international network
Internet Transmission Control Program

трансатлантичний кабель

специфікація ITCP
контролю передачі даних в Інтернеті

Internet evolution: 1983

NCP > TCP/IP
"Internet" term

NCP - Network Control Protocol

Internet evolution: 1984

Domain Name System
NSFNet

Національний науковий фонд США
National Science Foundation Network
під'єдналось близько 10 тисяч комп'ютерів

Internet evolution: 1988

IRC (Internet Relay Chat)

стало можливим спілкування в реальному часі (чат)
27 years ago

Internet evolution: 1990

NSFNet owned
first Dial-up access

ARPANET припинила своє існування,
програвши конкуренцію NSFNet

підключення до Інтернету телефонною лінією

Internet evolution: 1991

NCSA Mosaic (till 1997)
http protocol, HTML, URI (Tim Berners-Li)

Internet evolution: 1991

NCSA Mosaic 1992

Internet evolution: 1992

HTML1

Internet evolution: 1994

internet providers
WWW Consorcium, W3C
HTML2
10kk PCs, 30k web-sites

маршрутизацією всього трафіку Інтернету тепер займались мережеві провайдери (постачальники послуг), а не суперкомп'ютери Національного наукового фонду

Консорціум всесвітньої павутини

W3C
  HTML 4.0
  PNG
  CSS1, CSS2

Internet evolution: 1995

Netscape Navigator
Internet Explorer

Mosaic > IE

Internet evolution: 1998

Pope John Paul II founded "International Day for the Internet" (4th of March / 14th of December)
IE4, Netscape Navigator 4, IE5 beta (with javascript)
Web Standards Project
CSS Samurai

4 квітня

Web Standards Project, Проект Веб-стандарти
називати W3C стандартами, а не рекомендаціями

яка визначила 10 головних проблем підтримки CSS в Opera та інших браузерах

Internet evolution: 2000

HTML4
XHTML 1.0
IE5 for Macintosh
327kk of users (100kk in USA)

default IE in MacOS

Internet evolution: 2004

Flash Lite 1.0
700kk of users

Internet evolution: 2011

International Space Station
2kkk of users

Международная космическая станция

Communication evolution

Communication per-Computers

Request-Response Model (request–reply, synchronous)

establishing a connection data exchange end of session

общение компютеров
и общение людей между собой

установка соидинения
обмен
конец сессии

web browser

frontend html / css / js / etc

web server

backend database / server / data ops / cache / etc

Communications protocol

describes how devices can communicate, and defines the format of data beign exchanged

правила передачі даних між двома пристроями
метод компресії-стискання інформації, спосіб визначення завершення передачі
одні — більшою надійністю
другі — швидкістю передачі даних
треті — простотою

Real life example of protocol

What is a Protocol?

Protocol examples

Internet Protocol set of rules to send and receive messages at the Internet address level
File Transfer Protocol sets of rules to use with corresponding programs elsewhere on the Internet
Simple Mail Transfer Protocol
Secure Shell

Real life example of layered architecture

The pen

Real life example of layered architecture

The pen in box

Real life example of layered architecture

The pen in box with declaration

Real life example of layered architecture

The pen in box with declaration is delivering to receiver

Real life example of layered architecture

The pen in box with declaration is delivered to receiver.

He got it.

Real life example of layered architecture

The pen in box with declaration is delivered to receiver. He got it, confirmed that he is receiver and got the box.

Real life example of layered architecture

The pen in box with declaration is delivered to receiver. He got it & confirmed personality, unboxed and got the pen.

Real life example of layered architecture

(sender) sender (pen) -> (sender) sender (pen + box) -> (provider) sender (pen + box + declaration) -> (delivery service) sender (pen + box + declaration + delivering) -> (delivery service) receiver (delivering + declaration + box + pen) -> (provider) receiver (declaration + box + pen) -> (receiver) receiver (box + pen) -> (receiver) receiver (pen)

Internet layers

протоколи поділяються на рівні
кожен з яких виконує певну та взаємодіє з іншими частинами протоколу за чітко розробленими схемами

інтернет працює на різних рівнях
  фізичний (кабелі, роутери, маршрутизатори, )
  поверх - є стек/набір мережевих протоколів (tcp/ip)
  перетворення інформації при її руху по рівнях

Internet layers

TCP and UDP protocols

TCP - Connection-oriented (3-way handshake) UDP - Connectionless

A three-way-handshake is a method used in a TCP/IP network to create
a connection between a local host/client and server. It is a three-step method that requires both the client and server to exchange SYN and ACK (acknowledgment) packets before actual data communication begins.

port UDP can use "0" port (means no port)

TCP/IP Model

TCP - Connection-oriented (3-way handshake) UDP - Connectionless

A three-way-handshake is a method used in a TCP/IP network to create a connection between a local host/client and server. It is a three-step method that requires both the client and server to exchange SYN and ACK (acknowledgment) packets before actual data communication begins.

TCP/IP Model

Transmission Control Protocol / Internet Protocol

набір мережевих протоколів передачі даних
IP & TCP - main protocols

чотири рівні стека
- (самий нижній) канальный (все шо звязано з фізичною передачою даних, пристрій до пристрою)
- мережений (IP, передача даних між різними мережами)
- транспортный (доставка даних, tcp, udp, ..)
- прикладной (з яким найчастіше маємо справу як користувачі - браузер, почтові клієнти, месенджери, і тд)

кожен рівень - абстрактний
прот кожного рівня працює завдяки протоколам нижче

в 1970 ARPA
мережі у світі могли бути об'єднані у формі віртуальної «мережі мереж»
ARPAnet була на основі TCP/IP

Сьогодні стек використовується для зв'язку комп'ютерів в Інтернет

TCP/IP Model: Application layer

units: data
protocols: FTP, HTTP, POP3, IMAP, telnet, SMTP, DNS, TFTP, ...

прикладний
данные

взаємодія програм з інформацією
програма-клієнт та програма-сервер

на кожному рівні дані називаються по своєму
потік (TCP) і повідомлення (UDP)
на транспортному — сегмент і пакет

поштові SMTP та POP3
передача файлів — FTP та TFTP
емуляція віддаленого терміналу — TELNET
HTTP, DNS

TCP/IP Model: Transport layer

units: segments
protocols: TCP, UDP, etc

транспортний
транспортні послуги прикладним процесам

TCP - Transmission Control Protocol
  забезпечує надійне доставляння байтових потоків

UDP - User Datagram Protocol
  без установлення з'єднання
  не гарантує їхнього доставляння

через порт

TCP/IP Model: Internet layer

units: packet
protocols: IP, ICMP, ARP, RARP, etc

міжмережевий

айпи
 ? структура пакетов (мало смысла, лучше общий принцип)
 уникальный идентификатор устройства

TCP/IP Model: Link layer

units: bit
protocols: Ethernet, Token Ring, FDDI, X.25, Frame Relay, RS-232, v.35, etc

  канальний
  рівень доступу до середовища передачі

  обмен сигналами
   закодироваными
   между 2ма устройствами
   как передать? как прочитать?

OSI Model

All People Seem To Need Data Processing

Open Systems Interconnection Basic Reference Model
Первая вещь, с которой сталкивается любой, кто изучает сети — это модель OSI
семиуровневая эталонная модель

encapsulation

Модель OSI была задумана ещё в 70-е годы
позиционировалась как соперник стеку TCP/IP

OSI помогает иллюстрировать зависимость одних протоколов от других

the need for layered architecture

Представляє рівневий підхід до мережі
Вважається, що модель занадто складна, а її реалізація займе занадто багато часу

OSI Model: Application Layer

unit: data
Remote login to hosts: Telnet
File transfer: File Transfer Protocol (FTP), Trivial File Transfer Protocol (TFTP)
Electronic mail transport: Simple Mail Transfer Protocol (SMTP)
Networking support: Domain Name System (DNS)
...

Прикладний рівень
забезпечує взаємодію мережі й користувача
всі прикладні програми, які використовують доступ до мережі
такі як оглядач веб-сторінок, електронна пошта, віддалений доступ до файлів та інші

used in TCP/IP

HTTP, Telnet, DNS, FTP, DHCP