CSCI 599 MACHINE TRANSLATION 11-1-11 11:00
2011/01/11
1
INSTRUCTORS David Chiang 蔣偉
Liang Huang 黃亮
Kevin Knight 武凯文
2011/01/11
2
LANGUAGES ON THE WEB
2011/01/11
3
LANGUAGES ON TWITTER
2011/01/11
4
LANGUAGES IN LA
2011/01/11
5
WHY DO WE NEED MT?
2011/01/11
6
WHY DO WE NEED MT?
2011/01/11
7
WHY DO WE NEED MT?
2011/01/11
8
2011/01/11
9
2011/01/11
10
2011/01/11
11
WHY IS MT HARD? Coverage
chiliagon
2011/01/11
?
12
WHY IS MT HARD? Ambiguity La caja está en la pluma The box is in the pen La caja está en el corral
2011/01/11
13
WHY IS MT HARD? Divergence Juan nadó tras el lago John swam across the lake Juan cruzó a nado el lago
2011/01/11
14
IN THE BEGINNING One naturally wonders if the problem of translation could conceivably be treated as a problem in cryptography. When I look at an article in Russian, I say: “This is really written in English, but it has been coded in some strange symbols. I will now proceed to decode.” Warren Weaver, 1947
2011/01/11
15
IBM-GEORGETOWN
2011/01/11
16
BAR-HILLEL
• Syntactic
transfer
• “Semantic
barrier”: The box was in the pen
2011/01/11
17
ALPAC REPORT
2011/01/11
18
RULE-BASED MT Interlingua
Semantics
ource language
Syntax
String
2011/01/11
Transfer
Transfer
Direct
Semantics
Target languag
Syntax
String
19
STATISTICAL MT
2011/01/11
20
A SCI-FI EXAMPLE (KNIGHT, 1997)
Your assignment: translate this Centauri sentence into Arcturan farok crrrok hihok yorok clok kantok ok-yurp
2011/01/11
21
farok crrrok hihok yorok clok kantok ok-yurp 1c. ok-voon ororok sprok .
7c. lalok farok ororok lalok sprok izok enemok .
1a. at-voon bichat dat .
7a. wat jjat bichat wat dat vat eneat .
2c. ok-drubel ok-voon anok plok sprok .
8c. lalok brok anok plok nok .
2a. at-drubel at-voon pippat rrat dat .
8a. iat lat pippat rrat nnat .
3c. erok sprok izok hihok ghirok .
9c. wiwok nok izok kantok ok-yurp .
3a. totat dat arrat vat hilat .
9a. totat nnat quat oloat at-yurp .
4c. ok-voon anok drok brok jok .
10c. lalok mok nok yorok ghirok clok .
4a. at-voon krat pippat sat lat .
10a. wat nnat gat mat bat hilat .
5c. wiwok farok izok stok .
11c. lalok nok crrrok hihok yorok zanzanok .
5a. totat jjat quat cat .
11a. wat nnat arrat mat zanzanat .
6c. lalok sprok izok jok stok .
12c. lalok rarok nok izok hihok mok .
6a. wat dat krat quat cat .
12a. wat nnat forat arrat vat gat . (Knight,1997)
2011/01/11
22
farok crrrok hihok yorok clok kantok ok-yurp 1c. ok-voon ororok sprok .
7c. lalok farok ororok lalok sprok izok enemok .
1a. at-voon bichat dat .
7a. wat jjat bichat wat dat vat eneat .
2c. ok-drubel ok-voon anok plok sprok .
8c. lalok brok anok plok nok .
2a. at-drubel at-voon pippat rrat dat .
8a. iat lat pippat rrat nnat .
3c. erok sprok izok hihok ghirok .
9c. wiwok nok izok kantok ok-yurp .
3a. totat dat arrat vat hilat .
9a. totat nnat quat oloat at-yurp .
4c. ok-voon anok drok brok jok .
10c. lalok mok nok yorok ghirok clok .
4a. at-voon krat pippat sat lat .
10a. wat nnat gat mat bat hilat .
5c. wiwok farok izok stok .
11c. lalok nok crrrok hihok yorok zanzanok .
5a. totat jjat quat cat .
11a. wat nnat arrat mat zanzanat .
6c. lalok sprok izok jok stok .
12c. lalok rarok nok izok hihok mok .
6a. wat dat krat quat cat .
12a. wat nnat forat arrat vat gat . (Knight,1997)
2011/01/11
23
farok crrrok hihok yorok clok kantok ok-yurp 1c. ok-voon ororok sprok .
7c. lalok farok ororok lalok sprok izok enemok .
1a. at-voon bichat dat .
7a. wat jjat bichat wat dat vat eneat .
2c. ok-drubel ok-voon anok plok sprok .
8c. lalok brok anok plok nok .
2a. at-drubel at-voon pippat rrat dat .
8a. iat lat pippat rrat nnat .
3c. erok sprok izok hihok ghirok .
9c. wiwok nok izok kantok ok-yurp .
3a. totat dat arrat vat hilat .
9a. totat nnat quat oloat at-yurp .
4c. ok-voon anok drok brok jok .
10c. lalok mok nok yorok ghirok clok .
4a. at-voon krat pippat sat lat .
10a. wat nnat gat mat bat hilat .
5c. wiwok farok izok stok .
11c. lalok nok crrrok hihok yorok zanzanok .
5a. totat jjat quat cat .
11a. wat nnat arrat mat zanzanat .
6c. lalok sprok izok jok stok .
12c. lalok rarok nok izok hihok mok .
6a. wat dat krat quat cat .
12a. wat nnat forat arrat vat gat . (Knight,1997)
2011/01/11
24
farok crrrok hihok yorok clok kantok ok-yurp 1c. ok-voon ororok sprok .
7c. lalok farok ororok lalok sprok izok enemok .
1a. at-voon bichat dat .
7a. wat jjat bichat wat dat vat eneat .
2c. ok-drubel ok-voon anok plok sprok .
8c. lalok brok anok plok nok .
2a. at-drubel at-voon pippat rrat dat .
8a. iat lat pippat rrat nnat .
3c. erok sprok izok hihok ghirok .
9c. wiwok nok izok kantok ok-yurp .
3a. totat dat arrat vat hilat .
9a. totat nnat quat oloat at-yurp .
4c. ok-voon anok drok brok jok .
10c. lalok mok nok yorok ghirok clok .
4a. at-voon krat pippat sat lat .
10a. wat nnat gat mat bat hilat .
5c. wiwok farok izok stok .
11c. lalok nok crrrok hihok yorok zanzanok .
5a. totat jjat quat cat .
11a. wat nnat arrat mat zanzanat .
6c. lalok sprok izok jok stok .
12c. lalok rarok nok izok hihok mok .
6a. wat dat krat quat cat .
12a. wat nnat forat arrat vat gat . (Knight,1997)
2011/01/11
25
farok crrrok hihok yorok clok kantok ok-yurp 1c. ok-voon ororok sprok .
7c. lalok farok ororok lalok sprok izok enemok .
1a. at-voon bichat dat .
7a. wat jjat bichat wat dat vat eneat .
2c. ok-drubel ok-voon anok plok sprok .
8c. lalok brok anok plok nok .
2a. at-drubel at-voon pippat rrat dat .
8a. iat lat pippat rrat nnat .
3c. erok sprok izok hihok ghirok .
9c. wiwok nok izok kantok ok-yurp .
3a. totat dat arrat vat hilat .
9a. totat nnat quat oloat at-yurp .
4c. ok-voon anok drok brok jok .
10c. lalok mok nok yorok ghirok clok .
4a. at-voon krat pippat sat lat .
10a. wat nnat gat mat bat hilat .
5c. wiwok farok izok stok .
11c. lalok nok crrrok hihok yorok zanzanok .
5a. totat jjat quat cat .
11a. wat nnat arrat mat zanzanat .
6c. lalok sprok izok jok stok .
12c. lalok rarok nok izok hihok mok .
6a. wat dat krat quat cat .
12a. wat nnat forat arrat vat gat . (Knight,1997)
2011/01/11
26
farok crrrok hihok yorok clok kantok ok-yurp 1c. ok-voon ororok sprok .
7c. lalok farok ororok lalok sprok izok enemok .
1a. at-voon bichat dat .
7a. wat jjat bichat wat dat vat eneat .
2c. ok-drubel ok-voon anok plok sprok .
8c. lalok brok anok plok nok .
2a. at-drubel at-voon pippat rrat dat .
8a. iat lat pippat rrat nnat .
3c. erok sprok izok hihok ghirok .
9c. wiwok nok izok kantok ok-yurp .
3a. totat dat arrat vat hilat .
9a. totat nnat quat oloat at-yurp .
4c. ok-voon anok drok brok jok .
10c. lalok mok nok yorok ghirok clok .
4a. at-voon krat pippat sat lat .
10a. wat nnat gat mat bat hilat .
5c. wiwok farok izok stok .
11c. lalok nok crrrok hihok yorok zanzanok .
5a. totat jjat quat cat .
11a. wat nnat arrat mat zanzanat .
6c. lalok sprok izok jok stok .
12c. lalok rarok nok izok hihok mok .
6a. wat dat krat quat cat .
12a. wat nnat forat arrat vat gat . (Knight,1997)
2011/01/11
27
farok crrrok hihok yorok clok kantok ok-yurp 1c. ok-voon ororok sprok .
7c. lalok farok ororok lalok sprok izok enemok .
1a. at-voon bichat dat .
7a. wat jjat bichat wat dat vat eneat .
2c. ok-drubel ok-voon anok plok sprok .
8c. lalok brok anok plok nok .
2a. at-drubel at-voon pippat rrat dat .
8a. iat lat pippat rrat nnat .
3c. erok sprok izok hihok ghirok .
9c. wiwok nok izok kantok ok-yurp .
3a. totat dat arrat vat hilat .
9a. totat nnat quat oloat at-yurp .
4c. ok-voon anok drok brok jok .
10c. lalok mok nok yorok ghirok clok .
4a. at-voon krat pippat sat lat .
10a. wat nnat gat mat bat hilat .
5c. wiwok farok izok stok .
11c. lalok nok crrrok hihok yorok zanzanok .
5a. totat jjat quat cat .
11a. wat nnat arrat mat zanzanat .
6c. lalok sprok izok jok stok .
12c. lalok rarok nok izok hihok mok .
6a. wat dat krat quat cat .
12a. wat nnat forat arrat vat gat . (Knight,1997)
2011/01/11
28
A SCI-FI EXAMPLE (KNIGHT, 1997)
Your assignment: translate this Centauri sentence into Arcturan farok crrrok hihok yorok clok kantok ok-yurp jjat arrat mat bat oloat at-yurp Next: put the Arcturan words in Arcturan order 2011/01/11
29
Clients do not sell pharmaceuticals in Europe . 1e. Garcia and associates . 1s. Garcia y asociados .
7e. the clients and the associates are enemies . 7s. los clients y los asociados son enemigos .
2e. Carlos Garcia has three associates . 2s. Carlos Garcia tiene tres asociados .
8e. the company has three groups . 8s. la empresa tiene tres grupos .
3e. his associates are not strong . 3s. sus asociados no son fuertes .
9e. its groups are in Europe . 9s. sus grupos estan en Europa .
4e. Garcia has a company also . 10e. the modern groups sell strong pharmaceuticals . 4s. Garcia tambien tiene una empresa . 10s. los grupos modernos venden medicinas fuertes . 5e. its clients are angry . 5s. sus clientes estan enfadados .
11e. the groups do not sell zenzanine . 11s. los grupos no venden zanzanina .
6e. the associates are also angry . 6s. los asociados tambien estan enfadados .
12e. the small groups are not modern . 12s. los grupos pequenos no son modernos . (Knight,1997)
2011/01/11
30
TRANSLATION AS DECODING e
f
arg max p(e | f ) = arg max p(e, f ) e
e
= arg max p(e)p( f | e) e
2011/01/11
31
OVERVIEW • Word-based • Language
alignment and translation
models
• Evaluation • Phrase-based
translation
• Discriminative
training
• Interlude: Subword • Syntax-based 2011/01/11
translation
translation 32
