fix fetch_langauges to be more accurate

Add languages supported by either all default general engines or 10 engines.

searx/engines/duckduckgo.py

@@ -23,7 +23,7 @@ from searx.url_utils import urlencode
 categories = ['general']
 paging = True
 language_support = True
-supported_languages_url = 'https://duckduckgo.com/d2030.js'
+supported_languages_url = 'https://duckduckgo.com/util/u172.js'
 time_range_support = True
 
 # search-url

searx/engines/google.py

@@ -72,7 +72,7 @@ country_to_hostname = {
     'RO': 'www.google.ro',  # Romania
     'RU': 'www.google.ru',  # Russia
     'SK': 'www.google.sk',  # Slovakia
-    'SL': 'www.google.si',  # Slovenia (SL -> si)
+    'SI': 'www.google.si',  # Slovenia
     'SE': 'www.google.se',  # Sweden
     'TH': 'www.google.co.th',  # Thailand
     'TR': 'www.google.com.tr',  # Turkey

searx/languages.py

@@ -5,11 +5,7 @@
 language_codes = (
     (u"ar-SA", u"العربية", u"", u"Arabic"),
     (u"bg-BG", u"Български", u"", u"Bulgarian"),
-    (u"ca", u"Català", u"", u"Catalan"),
-    (u"ca-AD", u"Català", u"Andorra", u"Catalan"),
-    (u"ca-CT", u"Català", u"", u"Catalan"),
-    (u"ca-ES", u"Català", u"Espanya", u"Catalan"),
-    (u"ca-FR", u"Català", u"França", u"Catalan"),
+    (u"ca-ES", u"Català", u"", u"Catalan"),
     (u"cs-CZ", u"Čeština", u"", u"Czech"),
     (u"da-DK", u"Dansk", u"", u"Danish"),
     (u"de", u"Deutsch", u"", u"German"),
@@ -21,55 +17,51 @@ language_codes = (
     (u"en-AU", u"English", u"Australia", u"English"),
     (u"en-CA", u"English", u"Canada", u"English"),
     (u"en-GB", u"English", u"United Kingdom", u"English"),
-    (u"en-ID", u"English", u"Indonesia", u"English"),
-    (u"en-IE", u"English", u"Ireland", u"English"),
     (u"en-IN", u"English", u"India", u"English"),
     (u"en-MY", u"English", u"Malaysia", u"English"),
-    (u"en-NZ", u"English", u"New Zealand", u"English"),
-    (u"en-PH", u"English", u"Philippines", u"English"),
-    (u"en-SG", u"English", u"Singapore", u"English"),
     (u"en-US", u"English", u"United States", u"English"),
-    (u"en-ZA", u"English", u"South Africa", u"English"),
     (u"es", u"Español", u"", u"Spanish"),
-    (u"es-AD", u"Español", u"Andorra", u"Spanish"),
     (u"es-AR", u"Español", u"Argentina", u"Spanish"),
-    (u"es-CL", u"Español", u"Chile", u"Spanish"),
-    (u"es-CO", u"Español", u"Colombia", u"Spanish"),
     (u"es-ES", u"Español", u"España", u"Spanish"),
     (u"es-MX", u"Español", u"México", u"Spanish"),
-    (u"es-PE", u"Español", u"Perú", u"Spanish"),
-    (u"es-US", u"Español", u"Estados Unidos", u"Spanish"),
     (u"et-EE", u"Eesti", u"", u"Estonian"),
+    (u"fa-IR", u"فارسی", u"", u"Persian"),
     (u"fi-FI", u"Suomi", u"", u"Finnish"),
     (u"fr", u"Français", u"", u"French"),
-    (u"fr-AD", u"Français", u"Andorre", u"French"),
     (u"fr-BE", u"Français", u"Belgique", u"French"),
     (u"fr-CA", u"Français", u"Canada", u"French"),
     (u"fr-CH", u"Français", u"Suisse", u"French"),
     (u"fr-FR", u"Français", u"France", u"French"),
     (u"he-IL", u"עברית", u"", u"Hebrew"),
+    (u"hr-HR", u"Hrvatski", u"", u"Croatian"),
     (u"hu-HU", u"Magyar", u"", u"Hungarian"),
-    (u"it", u"Italiano", u"", u"Italian"),
-    (u"it-CH", u"Italiano", u"Svizzera", u"Italian"),
-    (u"it-IT", u"Italiano", u"Italia", u"Italian"),
+    (u"id-ID", u"Indonesia", u"", u"Indonesian"),
+    (u"is-IS", u"Íslenska", u"", u"Icelandic"),
+    (u"it-IT", u"Italiano", u"", u"Italian"),
     (u"ja-JP", u"日本語", u"", u"Japanese"),
     (u"ko-KR", u"한국어", u"", u"Korean"),
+    (u"lt-LT", u"Lietuvių", u"", u"Lithuanian"),
+    (u"lv-LV", u"Latviešu", u"", u"Latvian"),
+    (u"ms-MY", u"Bahasa Melayu", u"", u"Malay"),
+    (u"nb-NO", u"Norsk Bokmål", u"", u"Norwegian Bokmål"),
     (u"nl", u"Nederlands", u"", u"Dutch"),
     (u"nl-BE", u"Nederlands", u"België", u"Dutch"),
     (u"nl-NL", u"Nederlands", u"Nederland", u"Dutch"),
-    (u"no-NO", u"Norsk", u"", u"Norwegian"),
     (u"pl-PL", u"Polski", u"", u"Polish"),
     (u"pt", u"Português", u"", u"Portuguese"),
-    (u"pt-AD", u"Português", u"Andorra", u"Portuguese"),
     (u"pt-BR", u"Português", u"Brasil", u"Portuguese"),
     (u"pt-PT", u"Português", u"Portugal", u"Portuguese"),
     (u"ro-RO", u"Română", u"", u"Romanian"),
     (u"ru-RU", u"Русский", u"", u"Russian"),
+    (u"sk-SK", u"Slovenčina", u"", u"Slovak"),
+    (u"sl-SI", u"Slovenščina", u"", u"Slovenian"),
+    (u"sr-RS", u"Српски", u"", u"Serbian"),
     (u"sv-SE", u"Svenska", u"", u"Swedish"),
     (u"th-TH", u"ไทย", u"", u"Thai"),
     (u"tr-TR", u"Türkçe", u"", u"Turkish"),
+    (u"uk-UA", u"Українська", u"", u"Ukrainian"),
+    (u"vi-VN", u"Tiếng Việt", u"", u"Vietnamese"),
     (u"zh", u"中文", u"", u"Chinese"),
     (u"zh-CN", u"中文", u"中国", u"Chinese"),
-    (u"zh-HK", u"中文", u"香港", u"Chinese"),
-    (u"zh-TW", u"中文", u"台湾", u"Chinese")
+    (u"zh-TW", u"中文", u"台灣", u"Chinese")
 )