add-apt-repository, python kommt durch proxy nicht mehr hinaus

[Drago S. (mratix)]

Moin zusammen,

ich stehe gerade auf dem Schlauch und komme nicht weiter.
Es betrifft ein frisch re-installiertes Ubuntu bionic. Das Gerät hängt, 
nach wie vor, netzwerktechnisch unverändert - an gleicher Stelle im 
gleichen Subnetz.

Infrastruktur: Oben drüber sitzt eine OPNsense, die sich für einige 
Subnetze kümmert. Sie fängt u.a. samtlichen http, https, ftp-Verkehr ab 
und leitet ihn transparent durch den Proxy. Ausreißer und Kandidaten die 
aus der Reihe tanzen, werden umgeschrieben und durch den Proxy mit 
Filter gezwungen. Direkte Ausgänge vorbei herum gibt es nicht, sie 
ersticken im Timeout.
Für Paketierungsanfragen (apt) steht, eine Ebene darüber, ein apt-cacher 
zur Verfügung. An ihn werden alle Paketanfragen, aller Geräte aus allen 
Subnetzen gerichtet. Auch er verrichtet seinen Dienst sehr lobenswert.

Bei der frischen Neuinstallation sind die proxy-exports gesetzt (in 
klein und groß). Alle apt-Aktionen funktionieren und finden den 
apt-cacher ohne Verzögerung oder zu murren.

Problem stellt nur add-apt-repository dar. Etwa ein-zwei Minuten kommt 
nichts, dann ein Timeout in Form

sudo add-apt-repository ppa:kicad/kicad-5.1-releases
Cannot add PPA: 'ppa:~kicad/ubuntu/kicad-5.1-releases'.
ERROR: '~kicad' user or team does not exist.

Wenn ich das ganze vorher abbreche, sehe ich

sudo add-apt-repository ppa:kicad/kicad-5.1-releases
^CTraceback (most recent call last):
  File "/usr/bin/add-apt-repository", line 137, in <module>
    shortcut = shortcut_handler(line)
  File "/usr/lib/python3/dist-packages/softwareproperties/SoftwareProperties.py", line 868, in shortcut_handler
    ret = factory(shortcut)
  File "/usr/lib/python3/dist-packages/softwareproperties/ppa.py", line 398, in shortcut_handler
    return PPAShortcutHandler(shortcut)
  File "/usr/lib/python3/dist-packages/softwareproperties/ppa.py", line 355, in __init__
    info = get_ppa_info(self.shortcut)
  File "/usr/lib/python3/dist-packages/softwareproperties/ppa.py", line 326, in get_ppa_info
    ret = get_ppa_info_from_lp(user, ppa)
  File "/usr/lib/python3/dist-packages/softwareproperties/ppa.py", line 101, in get_ppa_info_from_lp
    return get_info_from_lp(lp_url)
  File "/usr/lib/python3/dist-packages/softwareproperties/ppa.py", line 95, in get_info_from_lp
    return get_info_from_https(lp_url, True)
  File "/usr/lib/python3/dist-packages/softwareproperties/ppa.py", line 88, in get_info_from_https
    data = _get_https_content_py3(url, accept_json)
  File "/usr/lib/python3/dist-packages/softwareproperties/ppa.py", line 120, in _get_https_content_py3
    lp_page = urllib.request.urlopen(request, cafile=LAUNCHPAD_PPA_CERT)
  File "/usr/lib/python3.6/urllib/request.py", line 223, in urlopen
    return opener.open(url, data, timeout)
  File "/usr/lib/python3.6/urllib/request.py", line 526, in open
    response = self._open(req, data)
  File "/usr/lib/python3.6/urllib/request.py", line 544, in _open
    '_open', req)
  File "/usr/lib/python3.6/urllib/request.py", line 504, in _call_chain
    result = func(*args)
  File "/usr/lib/python3.6/urllib/request.py", line 1368, in https_open
    context=self._context, check_hostname=self._check_hostname)
  File "/usr/lib/python3.6/urllib/request.py", line 1325, in do_open
    encode_chunked=req.has_header('Transfer-encoding'))
  File "/usr/lib/python3.6/http/client.py", line 1281, in request
    self._send_request(method, url, body, headers, encode_chunked)
  File "/usr/lib/python3.6/http/client.py", line 1327, in _send_request
    self.endheaders(body, encode_chunked=encode_chunked)
  File "/usr/lib/python3.6/http/client.py", line 1276, in endheaders
    self._send_output(message_body, encode_chunked=encode_chunked)
  File "/usr/lib/python3.6/http/client.py", line 1042, in _send_output
    self.send(msg)
  File "/usr/lib/python3.6/http/client.py", line 980, in send
    self.connect()
  File "/usr/lib/python3.6/http/client.py", line 1434, in connect
    super().connect()
  File "/usr/lib/python3.6/http/client.py", line 952, in connect
    (self.host,self.port), self.timeout, self.source_address)
  File "/usr/lib/python3.6/socket.py", line 713, in create_connection
    sock.connect(sa)
KeyboardInterrupt

OK, python hat anscheinend Probleme hinaus zu kommen.

Hier die entsprechende(n) Verbindung(en) zur Anfrage.

Proto Recv-Q Send-Q Local Address           Foreign Address         State      
tcp        0      0 10.16.1.50:38426        10.16.1.254:3128        VERBUNDEN  
tcp        0      1 10.16.1.50:42078        91.189.89.223:443       SYN_SENT   
tcp        0      0 10.16.1.50:39954        10.16.1.254:3128        TIME_WAIT

Am Proxy sehe ich keine Anfrage, auch kein deny oder die Umleitung, die 
folgen sollte. Die 2+3 Verbindung hier wurde auch nicht abgefangen und 
umgeschrieben.

Ein kleiner check

nslookup 91.189.89.223
223.89.189.91.in-addr.arpa  name = launchpad-net.banana.canonical.com.

Ich kann mich nicht erinnern, dass es jemals (bis xenial) wo anders, als 
unter *.launchpad.net abgelegt war.
Zumindest habe/hatte ich bisher canonical.com auf der Unbound DNS 
blacklist. Und die muss unter allen Umständen wieder da drauf :)

Gut, ich könnte nun eine weitere Sonderwurscht eintragen

cat /etc/apt/apt.conf
Acquire::ForceIPv4 "true";
Acquire::http::Proxy::localhost "DIRECT";
Acquire::http::Proxy::cronet.local "DIRECT";
Acquire::https::Proxy::download.oracle.com "DIRECT";
Acquire::https::Proxy::download.docker.com "DIRECT";
Acquire::https::Proxy::registry-1.docker.io "DIRECT";
Acquire::https::Proxy::deb.nodesource.com "DIRECT";
Acquire::https::Proxy::packages.grafana.com "DIRECT";
Acquire::https::Proxy::repos.influxdata.com "DIRECT";
Acquire::http { Proxy "http://192.168.178.55:3142"; };
Acquire::https { Proxy "http://192.168.178.55:3142"; };
Acquire::ftp { Proxy "http://192.168.178.55:3142"; };

nur kann das nicht die Lösung sein. Bis xenial hatte ich damit keinen 
Stress.
Wäre es nur das add-apt-repository könnte man ja die Äuglein zudrücken. 
Nur geht es weiter mit pip3 und anderen python-Zeugs.

Habt ihr Ideen, Vorschläge oder gar eine Lösung?
Wie bringe ich python den Proxybetrieb nun bei? Was wurde verändert, 
dass er/es sich weder an ${https_proxy}, noch apt.conf hält?
Segelt launchpad nun endgültig unter Canonical-Flagge und schleust 
weitere Sauereien ein?
...

[Drago S. (mratix)]

Hier ist was https://pypi.org/project/proxy.py/

sudo apt install python-pip python3-pip
pip3 install --upgrade proxy.py

Nur dumm, dass pip/pip3 nicht am Proxy vorbei kommt, um sich das plugin 
für den Proxy zu installieren, damit es später benutzt werden kann.

Hirn lass es regnen :)

---
Nachtrag:

export https_proxy=https://10.16.1.254:3128
export http_proxy=$https_proxy
export ftp_proxy=$https_proxy
pip3 completion --bash >> ~/.profile
pip3 install --proxy ${https_proxy} --upgrade setuptools
pip3 install --proxy ${https_proxy} --upgrade proxy

OK, das funktioniert schon mal. Vorher gehe ich eine Runde schlafen...

[Drago S. (mratix)]

Es hat mir keine Ruhe gegeben. Hier die finale Lösung:

sudo visudo
Defaults        env_keep+="http_proxy https_proxy no_proxy"

Entschuldigt bitte das zutexten und geführte Selbstgespräch. Es war eine 
lange Nacht.