您当前的位置： 首页 > 慢生活 > 程序人生 网站首页程序人生

35、Service Ingress(vi小技巧co)(补充2)

发布时间：2022-12-29 13:43:46编辑：雪饮阅读（）

使用非github下载的mandatory并修改后接下来像是

35、Service Ingress(vi小技巧co) (gaojiupan.cn)

中剩余的多个虚拟主机的访问的实验也是可以成功的。

但是当访问某个虚拟主机的时候可能会出现错误如：

503 Service Temporarily Unavailable

有可能是某个虚拟主机出现了两条ingress

[root@k8s-master01 ingress-vh]# kubectl get ingress

NAME         HOSTS              ADDRESS         PORTS   AGE

ingress1     www1.atguigu.com   10.96.114.103   80      4m1s

ingress2     www2.atguigu.com   10.96.114.103   80      4m1s

nginx-test   www1.atguigu.com   10.96.114.103   80      3h21m

可能是上次实验环境没有清理干净所致，再次手动删除一个即可

[root@k8s-master01 ingress-vh]# kubectl delete ingress nginx-test

ingress.extensions "nginx-test" deleted

目前发现这种问题就出现在访问某个虚拟主机的hostname.html时候出现问题，若仅仅访问虚拟主机主机域名+端口是没有问题的。这次再看之前的那个ingress-controller容器内部的nginx.conf的配置文件也已经生成，不再空空如也

[root@k8s-master01 ingress-vh]# kubectl exec nginx-ingress-controller-5cb7db844-87pwz -n ingress-nginx -it -- /bin/bash

bash-5.0$ cat nginx.conf

 

# Configuration checksum: 8558844563788833648

 

# setup custom paths that do not require root access

pid /tmp/nginx.pid;

 

daemon off;

 

worker_processes 2;

 

worker_rlimit_nofile 26352457;

 

worker_shutdown_timeout 240s ;

 

events {

        multi_accept        on;

        worker_connections  16384;

        use                 epoll;

}

 

http {

        lua_package_path "/etc/nginx/lua/?.lua;;";

 

        lua_shared_dict balancer_ewma 10M;

        lua_shared_dict balancer_ewma_last_touched_at 10M;

        lua_shared_dict balancer_ewma_locks 1M;

        lua_shared_dict certificate_data 20M;

        lua_shared_dict certificate_servers 5M;

        lua_shared_dict configuration_data 20M;

 

        init_by_lua_block {

                collectgarbage("collect")

 

                -- init modules

                local ok, res

 

                ok, res = pcall(require, "lua_ingress")

                if not ok then

                error("require failed: " .. tostring(res))

                else

                lua_ingress = res

                lua_ingress.set_config({

                        use_forwarded_headers = false,

                        use_proxy_protocol = false,

                        is_ssl_passthrough_enabled = false,

                        http_redirect_code = 308,

                listen_ports = { ssl_proxy = "442", https = "443" },

 

                        hsts = true,

                        hsts_max_age = 15724800,

                        hsts_include_subdomains = true,

                        hsts_preload = false,

                })

                end

 

                ok, res = pcall(require, "configuration")

                if not ok then

                error("require failed: " .. tostring(res))

                else

                configuration = res

                end

 

                ok, res = pcall(require, "balancer")

                if not ok then

                error("require failed: " .. tostring(res))

                else

                balancer = res

                end

 

                ok, res = pcall(require, "monitor")

                if not ok then

                error("require failed: " .. tostring(res))

                else

                monitor = res

                end

 

                ok, res = pcall(require, "certificate")

                if not ok then

                error("require failed: " .. tostring(res))

                else

                certificate = res

                end

 

                ok, res = pcall(require, "plugins")

                if not ok then

                error("require failed: " .. tostring(res))

                else

                plugins = res

                end

                -- load all plugins that'll be used here

        plugins.init({})

        }

 

        init_worker_by_lua_block {

                lua_ingress.init_worker()

                balancer.init_worker()

 

                monitor.init_worker()

 

                plugins.run()

        }

 

        geoip_country       /etc/nginx/geoip/GeoIP.dat;

        geoip_city          /etc/nginx/geoip/GeoLiteCity.dat;

        geoip_org           /etc/nginx/geoip/GeoIPASNum.dat;

        geoip_proxy_recursive on;

 

        aio                 threads;

        aio_write           on;

 

        tcp_nopush          on;

        tcp_nodelay         on;

 

        log_subrequest      on;

 

        reset_timedout_connection on;

 

        keepalive_timeout  75s;

        keepalive_requests 100;

 

        client_body_temp_path           /tmp/client-body;

        fastcgi_temp_path               /tmp/fastcgi-temp;

        proxy_temp_path                 /tmp/proxy-temp;

        ajp_temp_path                   /tmp/ajp-temp;

 

        client_header_buffer_size       1k;

        client_header_timeout           60s;

        large_client_header_buffers     4 8k;

        client_body_buffer_size         8k;

        client_body_timeout             60s;

 

        http2_max_field_size            4k;

        http2_max_header_size           16k;

        http2_max_requests              1000;

        http2_max_concurrent_streams    128;

 

        types_hash_max_size             2048;

        server_names_hash_max_size      1024;

        server_names_hash_bucket_size   64;

        map_hash_bucket_size            64;

 

        proxy_headers_hash_max_size     512;

        proxy_headers_hash_bucket_size  64;

 

        variables_hash_bucket_size      256;

        variables_hash_max_size         2048;

 

        underscores_in_headers          off;

        ignore_invalid_headers          on;

 

        limit_req_status                503;

        limit_conn_status               503;

 

        include /etc/nginx/mime.types;

        default_type text/html;

 

        gzip on;

        gzip_comp_level 5;

        gzip_http_version 1.1;

        gzip_min_length 256;

        gzip_types application/atom+xml application/javascript application/x-javascript application/json application/rss+xml application/vnd.ms-fontobject application/x-font-ttf application/x-web-app-manifest+json application/xhtml+xml application/xml font/opentype image/svg+xml image/x-icon text/css text/javascript text/plain text/x-component;

        gzip_proxied any;

        gzip_vary on;

 

        # Custom headers for response

 

        server_tokens on;

 

        # disable warnings

        uninitialized_variable_warn off;

 

        # Additional available variables:

        # $namespace

        # $ingress_name

        # $service_name

        # $service_port

        log_format upstreaminfo '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" $request_length $request_time [$proxy_upstream_name] [$proxy_alternative_upstream_name] $upstream_addr $upstream_response_length $upstream_response_time $upstream_status $req_id';

 

        map $request_uri $loggable {

 

                default 1;

        }

 

        access_log /var/log/nginx/access.log upstreaminfo  if=$loggable;

 

        error_log  /var/log/nginx/error.log notice;

 

        resolver 192.168.66.1 114.114.114.114 valid=30s ipv6=off;

 

        # See https://www.nginx.com/blog/websocket-nginx

        map $http_upgrade $connection_upgrade {

                default          upgrade;

 

                # See http://nginx.org/en/docs/http/ngx_http_upstream_module.html#keepalive

                ''               '';

 

        }

 

        # Reverse proxies can detect if a client provides a X-Request-ID header, and pass it on to the backend server.

        # If no such header is provided, it can provide a random value.

        map $http_x_request_id $req_id {

                default   $http_x_request_id;

 

                ""        $request_id;

 

        }

 

        # Create a variable that contains the literal $ character.

        # This works because the geo module will not resolve variables.

        geo $literal_dollar {

                default "$";

        }

 

        server_name_in_redirect off;

        port_in_redirect        off;

 

        ssl_protocols TLSv1.2;

 

        ssl_early_data off;

 

        # turn on session caching to drastically improve performance

 

        ssl_session_cache builtin:1000 shared:SSL:10m;

        ssl_session_timeout 10m;

 

        # allow configuring ssl session tickets

        ssl_session_tickets on;

 

        # slightly reduce the time-to-first-byte

        ssl_buffer_size 4k;

 

        # allow configuring custom ssl ciphers

        ssl_ciphers 'ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384';

        ssl_prefer_server_ciphers on;

 

        ssl_ecdh_curve auto;

 

        # PEM sha: 6cf7d3772b95072f9e52733e9f9c199e90bf6379

        ssl_certificate     /etc/ingress-controller/ssl/default-fake-certificate.pem;

        ssl_certificate_key /etc/ingress-controller/ssl/default-fake-certificate.pem;

 

        proxy_ssl_session_reuse on;

 

        upstream upstream_balancer {

                ### Attention!!!

                #

                # We no longer create "upstream" section for every backend.

                # Backends are handled dynamically using Lua. If you would like to debug

                # and see what backends ingress-nginx has in its memory you can

                # install our kubectl plugin https://kubernetes.github.io/ingress-nginx/kubectl-plugin.

                # Once you have the plugin you can use "kubectl ingress-nginx backends" command to

                # inspect current backends.

                #

                ###

 

                server 0.0.0.1; # placeholder

 

                balancer_by_lua_block {

                        balancer.balance()

                }

 

                keepalive 32;

 

                keepalive_timeout  60s;

                keepalive_requests 100;

 

        }

 

        # Cache for internal auth checks

        proxy_cache_path /tmp/nginx-cache-auth levels=1:2 keys_zone=auth_cache:10m max_size=128m inactive=30m use_temp_path=off;

 

        # Global filters

 

        ## start server _

        server {

                server_name _ ;

 

                listen 80 default_server reuseport backlog=4096 ;

                listen 443 default_server reuseport backlog=4096 ssl http2 ;

 

                set $proxy_upstream_name "-";

 

                ssl_certificate_by_lua_block {

                        certificate.call()

                }

 

                location / {

 

                        set $namespace      "";

                        set $ingress_name   "";

                        set $service_name   "";

                        set $service_port   "";

                        set $location_path  "/";

 

                        rewrite_by_lua_block {

                                lua_ingress.rewrite({

                                        force_ssl_redirect = false,

                                        ssl_redirect = false,

                                        force_no_ssl_redirect = false,

                                        use_port_in_redirects = false,

                                })

                                balancer.rewrite()

                                plugins.run()

                        }

 

                        # be careful with `access_by_lua_block` and `satisfy any` directives as satisfy any

                        # will always succeed when there's `access_by_lua_block` that does not have any lua code doing `ngx.exit(ngx.DECLINED)`

                        # other authentication method such as basic auth or external auth useless - all requests will be allowed.

                        #access_by_lua_block {

                        #}

 

                        header_filter_by_lua_block {

                                lua_ingress.header()

                                plugins.run()

                        }

 

                        body_filter_by_lua_block {

                        }

 

                        log_by_lua_block {

                                balancer.log()

 

                                monitor.call()

 

                                plugins.run()

                        }

 

                        access_log off;

 

                        port_in_redirect off;

 

                        set $balancer_ewma_score -1;

                        set $proxy_upstream_name "upstream-default-backend";

                        set $proxy_host          $proxy_upstream_name;

                        set $pass_access_scheme  $scheme;

 

                        set $pass_server_port    $server_port;

 

                        set $best_http_host      $http_host;

                        set $pass_port           $pass_server_port;

 

                        set $proxy_alternative_upstream_name "";

 

                        client_max_body_size                    1m;

 

                        proxy_set_header Host                   $best_http_host;

 

                        # Pass the extracted client certificate to the backend

 

                        # Allow websocket connections

                        proxy_set_header                        Upgrade           $http_upgrade;

 

                        proxy_set_header                        Connection        $connection_upgrade;

 

                        proxy_set_header X-Request-ID           $req_id;

                        proxy_set_header X-Real-IP              $remote_addr;

 

                        proxy_set_header X-Forwarded-For        $remote_addr;

 

                        proxy_set_header X-Forwarded-Host       $best_http_host;

                        proxy_set_header X-Forwarded-Port       $pass_port;

                        proxy_set_header X-Forwarded-Proto      $pass_access_scheme;

 

                        proxy_set_header X-Scheme               $pass_access_scheme;

 

                        # Pass the original X-Forwarded-For

                        proxy_set_header X-Original-Forwarded-For $http_x_forwarded_for;

 

                        # mitigate HTTPoxy Vulnerability

                        # https://www.nginx.com/blog/mitigating-the-httpoxy-vulnerability-with-nginx/

                        proxy_set_header Proxy                  "";

 

                        # Custom headers to proxied server

 

                        proxy_connect_timeout                   5s;

                        proxy_send_timeout                      60s;

                        proxy_read_timeout                      60s;

 

                        proxy_buffering                         off;

                        proxy_buffer_size                       4k;

                        proxy_buffers                           4 4k;

 

                        proxy_max_temp_file_size                1024m;

 

                        proxy_request_buffering                 on;

                        proxy_http_version                      1.1;

 

                        proxy_cookie_domain                     off;

                        proxy_cookie_path                       off;

 

                        # In case of errors try the next upstream server before returning an error

                        proxy_next_upstream                     error timeout;

                        proxy_next_upstream_timeout             0;

                        proxy_next_upstream_tries               3;

 

                        proxy_pass http://upstream_balancer;

 

                        proxy_redirect                          off;

 

                }

 

                # health checks in cloud providers require the use of port 80

                location /healthz {

 

                        access_log off;

                        return 200;

                }

 

                # this is required to avoid error if nginx is being monitored

                # with an external software (like sysdig)

                location /nginx_status {

 

                        allow 127.0.0.1;

 

                        deny all;

 

                        access_log off;

                        stub_status on;

                }

 

        }

        ## end server _

 

        ## start server www1.atguigu.com

        server {

                server_name www1.atguigu.com ;

 

                listen 80  ;

                listen 443  ssl http2 ;

 

                set $proxy_upstream_name "-";

 

                ssl_certificate_by_lua_block {

                        certificate.call()

                }

 

                location / {

 

                        set $namespace      "default";

                        set $ingress_name   "nginx-test";

                        set $service_name   "nginx-svc";

                        set $service_port   "80";

                        set $location_path  "/";

 

                        rewrite_by_lua_block {

                                lua_ingress.rewrite({

                                        force_ssl_redirect = false,

                                        ssl_redirect = true,

                                        force_no_ssl_redirect = false,

                                        use_port_in_redirects = false,

                                })

                                balancer.rewrite()

                                plugins.run()

                        }

 

                        # be careful with `access_by_lua_block` and `satisfy any` directives as satisfy any

                        # will always succeed when there's `access_by_lua_block` that does not have any lua code doing `ngx.exit(ngx.DECLINED)`

                        # other authentication method such as basic auth or external auth useless - all requests will be allowed.

                        #access_by_lua_block {

                        #}

 

                        header_filter_by_lua_block {

                                lua_ingress.header()

                                plugins.run()

                        }

 

                        body_filter_by_lua_block {

                        }

 

                        log_by_lua_block {

                                balancer.log()

 

                                monitor.call()

 

                                plugins.run()

                        }

 

                        port_in_redirect off;

 

                        set $balancer_ewma_score -1;

                        set $proxy_upstream_name "default-nginx-svc-80";

                        set $proxy_host          $proxy_upstream_name;

                        set $pass_access_scheme  $scheme;

 

                        set $pass_server_port    $server_port;

 

                        set $best_http_host      $http_host;

                        set $pass_port           $pass_server_port;

 

                        set $proxy_alternative_upstream_name "";

 

                        client_max_body_size                    1m;

 

                        proxy_set_header Host                   $best_http_host;

 

                        # Pass the extracted client certificate to the backend

 

                        # Allow websocket connections

                        proxy_set_header                        Upgrade           $http_upgrade;

 

                        proxy_set_header                        Connection        $connection_upgrade;

 

                        proxy_set_header X-Request-ID           $req_id;

                        proxy_set_header X-Real-IP              $remote_addr;

 

                        proxy_set_header X-Forwarded-For        $remote_addr;

 

                        proxy_set_header X-Forwarded-Host       $best_http_host;

                        proxy_set_header X-Forwarded-Port       $pass_port;

                        proxy_set_header X-Forwarded-Proto      $pass_access_scheme;

 

                        proxy_set_header X-Scheme               $pass_access_scheme;

 

                        # Pass the original X-Forwarded-For

                        proxy_set_header X-Original-Forwarded-For $http_x_forwarded_for;

 

                        # mitigate HTTPoxy Vulnerability

                        # https://www.nginx.com/blog/mitigating-the-httpoxy-vulnerability-with-nginx/

                        proxy_set_header Proxy                  "";

 

                        # Custom headers to proxied server

 

                        proxy_connect_timeout                   5s;

                        proxy_send_timeout                      60s;

                        proxy_read_timeout                      60s;

 

                        proxy_buffering                         off;

                        proxy_buffer_size                       4k;

                        proxy_buffers                           4 4k;

 

                        proxy_max_temp_file_size                1024m;

 

                        proxy_request_buffering                 on;

                        proxy_http_version                      1.1;

 

                        proxy_cookie_domain                     off;

                        proxy_cookie_path                       off;

 

                        # In case of errors try the next upstream server before returning an error

                        proxy_next_upstream                     error timeout;

                        proxy_next_upstream_timeout             0;

                        proxy_next_upstream_tries               3;

 

                        proxy_pass http://upstream_balancer;

 

                        proxy_redirect                          off;

 

                }

 

        }

        ## end server www1.atguigu.com

 

        ## start server www2.atguigu.com

        server {

                server_name www2.atguigu.com ;

 

                listen 80  ;

                listen 443  ssl http2 ;

 

                set $proxy_upstream_name "-";

 

                ssl_certificate_by_lua_block {

                        certificate.call()

                }

 

                location / {

 

                        set $namespace      "default";

                        set $ingress_name   "ingress2";

                        set $service_name   "svc-2";

                        set $service_port   "80";

                        set $location_path  "/";

 

                        rewrite_by_lua_block {

                                lua_ingress.rewrite({

                                        force_ssl_redirect = false,

                                        ssl_redirect = true,

                                        force_no_ssl_redirect = false,

                                        use_port_in_redirects = false,

                                })

                                balancer.rewrite()

                                plugins.run()

                        }

 

                        # be careful with `access_by_lua_block` and `satisfy any` directives as satisfy any

                        # will always succeed when there's `access_by_lua_block` that does not have any lua code doing `ngx.exit(ngx.DECLINED)`

                        # other authentication method such as basic auth or external auth useless - all requests will be allowed.

                        #access_by_lua_block {

                        #}

 

                        header_filter_by_lua_block {

                                lua_ingress.header()

                                plugins.run()

                        }

 

                        body_filter_by_lua_block {

                        }

 

                        log_by_lua_block {

                                balancer.log()

 

                                monitor.call()

 

                                plugins.run()

                        }

 

                        port_in_redirect off;

 

                        set $balancer_ewma_score -1;

                        set $proxy_upstream_name "default-svc-2-80";

                        set $proxy_host          $proxy_upstream_name;

                        set $pass_access_scheme  $scheme;

 

                        set $pass_server_port    $server_port;

 

                        set $best_http_host      $http_host;

                        set $pass_port           $pass_server_port;

 

                        set $proxy_alternative_upstream_name "";

 

                        client_max_body_size                    1m;

 

                        proxy_set_header Host                   $best_http_host;

 

                        # Pass the extracted client certificate to the backend

 

                        # Allow websocket connections

                        proxy_set_header                        Upgrade           $http_upgrade;

 

                        proxy_set_header                        Connection        $connection_upgrade;

 

                        proxy_set_header X-Request-ID           $req_id;

                        proxy_set_header X-Real-IP              $remote_addr;

 

                        proxy_set_header X-Forwarded-For        $remote_addr;

 

                        proxy_set_header X-Forwarded-Host       $best_http_host;

                        proxy_set_header X-Forwarded-Port       $pass_port;

                        proxy_set_header X-Forwarded-Proto      $pass_access_scheme;

 

                        proxy_set_header X-Scheme               $pass_access_scheme;

 

                        # Pass the original X-Forwarded-For

                        proxy_set_header X-Original-Forwarded-For $http_x_forwarded_for;

 

                        # mitigate HTTPoxy Vulnerability

                        # https://www.nginx.com/blog/mitigating-the-httpoxy-vulnerability-with-nginx/

                        proxy_set_header Proxy                  "";

 

                        # Custom headers to proxied server

 

                        proxy_connect_timeout                   5s;

                        proxy_send_timeout                      60s;

                        proxy_read_timeout                      60s;

 

                        proxy_buffering                         off;

                        proxy_buffer_size                       4k;

                        proxy_buffers                           4 4k;

 

                        proxy_max_temp_file_size                1024m;

 

                        proxy_request_buffering                 on;

                        proxy_http_version                      1.1;

 

                        proxy_cookie_domain                     off;

                        proxy_cookie_path                       off;

 

                        # In case of errors try the next upstream server before returning an error

                        proxy_next_upstream                     error timeout;

                        proxy_next_upstream_timeout             0;

                        proxy_next_upstream_tries               3;

 

                        proxy_pass http://upstream_balancer;

 

                        proxy_redirect                          off;

 

                }

 

        }

        ## end server www2.atguigu.com

 

        # backend for when default-backend-service is not configured or it does not have endpoints

        server {

                listen 8181 default_server reuseport backlog=4096;

 

                set $proxy_upstream_name "internal";

 

                access_log off;

 

                location / {

                        return 404;

                }

        }

 

        # default server, used for NGINX healthcheck and access to nginx stats

        server {

                listen 127.0.0.1:10246;

                set $proxy_upstream_name "internal";

 

                keepalive_timeout 0;

                gzip off;

 

                access_log off;

 

                location /healthz {

                        return 200;

                }

 

                location /is-dynamic-lb-initialized {

                        content_by_lua_block {

                                local configuration = require("configuration")

                                local backend_data = configuration.get_backends_data()

                                if not backend_data then

                                ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR)

                                return

                                end

 

                                ngx.say("OK")

                                ngx.exit(ngx.HTTP_OK)

                        }

                }

 

                location /nginx_status {

                        stub_status on;

                }

 

                location /configuration {

                        client_max_body_size                    21m;

                        client_body_buffer_size                 21m;

                        proxy_buffering                         off;

 

                        content_by_lua_block {

                                configuration.call()

                        }

                }

 

                location / {

                        content_by_lua_block {

                                ngx.exit(ngx.HTTP_NOT_FOUND)

                        }

                }

        }

}

 

stream {

        lua_package_path "/etc/nginx/lua/?.lua;/etc/nginx/lua/vendor/?.lua;;";

 

        lua_shared_dict tcp_udp_configuration_data 5M;

 

        init_by_lua_block {

                collectgarbage("collect")

 

                -- init modules

                local ok, res

 

                ok, res = pcall(require, "configuration")

                if not ok then

                error("require failed: " .. tostring(res))

                else

                configuration = res

                end

 

                ok, res = pcall(require, "tcp_udp_configuration")

                if not ok then

                error("require failed: " .. tostring(res))

                else

                tcp_udp_configuration = res

                end

 

                ok, res = pcall(require, "tcp_udp_balancer")

                if not ok then

                error("require failed: " .. tostring(res))

                else

                tcp_udp_balancer = res

                end

        }

 

        init_worker_by_lua_block {

                tcp_udp_balancer.init_worker()

        }

 

        lua_add_variable $proxy_upstream_name;

 

        log_format log_stream '[$remote_addr] [$time_local] $protocol $status $bytes_sent $bytes_received $session_time';

 

        access_log /var/log/nginx/access.log log_stream ;

 

        error_log  /var/log/nginx/error.log;

 

        upstream upstream_balancer {

                server 0.0.0.1:1234; # placeholder

 

                balancer_by_lua_block {

                        tcp_udp_balancer.balance()

                }

        }

 

        server {

                listen 127.0.0.1:10247;

 

                access_log off;

 

                content_by_lua_block {

                        tcp_udp_configuration.call()

                }

        }

 

        # TCP services

 

        # UDP services

 

}