Cách xử lý mật khẩu proxy chứa ký tự đặc biệt trong Python Requests

Khi cấu hình proxy Python Requests, một lỗi thường gặp là thông tin xác thực hoạt động trên công cụ khác nhưng không hoạt động khi đưa vào URL. Nguyên nhân có thể nằm ở cách biểu diễn tên đăng nhập và mật khẩu, đặc biệt khi chúng chứa ký tự như @, :, /, # hoặc %.

Để xử lý mật khẩu proxy chứa ký tự đặc biệt, cần phân biệt dữ liệu đăng nhập với cú pháp URL. Giải pháp là áp dụng percent encoding cho từng thành phần thông tin xác thực, sau đó mới ghép thành địa chỉ proxy.

Vì sao ký tự đặc biệt làm URL proxy bị hiểu sai?

URL proxy có xác thực thường được biểu diễn theo cấu trúc scheme://username:password@host:port. Trong đó, dấu hai chấm phân tách tên đăng nhập với mật khẩu, còn dấu @ đánh dấu điểm kết thúc phần thông tin xác thực.

Nếu mật khẩu chứa ký tự có ý nghĩa cú pháp nhưng được chèn trực tiếp vào URL, trình phân tích có thể xác định sai ranh giới giữa các thành phần. Chẳng hạn, dấu # có thể mở đầu phần fragment, trong khi dấu / có thể được hiểu là bắt đầu đường dẫn.

Một số thư viện vẫn xử lý được một số trường hợp chưa mã hóa. Tuy nhiên, không nên dựa vào hành vi này vì kết quả có thể khác nhau giữa trình phân tích, phiên bản thư viện hoặc công cụ trung gian. Biểu diễn đúng ngay từ đầu giúp cấu hình nhất quán hơn.

Những ký tự cần chú ý

• @ và : liên quan trực tiếp đến cấu trúc thông tin xác thực.
• / và ?: có ý nghĩa khi xác định đường dẫn và chuỗi truy vấn.
• #: có thể được hiểu là ký hiệu bắt đầu fragment.
• %: là ký tự mở đầu một chuỗi percent encoding.
• Khoảng trắng và ký tự Unicode: cần được chuyển sang cách biểu diễn phù hợp trong URL.

Percent encoding proxy là gì?

Percent encoding proxy là cách biểu diễn ký tự bằng dấu phần trăm đi kèm giá trị hexadecimal của byte tương ứng. Ví dụ, ký tự @ được biểu diễn thành %40, dấu # thành %23 và dấu % thành %25.

Trong Python, hàm urllib.parse.quote hỗ trợ công việc này. Với tên đăng nhập và mật khẩu nằm trong URL proxy, nên truyền safe='' để không giữ lại dấu gạch chéo theo thiết lập mặc định.

Lưu ý: percent encoding không phải mã hóa bảo mật. Người có được URL vẫn có thể khôi phục thông tin đăng nhập. Vì vậy, URL proxy chứa tài khoản phải được bảo vệ như chính mật khẩu.

Cách mã hóa URL proxy đúng bằng Python

Mã hóa riêng tên đăng nhập và mật khẩu

Tên đăng nhập và mật khẩu cần được percent encoding riêng trước khi ghép thành URL proxy.

Nguyên tắc quan trọng nhất là chỉ mã hóa từng thành phần thông tin xác thực. Không áp dụng quote cho toàn bộ URL vì thao tác đó sẽ biến đổi cả những dấu phân tách cần thiết.

Ví dụ dưới đây sử dụng thông tin giả định để minh họa:

from urllib.parse import quote

username = 'user@example'

password = 'p@ss:word/#%'

encoded_username = quote(username, safe='')

encoded_password = quote(password, safe='')

Khi đó, tên đăng nhập trở thành user%40example, còn mật khẩu trở thành p%40ss%3Aword%2F%23%25. Các ký tự thuộc dữ liệu đăng nhập không còn bị nhầm với dấu phân tách của URL.

Ghép URL sau khi mã hóa

Sau bước trên, mới ghép các thành phần thành URL proxy. Ví dụ sau lấy địa chỉ và cổng từ cấu hình môi trường:

import os

proxy_host = os.environ['PROXY_HOST']

proxy_port = os.environ['PROXY_PORT']

proxy_url = f'http://{encoded_username}:{encoded_password}@{proxy_host}:{proxy_port}'

Ví dụ giả định PROXY_HOST là hostname hoặc địa chỉ IPv4 hợp lệ, không chứa scheme hay thông tin đăng nhập. Nếu sử dụng địa chỉ IPv6 dạng literal, phần địa chỉ trong URL cần được đặt trong ngoặc vuông.

Cấu hình proxy Python Requests hoàn chỉnh

Trong ứng dụng thực tế, nên lấy cả tên đăng nhập và mật khẩu từ nguồn cấu hình thay vì viết trực tiếp vào mã nguồn. Đoạn dưới đây tạo URL từ thông tin xác thực nguyên bản, rồi cấu hình một Session:

import os

import requests

from urllib.parse import quote

username = quote(os.environ['PROXY_USERNAME'], safe='')

password = quote(os.environ['PROXY_PASSWORD'], safe='')

host = os.environ['PROXY_HOST']

port = os.environ['PROXY_PORT']

proxy_url = f'http://{username}:{password}@{host}:{port}'

session = requests.Session()

session.trust_env = False

session.proxies.update({'http': proxy_url, 'https': proxy_url})

response = session.get(os.environ['TARGET_URL'], timeout=float(os.environ['REQUEST_TIMEOUT']))

response.raise_for_status()

Trong cấu hình này, REQUEST_TIMEOUT cần là giá trị thời gian chờ hợp lệ do ứng dụng lựa chọn. TARGET_URL nên trỏ đến tài nguyên mà bạn có quyền truy cập để kiểm tra kết nối.

session.trust_env = False giúp quá trình thử nghiệm không bị ảnh hưởng bởi cấu hình proxy trong môi trường. Tuy nhiên, tùy chọn này còn ảnh hưởng đến việc sử dụng thông tin từ .netrc và một số thiết lập chứng chỉ qua môi trường. Chỉ áp dụng khi bạn chủ động quản lý các cấu hình liên quan.

Phân biệt khóa https với scheme của proxy

Khóa 'https' trong dictionary proxies chỉ định proxy dùng cho URL đích HTTPS. Nó không có nghĩa URL proxy bắt buộc phải bắt đầu bằng https://.

Nếu nhà cung cấp cung cấp HTTP proxy, cùng một URL bắt đầu bằng http:// có thể được sử dụng cho cả hai khóa. Với đích HTTPS, kết nối thường được thiết lập qua phương thức CONNECT. Chỉ dùng scheme https:// cho proxy khi dịch vụ thực sự hỗ trợ kết nối TLS đến proxy.

Những sai lầm thường gặp khi xử lý ký tự đặc biệt

Mã hóa toàn bộ URL

Cách viết quote(proxy_url, safe='') không phù hợp khi proxy_url đã là địa chỉ hoàn chỉnh. Nó mã hóa cả dấu hai chấm và dấu gạch chéo của scheme, khiến kết quả không còn giữ đúng cấu trúc URL proxy.

Hãy giữ nguyên scheme, host, port và các dấu phân tách. Chỉ áp dụng quote cho username và password trước khi ghép.

Mã hóa lặp lại dữ liệu đã percent encoding

Nếu mật khẩu nguyên bản chứa @, kết quả mã hóa là %40. Khi mã hóa lại chuỗi này, dấu % trở thành %25, tạo ra %2540. Thông tin gửi đến proxy có thể không còn tương ứng với mật khẩu ban đầu.

Nên quy định rõ đầu vào của hàm tạo URL là thông tin đăng nhập nguyên bản. Không tự động giải mã mọi chuỗi có dấu %, vì một mật khẩu thực sự có thể chứa nguyên văn chuỗi %40.

Dùng quote_plus thay cho quote

Hàm quote_plus thường phục vụ dữ liệu biểu mẫu và quy ước chuỗi truy vấn, trong đó khoảng trắng được chuyển thành dấu cộng. Phần thông tin xác thực của URL không nên mặc định sử dụng quy ước này.

Để biểu diễn rõ ràng khoảng trắng trong username hoặc password, sử dụng quote(value, safe=''). Khoảng trắng sẽ được chuyển thành %20.

Nhầm xác thực proxy với xác thực máy chủ đích

Tham số auth= của Requests thường dùng cho xác thực với máy chủ đích, không phải cách thay thế trực tiếp cho thông tin xác thực proxy trong tình huống này. Tương tự, không nên tự ý thêm thông tin proxy vào header Authorization gửi đến website.

Cách đưa tài khoản vào URL phù hợp với proxy sử dụng cơ chế xác thực mà Requests hỗ trợ theo cấu hình đó, thường là Basic. Nếu proxy yêu cầu cơ chế khác, cần giải pháp xác thực tương ứng; percent encoding chỉ giải quyết cách biểu diễn dữ liệu.

Quy trình kiểm tra khi proxy vẫn không hoạt động

Kiểm tra lần lượt dữ liệu đăng nhập, cấu trúc URL, kết nối và môi trường để xác định đúng nguyên nhân lỗi.

Sau khi sửa mã hóa URL proxy, hãy kiểm tra theo từng lớp thay vì tiếp tục thay đổi mật khẩu ngẫu nhiên:

1. Kiểm tra dữ liệu đầu vào: xác nhận tài khoản còn hiệu lực và không có khoảng trắng hoặc ký tự xuống dòng ngoài ý muốn.
2. Kiểm tra cấu trúc URL: bảo đảm host, port và scheme đúng với thông tin nhà cung cấp.
3. Kiểm tra bước mã hóa: xác nhận username và password nguyên bản chỉ được quote khi tạo URL.
4. Kiểm tra kết nối: phân biệt lỗi phân giải tên miền, lỗi kết nối, timeout và lỗi xác thực.
5. Kiểm tra cấu hình môi trường: xem HTTP_PROXY, HTTPS_PROXY và NO_PROXY có tác động đến yêu cầu hay không.
6. Kiểm tra chính sách dịch vụ: xác nhận proxy có yêu cầu đăng ký IP nguồn hoặc giới hạn truy cập liên quan.

Phản hồi yêu cầu xác thực proxy thường liên quan đến tài khoản, mật khẩu hoặc cơ chế xác thực. Ngược lại, lỗi chứng chỉ và lỗi thiết lập đường hầm có thể liên quan đến TLS, scheme hoặc chính sách kết nối. Không nên coi mọi lỗi Requests là lỗi ký tự đặc biệt.

Cũng không nên dùng verify=False để xử lý vấn đề này. Tùy chọn đó làm mất bước xác minh chứng chỉ TLS của kết nối liên quan, không sửa được URL bị phân tích sai.

Bảo vệ thông tin đăng nhập khi ghi log và triển khai

Không in proxy_url ra màn hình hoặc đưa nguyên URL vào hệ thống theo dõi lỗi. Chuỗi đã percent encoding vẫn chứa thông tin đăng nhập có thể khôi phục. Thông báo ngoại lệ cũng cần được rà soát trước khi lưu hoặc chia sẻ.

• Lưu thông tin xác thực trong hệ thống quản lý bí mật hoặc cơ chế cấu hình phù hợp.
• Chỉ ghi host, port và trạng thái kiểm tra khi cần chẩn đoán.
• Che cả username lẫn password trong báo cáo hỗ trợ.
• Thay đổi thông tin đăng nhập nếu URL đầy đủ đã bị công khai.

Cần đánh giá riêng tính bảo mật của đường truyền đến proxy. Percent encoding không bảo vệ mật khẩu khỏi việc bị đọc trên đường truyền; với HTTP proxy sử dụng Basic authentication, thông tin xác thực proxy không được TLS bảo vệ trên chặng đến proxy chỉ vì website đích dùng HTTPS.

Kết luận

Cách xử lý mật khẩu proxy chứa ký tự đặc biệt là dùng urllib.parse.quote với safe='' cho từng thành phần username và password, rồi mới ghép URL. Đồng thời, cần thống nhất đầu vào nguyên bản để tránh mã hóa lặp lại.

Khi cấu hình proxy Python Requests, hãy kiểm tra thêm scheme, cơ chế xác thực và ảnh hưởng của môi trường. Cách tiếp cận này giúp phân biệt lỗi biểu diễn URL với lỗi kết nối, đồng thời hạn chế nguy cơ làm lộ thông tin đăng nhập trong quá trình chẩn đoán.