Bạn không muốn đến thăm các động cơ.. Không có kênh nào bạn quan tâm để có được lưu lượng truy cập vào trang này. Vâng! bạn có hai lựa chọn — 301 nó. Nếu nó đã được xếp hạng thứ gì đó hoặc về chủ đề nào đó! hãy gửi nó đến một trang sẽ hoạt động tốt mà bạn muốn lưu lượng truy cập đến hoặc bạn có thể 404 toàn bộ trang đó.
Tất nhiên! nếu bạn đang gặp sự cố
Anghiêm trọng hoặc cần xóa hoàn toàn nó khỏi động cơ càng sớm càng tốt! bạn có thể xóa 410 vĩnh viễn. Chỉ cần cẩn thận với nó. Nó có hữu ích cho một số khách truy cập nhưng không hữu ích cho công cụ tìm kiếm? Giống như bạn danh sách liên hệ cấp c không muốn các công cụ tìm kiếm tìm thấy nó trong các công cụ! nhưng nếu ai đó truy cập và đang phân trang qua một loạt trang và những thứ tương tự! à! thật tuyệt! tôi không thể sử dụng chỉ mục! hãy theo dõi thẻ meta robot cho trang đó.
Nếu không có lý do gì để bot truy cập vào nó!
Echẳng hạn như bạn không quan tâm đến việc theo dõi các liên kết trên đó! thì Quan điểm của tác giả hoàn toàn là đó là một trường hợp sử dụng rất hiếm gặp! nhưng có thể có một số loại nội dung nội bộ mà bạn có thể không muốn bot cố gắng truy cập! chẳng hạn như một hệ thống tệp nội bộ khổng lồ mà các loại khách truy cập cụ thể của bạn muốn truy cập chứ không phải ai khác! bạn có thể sử dụng để chặn các tệp từ robot.
Chỉ cần lưu ý rằng nếu nó bị chặn trong
Rrobots.txt thì nó vẫn có thể xâm nhập vào công cụ. Nó sẽ không hiển thị bấ Danh sách Thái Lan t kỳ chi tiết nào. Họ sẽ nói: “Chúng tôi không hiển thị mô tả trang web cho trang này vì nó bị robot chặn.