The Chida (ר' חיים יוסף דוד אזולאי) visited Amsterdam in 1778 as the emissary of the Sephardi community in Eretz Yisrael for fund raising. Note this was in the midst of the American Revolutionary War (1775-1783) leading to hardship for many of the Poruguese traders, so his visit was not too successful from a financial perspective. It led however to interesting notes in his travel journal מעגל טוב and in his teshuvot טוב עין
According to Bart Wallet, in 1795 actually 17,000+ Ashkenazim were living in Amsterdam, next to 3,000 Sepharadim. In 1700, these figures had been 3,200 Ashkenazim and 3,000 Sepharadim.
שו"ת טוב עין סימן ט
ברם מה שהיה הגאון מהר"ר אברהם ברודא מחמיר גם בקאפ"י שהחשיבו קטניות לדבר זה יסלח האדון כי הוא פרי עץ ואילן אשר בהינדיא ובמירק"א וזה שנים ראיתי האילן באמשטרדם בחצר גנת ביתן וכן היה בפיז"א ואין להחמיר בקאפ"י. ונראה ודאי דלא נעלם מעיני הגאון כי הוא פרי העץ. רק משום שאינו בנמצא ודלת העם לא ידעו ולא יבינו שהוא פרי עץ ויבואו להקל בקטניות ממש ולפרוץ גדר שגדרו הראשונים לכן היה מחמיר אף בקאפ"י. ומ"מ אם חרכו הקאפ"י קודם פסח יש להקל אפילו באשכנז וכן כתב הרב שבות יעקב